Almacén y lago de datos

Definición, similitudes y diferencias

¿Qué es un almacén de datos?

El término almacén de datos hace referencia a una recopilación central de datos, normalmente dentro de una solución de inteligencia empresarial. Aquí se puede recoger y almacenar una gran cantidad de datos procedentes de distintas fuentes. Para ello, el almacén de datos extrae periódicamente datos de diversos sistemas, que luego se validan, se limpian, se formatean y se comparan con la información existente. Esto significa que tiene lugar un proceso denominado ETL (Extract, Transform, Load). Para ello, primero se define la estructura de los datos, el llamado esquema. Este enfoque se denomina Schema on Write y determina el aspecto de los datos consolidados. Dado que la mayoría de los datos se registran en forma tabular, el esquema responde así a preguntas como:

• ¿Qué aspecto tiene una fila en una tabla?
• ¿Qué atributos contiene cada fila?
• ¿Qué datos se esperan?

Los datos procesados resultantes se almacenan de forma que los usuarios puedan acceder a ellos en cualquier momento.

Ventajas de un almacén de datos

• Facilidad de análisis: dado que los datos de un almacén de datos tienen un formato coherente, pueden analizarse fácilmente en un sistema de BI y, por tanto, utilizarse para la toma de decisiones. Así, incluso los usuarios sin conocimientos de tecnología de datos pueden extraer importantes conclusiones de los datos disponibles.
  
• Fusión de datos: Dado que en un almacén de datos se recopila información procedente de diferentes bases de datos, los datos de distintas fuentes pueden relacionarse fácilmente entre sí o examinarse en busca de correlaciones.
  
• Calidad de los datos: como los datos se validan y formatean antes de guardarse, el almacén de datos sólo contiene datos coherentes y pertinentes. La calidad de los datos disponibles es, por tanto, muy alta.

Desventajas de un almacén de datos

• Datos que faltan: En un almacén de datos, sólo se almacenan los datos que se necesitaban para el fin previsto originalmente. Si se necesitan datos adicionales, hay que añadirlos al almacén de datos de forma engorrosa.
• Menos flexibilidad: si la finalidad del almacén de datos ha cambiado o se necesitan más datos en el futuro, habrá que adaptar el almacén de datos. Esto se debe a que el modelo de datos, o estructura, se ha definido de antemano (Schema on Write). Cambiar esto puede llevar mucho tiempo y ser costoso. Por tanto, un almacén de datos es menos flexible para nuevas fuentes de datos.
• Costes de puesta en marcha elevados: Dado que el esquema en escritura debe definirse antes de empezar con un almacén de datos, al principio se incurre en costes más elevados.

¿Qué es un lago de datos?

Un lago de datos es un repositorio central donde se almacenan grandes cantidades de datos procedentes de diversas fuentes, normalmente en formato bruto. Sin embargo, también pueden almacenarse datos estructurados o semiestructurados. Mientras que en un almacén de datos sólo se almacenan datos estructurados, los lagos de datos pueden guardar información en distintos formatos y ponerla así a disposición de los usuarios. En este caso, el modelo de datos sólo se captura exactamente cuando se lee el contenido (schema on read), lo que puede dar lugar a errores. Aquí tiene lugar un proceso ELT (Extraer, Cargar, Transformar).

Ventajas de un lago de datos

• Accesibilidad: los datos de la empresa se almacenan de forma centralizada en el lago de datos, por lo que todos los usuarios pueden acceder a ellos fácilmente.
• Evitar los silos de datos: se almacenan tanto datos estructurados como semiestructurados o no estructurados. Así se evitan los silos de datos.
• Gran flexibilidad: los datos pueden modificarse y moldearse para analizarlos con distintos fines. Se pueden añadir fuentes de datos adicionales fácilmente y sin grandes cambios en el lago de datos.
• Aprendizaje automático: los datos almacenados son ideales para el aprendizaje automático.

Desventajas de un lago de datos

• Capacidad de almacenamiento: como todos los datos se almacenan sin filtrar, se necesita una memoria mayor que con el almacén de datos.
• Calidad de los datos: sin medidas para la calidad de los datos y la gobernanza de los mismos, los datos almacenados pueden convertirse rápidamente en lo que se denomina un pantano de datos. Un pantano de datos es un lago de datos sin mantenimiento en el que los datos se almacenan sin la documentación adecuada, de modo que se pierde rápidamente la visión de conjunto.

Similitudes y diferencias

Tanto los almacenes de datos como los lagos de datos están diseñados para el análisis empresarial y sirven como repositorio central de datos en la empresa. Dado que su finalidad y objetivos son similares, es fácil confundir ambas tecnologías. Las principales diferencias son:

Cómo elegir bien

Que un almacén de datos o un lago de datos sea la mejor opción para usted depende de varios factores, que ya quedan claros en las diferencias entre ambas tecnologías. Por tanto, pregúntese:

• ¿Deben almacenarse datos estructurados o datos brutos?
• ¿Se pretende que los datos sirvan para un fin específico?
• ¿Quién utilizará los datos?
• ¿Qué probabilidades hay de que cambien los requisitos de evaluación?

El futuro: el lago de datos

A menudo, las empresas no pueden tomar una decisión clara sobre si necesitan un almacén de datos o un lago de datos. Más bien se necesitan ambas cosas: un lago de datos para beneficiarse de los datos en bruto, pero también un almacén de datos que permita el análisis a todos los usuarios de la empresa. Sin embargo, utilizar las dos tecnologías al mismo tiempo tiene el inconveniente de que los datos se almacenan en dos o más lugares, lo que significa que también hay que analizarlos, mantenerlos y supervisarlos en lugares diferentes. Esto, a su vez, puede dar lugar a errores o a que los datos no estén actualizados.
Un data lakehouse combina la flexibilidad de los lagos de datos con los procesos de estructuración de un almacén de datos, por lo que promete lo mejor de ambas tecnologías. Así, por ejemplo, los datos no estructurados también deberían poder analizarse en un sistema de BI.

Conclusión

Los almacenes y lagos de datos están diseñados para el análisis empresarial. Tienen sus ventajas e inconvenientes, pero también pueden complementarse. Qué solución es más adecuada para gestionar los datos de su empresa depende de sus necesidades y de diversas condiciones.

El software de Business Intelligence myPARM BI^act se basa fundamentalmente en un almacén de datos. Esto hace posible que empleados sin conocimientos de tecnología de datos analicen los datos almacenados, creen informes y diagramas y obtengan información importante de los datos.

Está en myPARM BI^act también es posible conectar y evaluar datos semiestructurados. Sin embargo, esto requiere un mayor nivel de conocimientos sobre la estructura de los modelos de datos para la evaluación de los mismos. Esto significa que pueden ser necesarios los conocimientos de un científico de datos.

¿Desea conocer​ myPARM BI^act en una demostración? Entonces, ¡concierte una cita con nosotros ahora mismo!