13 Oct ¿Qué es Data Mesh?

Primero es importante saber que el Data Mesh no se trata de una tecnología, sino de un concepto de arquitectura de datos y organizacional; este segundo punto se olvida en muchas definiciones.

Data Mesh es una arquitectura basada en dos aspectos fundamentales. El primero, las áreas y unidades de negocio son quienes trabajan los datos. Por tanto, se trata de dotar recursos a cada área con las competencias necesarias para preparar los conjuntos de datos que puede necesitar el resto de la organización. Y el segundo, una solución técnica que facilita la ‘publicación’ de estos conjuntos de datos, a los que denominamos ‘productos’.

Lógicamente, con la capacidad de gestionar con esa solución el acceso a los datos, la construcción de ‘productos’ (conjuntos de datos), la gobernanza (que implica los privilegios de accesos, el control del acceso, los privilegios de publicación y el acceso a los ‘productos’, entre otros temas relevantes).

Por tanto, para tener este concepto claro, se trata de una arquitectura de datos y organizacional que de primeras me exige:

-Recursos con las competencias adecuadas en cada unidad de negocio. (Sabiendo además que este tipo de recursos son caros, difíciles de encontrar y con alta rotación), y

-Una solución técnica que me permita el acceso a los datos, la gobernanza, la creación de productos y el acceso a los mismos.

Sin olvidar la configuración de la solución técnica y todo el espectro de políticas de gestión de datos, que no solo debe ser conocida por el equipo de ‘Gestión de Datos’ (típicamente vinculada al área de Sistemas y Tecnología) sino por toda la organización.

Pero ¿Dónde está su beneficio?, en este artículo te mostramos los principales beneficios del Data Mesh para tu empresa.

Pese a lo que nos puede asustar la primera reflexión, los beneficios son inmediatos:

o   Las necesidades de cada área o unidad de negocio se podrán resolver al ritmo que el área las requiere, sin las esperas típicas asociadas a sistemas centralizados.

o   Eso significa que el negocio manda, el negocio lidera su gestión decidiendo directamente sus prioridades, sus recursos, lo que necesita para obtener mejores resultados. No hay excusas, no hay demoras salvo las que la propia área se genera a sí mismo por su gestión de prioridades o recursos disponibles.

Resumiendo, una organización descentralizada en la gestión de los datos es:

-Más ágil

-Más capaz de anticiparse a la situación de su negocio, de sus clientes, de sus procesos, de sus costes…

Entonces, es normal preguntarnos cómo podemos abordar un proyecto de este calado. Esta es una pregunta clave, necesitamos abordar el proyecto en dos dimensiones, que suele traducirse en dos subproyectos que trabajan en paralelo: el subproyecto técnico y subproyecto organizacional.

El Subproyecto Técnico tiene un propósito fundamental: seleccionar la solución técnica que proporcione las funcionalidades necesarias para esta organización descentralizada, la publicación y consumo de productos (conjuntos de datos) y la gobernanza.

Esta solución es DENODO, que proporciona una solución de gestión virtualizada de los datos simplificando el proceso de puesta en marcha y proporcionado todas las funcionalidades de autoservicio, definición de usuarios, definición de orígenes de datos y su conexión, etc.; y para su puesta en marcha y apoyo técnico tenemos a Watch&Act, que dados sus perfiles es capaz de definir los requisitos técnicos de la plataforma DENODO y adecuarlos a las necesidades organizativas de la empresa.

El Subproyecto Organizacional tiene el siguiente propósito: reestructurar la organización (puestos, mandos, competencias, objetivos, desempeño…) para que la organización sea capaz de:

-Seleccionar a las personas adecuadas, qué buscamos, que es requisito que se puede desarrollar desde dentro de la organización, etc.

-Retenerlas, tema importante dado que la formación de las personas requiere de un esfuerzo/inversión relevante.

-Proporcionar las competencias de gestión data-focus tanto a los mandos como a sus equipos. Este cambio es muy importante.

-Dimensionar los recursos necesarios para dotar las capacidades en las áreas, definir su coste y por tanto el impacto en el presupuesto del área o unidad de negocio.

-Definir cómo se gestiona la productividad de las áreas, y en especial de estos nuevos equipos en las unidades de negocio, sus objetivos, su plan de carrera, su evaluación y control del desempeño, etc.

Desde el punto de vista organizacional no es baladí el proceso de cambio cultural que se requiere, sobre todo en la mentalidad de los mandos y los equipos sobre la propiedad de los datos y/o la ‘tecnología’.

Ambas iniciativas son clave gestionarlas como un proceso de mejora continua, para que la complejidad de este no frene su inicio, y el alcance de resultados tangibles sea rápido. DENODO te proporciona también la solución adecuada para implementar la nueva arquitectura en un área, a modo de piloto, identificando así los problemas y las soluciones más exitosas para que puedan ser aplicadas en el despliegue a otras áreas.

Como resumen, ¿Cuáles son los primeros pasos?

Si una empresa quiere abordar un proyecto de este calado tendrá que plantearse:

1. Seleccionar la solución tecnológica que proporcione las funcionalidades y servicios que se requieren. Una solución tecnológica como Denodo.

2. Proporcionar al área con la que se comience el proyecto los recursos que sean capaces de trabajar con los datos.

3. Proporcionar apoyo al equipo en el que se despliega el proyecto y a los equipos que necesiten de los datos que esta área prepare.

Por tanto, ¿interesa el Data Mesh a cualquier organización? ¿Qué perfil de organización puede obtener un beneficio que compense la inversión y el esfuerzo?

Esto es muy interesante de analizar. Tengo que ser capaz de identificar si es útil y tiene sentido trabajar con esta arquitectura en mi empresa.

La primera de las situaciones que nos encontramos es con empresas que ya trabajan de forma descentralizada, con recursos especializados en la gestión de datos en cada área o unidad de negocio. En una situación de este tipo lo único que puede faltar es:

· Definir una tecnología como Denodo, que sea capaz de resolver todas las necesidades que surgen en la gestión y análisis de los datos, que sea capaz de incorporar nuevos orígenes de datos o modificaciones de los actuales con agilidad y, a ser posible, que se lo pueda resolver el mismo equipo de Datos del área, sin necesidad de poner en marcha proyectos que involucren a equipos de servicios corporativos donde se encolen y demoren. Por tanto, lo que buscamos es una solución ágil.

· Proporcionar formación a los arquitectos de datos de la unidad de negocio en el uso de la plataforma tecnológica para que puedan aprovechar al máximo sus funcionalidades.

Pero, muchas de las organizaciones tienen su gestión del Dato, igual que su área de tecnología y sistemas, centralizada. ¿Me interesa apostar por el cambio hacia una gestión del Dato descentralizada o federada?

No queriendo responder a esa pregunta porque puede ser muy estratégica lo planteamos de otra manera. ¿Qué problemas tengo en la gestión de la organización desde la perspectiva de los datos? Y, es importante diferenciar los motivos que justifican una inversión de una plataforma de virtualización del Dato como Denodo, de los motivos que justifican la adopción de una arquitectura como Data Mesh.

Si tengo alguno de estos problemas lo que necesito es una plataforma de virtualización del dato, ya se gestione de forma centralizada o descentralizada. Sabiendo que con Denodo puedo evolucionar desde una arquitectura a la otra.

-Incorporar un nuevo origen de datos requiere el desarrollo de su API, lo que conlleva esfuerzos y tiempo.

-Trasladar al sistema de reporting datos de nuevos orígenes, o cambios en los actuales, requiere la modificación del data warehouse y/o de las APIs del sistema de reporting, lo que lleva recursos y dedicación relevante de tiempos.

Si tengo algunos de estos problemas, entonces sí que tengo que pensar en la descentralización que me proporciona una arquitectura data mesh:

1. Las peticiones a sistemas relativas a los datos, reporting o distribución de datos se está incrementando y se va acumulando. No se dispone de recursos para realizar todo lo que van pidiendo. La respuesta a las áreas lleva meses de demora. Antes de haber terminado una petición ya nos han enviado otra petición que modifica o está relacionada con la anterior.

2. Las áreas no definen lo que quieren con el detalle que necesitamos en Sistemas. Y la definición se modifica constantemente.

3. Las áreas ya trabajan con un sistema de reporting y analítica, pero cualquier cambio sobre los datos origen requiere de la entrada de Sistemas en el proyecto.

4. Las áreas modifican sus datos con mucha velocidad, y eso afecta a otras aplicaciones de front-office que se basan en dicha estructura de datos. Esos cambios requieren de mucho esfuerzo por lo que se demoran en el tiempo.

Como resumen de estas situaciones podemos decir:

-Que las áreas van a una velocidad en sus demandas que no puede cubrir el área corporativa, transversal a la organización. Y, por tanto, disponer de recursos propios aceleraría el proceso.

-Que sería positivo que las áreas tuvieran conocimiento de la gestión de datos y del impacto en la organización de sus cambios, y, por tanto, que fuesen responsables de ellos. Más aún, que los pudiesen diseñar y gobernar.

-Si este es nuestro caso, parece favorable ir hacia una arquitectura descentralizada de la Gestión del Dato, como la que ofrece el Data Mesh.