Tema 4.1 - Funciones de Big Data

• Introducción a las funciones de Big Data 
• Diseño de una organización de Big Data 
• Funciones y responsabilidades en los equipos de Big Data 
• Habilidades en Big Data 
• Factores de éxito de la organización de Big Data 

Introducción a las Funciones de Big Data 

• Las ideas que se deducen con el análisis de Big Data deben integrarse en el proceso diario de toma de decisiones para convertirse en una empresa impulsada por los datos 
• La integración de Big Data en las empresas tiene que ver tanto con la gestión del cambio como con Big Data 
• Por lo tanto, el diseño de una organización de Big Data (transformación digital) debe estar dirigido por los usuarios y contar con la participación de todos los niveles de la empresa desde el principio 
• Es esencial tener un número de campeones que realmente entiendan el valor de Big Data y puedan ayudar con el desarrollo de casos de uso y la formulación de una estrategia de Big Data 
• La cultura organizativa, las estructuras organizativas y los roles de trabajo tienen un gran impacto en el éxito de las iniciativas de Big Data. Por ello, en este capítulo revisaremos algunas "mejores prácticas" sobre cómo establecer una organización impulsada por los datos

Importancia de la Gestión del Cambio

Diseño de una Organización Big Data 

• En la mayoría de las empresas, los proyectos de Big Data se inician cuando un ejecutivo se convence de que la empresa está perdiendo oportunidades en los datos 
• En muchas organizaciones, hay una (gran) brecha entre el primer lanzamiento de un proyecto de Big Data (iniciado por un patrocinador entusiasta) y la ampliación de los beneficios de un proyecto de Big Data en toda la empresa 
• Para obtener valor a largo plazo de los macrodatos y convertirse en una organización verdaderamente "impulsada por los datos", es crucial crear un centro de excelencia de macrodatos

Centro de Excelencia de Big Data (BDCoE) 

• Un Centro de Excelencia de Big Data (BDCoE) es una función empresarial que lleva a una organización desde el conocimiento cero hasta tener una práctica totalmente funcional de las tecnologías y procesos de Big Data para ofrecer resultados empresariales sólidos. Un BDCoE es el lugar donde la organización identifica nuevas tecnologías, aprende sobre nuevas habilidades y desarrolla procesos apropiados que posteriormente se despliegan en las demás unidades de negocio de la organización 
• Un BDCoE centralizado puede ser la base para establecer una empresa impulsada por los datos que los valore como su activo estratégico 
• La BDCoE puede asociarse con la empresa para identificar qué proyectos deben ser prioritarios y qué datos son de importancia estratégica

Cinco Grandes Pilares del Centro de Excelencia de Big Data 

Una BDCoE eficaz consta de finos pilares principales que, en conjunto, forman la estructura para obtener valor de la función centralizada:

1. Equipos de Big Data 

2. Laboratorios de Big Data 

3. Pruebas de concepto de Big Data 

4. Metodología ágil 

5. Modelos de cobro 

• Equipos de Big Data: El elemento más importante, la calidad de los analistas de Big Data, científicos de Big Data e ingenieros de Big Data es primordial para crear el éxito con Big Data 
• Laboratorios de Big Data: Un laboratorio de Big Data bien diseñado contiene espacios de trabajo abiertos que permiten la comunicación y la colaboración, así como posibilidades de trabajo aislado en el que los analistas de datos pueden "hacer números" sin distracciones 
• Pruebas de concepto de Big Data: Las pruebas de concepto (POC) son soluciones de muestra que pueden ofrecerse a las unidades de negocio internas y a los clientes externos. Las POC deben demostrar un claro retorno de la inversión y mostrar claramente las capacidades de la BDCoE para lograr los resultados 
• Metodología ágil: La agilidad y la capacidad de fallar rápidamente o de lograr resultados rápidos son esenciales para alcanzar el potencial de Big Data 
• Modelos de cobro: En el centro de la BDCoE están los modelos de cobro para justificar las inversiones (a veces grandes) en las personas, los procesos y la tecnología del Centro

Funciones y Responsabilidades en los Equipos de Big Data 

• Analista de Big Data: El analista de Big Data es un rol que implica adquirir, procesar y resumir la información de los conjuntos de Big Data para descubrir el valor del negocio. A diferencia de los científicos de datos, los analistas de datos son más generalistas 
• Científico de Big Data: El científico de Big Data es un rol que implica el desarrollo y despliegue de algoritmos y modelos estadísticos con el fin de predecir resultados futuros que proporcionen valor de negocio basado en conjuntos de Big Data. En los últimos años, el rol de científico de datos ha crecido enormemente en popularidad y hay una demanda significativa de este rol laboral 
• Ingeniero de Big Data: El ingeniero de Big Data es una función que diseña, construye y gestiona la infraestructura de TI subyacente que se requiere para obtener valor de los conjuntos de Big Data. Los ingenieros de datos se aseguran de que el ecosistema de Big Data de una empresa funcione sin problemas para que los analistas y científicos de datos lleven a cabo el análisis 

Otras funciones de Big Data 

• Algunos ejemplos son: ingeniero de aprendizaje automático, ejecutivo de informes MIS, especialista en soluciones de Big Data, etc. La mayoría de estas funciones requieren conocimientos de una plataforma o herramienta de Big Data específica

Funciones de Big Data en el proceso de análisis de Big Data

• El analista de Big Data se centra en el movimiento y la interpretación de los datos, normalmente con un enfoque en el pasado y el presente
• Por otro lado, el científico de datos puede ser el principal responsable de resumir los datos de manera que se puedan hacer previsiones, o una visión de futuro basada en los patrones identificados a partir de los datos pasados y actuales
• El ingeniero de Big Data, por último, se preocupa más por asegurarse de que la infraestructura subyacente de Big Data esté disponible, antes de que comience el procesamiento Proceso de Análisis de Big Data y Funciones del Puesto

Habilidades de Big Data 

¿Cuáles son las habilidades que deben tener las personas que trabajan en Big Data? Las personas que trabajan en Big Data deben tener seis habilidades fundamentales para el éxito, como se indica en la figura: Habilidades necesarias para Big Data.

• Habilidades de liderazgo: La capacidad de guiar o dirigir a otros individuos en la organización. Especialmente al establecer una organización de Big Data (al construir el BDCoE), surgirán muchas situaciones conflictivas 
• Habilidades técnicas: Las habilidades básicas en tecnologías como R, SAS, Python, SQL, MatLab, Hive, Pig y Spark son muy recomendables para tener éxito en el dominio de Big Data 
• Habilidades analíticas: Ser capaz de visualizar y analizar datos requiere mucha ciencia dura y matemática precisa, pero también requiere creatividad, imaginación y curiosidad 
• Habilidades estadísticas: Todo el mundo que trabaje en el ámbito del Big Data debe tener una sólida comprensión de los conceptos estadísticos básicos (como las desviaciones estándar, la estandarización, etc.) y sus operaciones subyacentes 
• Habilidades de comunicación: La capacidad de traducir procesos y cálculos complejos en resúmenes y consejos fáciles de entender es uno de los elementos más esenciales para el éxito en los proyectos de Big Data 
• Habilidades de hacking ético: Los profesionales de Big Data deben tener habilidades de hacking ético. Los individuos con habilidades de hacking siguen intentando encontrar distintas soluciones a los problemas, buscan documentación en todo tipo de lugares o consultan a sus compañeros para buscar orientación. No dejarán de intentarlo hasta que hayan encontrado la forma de resolver el problema

Factores de Éxito de la Organización de Big Data 

Se han identificado una serie de factores de éxito que pueden dar a las empresas una ventaja en el lanzamiento de sus iniciativas de Big Data: 

1. Establezca una visión sobre cómo crear valor: El primer hito es obtener una visión clara de lo que su organización está tratando de lograr con Big Data 

2. Para tener éxito con Big Data, comience con algo pequeño: La creación de capacidades de Big Data lleva tiempo. Una gran inversión única en un equipo de Big Data no va a producir resultados inmediatos 

3. Establezca procesos de Big Data desde el principio: Deje claro desde el principio quién es responsable de qué 

4. Establezca un Centro de Excelencia de Big Data: Un BDCoE centralizado proporciona un punto uniforme donde se combinan los conocimientos sobre las prácticas y tecnologías de Big Data 

5. Evaluar su preparación para Big Data: Para determinar dónde pueden surgir posibles lagunas y riesgos, realice una evaluación de la preparación para Big Data 

6. Establezca un programa de formación continua sobre Big Data: Los conocimientos y las habilidades son la clave más importante para el éxito, y sin embargo uno de los elementos más difíciles de obtener