Big Data para Ejecutivos y Profesionales: Big Data, #1

Título del Libro

Big Data para Ejecutivos y Profesionales

Tecnologías, Aplicaciones y Carreras

José Antonio Ribeiro Neto (Zezinho)

Derechos de Autor

Copyright © 2023 para José Antonio Ribeiro Neto

Todos los derechos reservados a ©Xnewdata Portugal

Libro

Big Data para Ejecutivos y Profesionales

Tecnologías, Aplicaciones y Carreras

ISBN:

Ninguna parte de esta publicación puede ser reproducida, distribuida o transmitida en cualquier forma o por cualquier medio, incluyendo fotocopias, grabaciones u otros métodos electrónicos o mecánicos, o por cualquier sistema de almacenamiento y recuperación de información, sin el permiso previo por escrito del editor, excepto en el caso de breves citas incorporadas en reseñas críticas y otros usos no comerciales permitidos por la ley de derechos de autor.

Prefacio

Bienvenidos al libro "Big Data para Ejecutivos y Profesionales - Tecnologías, Aplicaciones y Carreras".

Big Data es una tecnología moonshot que emerge y cambia profundamente la vida de las personas y sus carreras profesionales.

Las empresas y las profesiones se están volviendo cada vez más data-driven (orientadas a los datos).

Se requiere una nueva cultura de datos de los profesionales que empiezan a integrar el análisis de datos como una de sus competencias profesionales.

Nuestro objetivo es proporcionar una descripción general de Big Data, conceptos, tecnologías, aplicaciones, estudios de casos, análisis de datos, insights de datos y orientación práctica para obtener resultados comerciales.

El libro fue preparado para ejecutivos y profesionales del Mercado que quieran obtener información sobre esta nueva área que está revolucionando las empresas, sus productos y servicios, cambiando los mercados y las carreras profesionales.

El libro ha sido organizado para proporcionar una visión general de Big Data, Data Science (Ciência de los Datos) y Analytics (Análisis de Datos), estructurando el conocimiento de una manera informativa y menos técnica para una mejor comprensión y aprendizaje.

Listamos varias curiosidades acerca de cada uno de los temas que llaman la atención y amplían la visión del Big Data.

Esperamos que la lectura de este libro despierte tu interés por el Big Data y te sirva de apoyo para tu crecimiento personal y profesional.

Gracias por su interés y le deseamos una buena lectura.

Bienvenido al mundo de Big Data.

Autor José Antonio (Zezinho).

Dedicatoria

Dedico este libro a mi familia. Selma (esposa), Germano y Belle (hijos), Camila (nuera) y Guilherme (yerno).

A los amigos Valter, José Paulo, Alexandre, Cassiano, Salles y Zechin, eternos compañeros en el área de Educación.

A mis amigas del trabajo, Fabiana, Eveline y Vilma por su amistad. A los revolucionarios amigos Vanderlei y Daniel.

A los amigos estadounidenses Norm Olsen, John Copher y Brad Beecher de WebCT Corp., nuestros socios de eLearning durante 10 años en Brasil.

A Paulo Granja mi gran amigo de Portugal.

A los amigos Fernando y Beluce de la Universidad Cândido Mendes en Rio de Janeiro.

Mis hermanas Fátima, Lúcia y sus familias, mi padre (en memoria) y mi madre (en memoria) razón de nuestras vidas.

Agradezco a Dios nuestro creador que nos ofrece el don de la vida y nos concede el tiempo y el don para aprender.

Autor José Antonio (Zezinho).

¿Qué aprenderás en este libro?

Este libro es un primer paso para interesarse en Big Data.

Evalúe el resumen de aprendizaje que llevará a cabo en este viaje

Introducción a Big Data y Data Science. Cómo escalar los datos. Clasificación de datos. Las V de Big Data. Introducción a la Ciencia de Datos. Científico de Datos y Big Data. Principales tecnologías aplicadas a Big Data. Tecnologías en la nube, sistemas, hardware y software.

Ecosistema Hadoop y su importancia para Big Data. El paradigma de programación paralela MapReduce para resolver problemas de Big Data. Data Lake, Data Warehouse y procesos ETL para Big Data.

Análisis de datos en Big Data. La Ciencia de la Analítica y sus derivaciones para la Analítica Predictiva y de Big Data. Herramientas de análisis y sus aplicaciones en Big Data. Modelo de Gartner para análisis de datos.

Machine Learning (ML) o Aprendizaje de Máquina y su relación con el Big Data. Aplicaciones ML para Big Data. Algoritmos utilizados en ML. Plataformas de desarrollo de ML. Introducción a la visualización de datos. Principales herramientas de visualización de datos

Principales carreras profesionales en Big Data. Empresas que crearon Big Data y utilizan la tecnología. Aplicaciones de Big Data en empresas brasileñas. Aplicaciones Big Data para redes sociales e IoT.

Privacidad y Gobernanza en Big Data. Influencers de Big Data y Data Science. Cómo convertirse en un Científico de Datos. Directrices Académicas. Directrices Curriculares.

Big Data para Ejecutivos. Big Data para profesionales. Conclusiones generales sobre la era del Big Data y sus implicaciones para la vida empresarial y profesional.

PARTE I

Introducción al Big Data

Cómo escalar datos en Big Data

Clasificación de los Datos en Big Data

Las V de Big Data

Capítulo 1 - Introducción a Big Data

El Big Data atrae la curiosidad de la gente.

Son datos en grandes cantidades, en dimensiones nunca imaginadas que pueden ser almacenados y procesados ​​por computadoras a bajo costo.

El término Big Data surgió para referirse a aplicaciones informáticas que utilizan grandes volúmenes de datos en diferentes formatos, leídos, convertidos, analizados con técnicas estadísticas, matemáticas y computacionales, generando un tipo de conocimiento denominado data insights o conocimientos de datos.

Los insights conocimientos de datos permiten una comprensión profunda de la actividad empresarial. Son patrones desconocidos, relaciones entre variables, que se encuentran en los datos que permiten resolver problemas y tomar decisiones más confiables.

La generación de insights a partir de los datos puede dar lugar a la creación de un nuevo producto llamado data-driven product (producto basado en datos) que revolucionará las empresas y los negocios.

Las empresas globales que utilizan esta tecnología se conocen como data-driven companies (empresas basadas en datos).

Los pioneros en este campo valen billones. Entre ellos tenemos a Google, Yahoo, Uber, Tesla, Netflix, Amazon, LinkedIn, Facebook entre otros.

Muchas empresas buscan adaptarse al nuevo mundo de Big Data, análisis de datos y decisiones basadas en insights sobre los datos.

La supervivencia de estas empresas depende de este conocimiento.

¿De dónde vienen tantos datos? ¿Cómo son generados? ¿Cómo pueden ser aprovechados? ¿Qué profesionales trabajan en Big Data? ¿Cuáles son las tecnologías principales? ¿Cuáles son los tipos de aplicaciones para Big Data? ¿Cómo afectan a las empresas y a las personas?

Estas y otras preguntas serán respondidas en este libro.

Sección 1 - Fuentes de generación de datos

Generación de datos (créditos pixabay¹)

Los datos generados para Big Data provienen de tres fuentes: Personas, Máquinas, Empresas.

1 - Personas

Generan datos utilizando redes sociales (Facebook, Twitter, Instagram, LinkedIn), correos electrónicos, uso de Internet, generación de documentos, publicación de blogs, etc.

2 - Máquinas

Generan datos a partir de sensores, satélites, archivos de registro, cámaras, máquinas secuenciadoras genéticas, telescopios espaciales, sondas, etc.

3 - Empresas

Generan datos a partir de transacciones comerciales, tarjetas de crédito, sistemas de control administrativo y financiero, comercio electrónico, registros médicos, venta de productos, investigación de nuevas tecnologías, etc.

CURIOSIDADES

Generamos 2.5 quintillones de bytes de datos diariamente.

Más del 90% de los datos generados en el mundo se crearon en los últimos dos años.

Se estima que cada minuto enviamos 204 millones de correos electrónicos, twitteamos 456 mil veces, generamos 1.8 millones de Me gusta y publicamos 200 mil fotos en Facebook.

Cada minuto se suben más de 100 horas de video a YouTube.

Si graba datos generados en todo el mundo durante un día en DVD, la pila cubriría la distancia a la Luna.

Se estima que más de veinte mil nuevos sitios se crean por día en Internet.

Sección 2 - Las máquinas generan más datos

Las máquinas generan más datos (créditos pixabay²)

El Big Data se volvió viable al combinar grandes volúmenes de datos, asociado al bajo costo de hardware, software y tecnologías de computación en la nube, y la necesidad de las empresas de generar nuevo conocimiento a partir de insights sobre los datos.

¿Quién genera la mayor cantidad de datos? ¿Empresas, Personas o Maquinas?

Las máquinas generan 100 veces más datos que las empresas y 10 veces más datos que las personas.

En resumen:

- Empresas = generar 1X

- Personas = Generar 10X

- Máquinas = Generar 100X

Algunos ejemplos de datos generados por máquinas son: sensores de todo tipo integrados en equipos, sensores en máquinas en general, clusteres de computadoras, registros generados por dispositivos (computadoras, teléfonos inteligentes, teléfonos celulares, nodos de red), telemetría satelital, chips RFID, Sistemas GPS, software que genera cálculos automáticos, sistemas de aprendizaje automático, sistemas de automatización, Internet de las Cosas (IoT), entre otros

CURIOSIDADES

Los datos de máquina son datos generados sin intervención humana, recopilados automáticamente.

La empresa Splunk se especializa en recopilar y analizar datos de máquinas

Los datos generados por máquinas son la actividad digital realizada por computadoras, teléfonos, teléfonos inteligentes, sistemas integrados y otros dispositivos en red.

Las empresas están comenzando a descubrir la importancia de los datos generados por máquinas, como imágenes satelitales con datos meteorológicos, datos científicos como imágenes sísmicas, física de alta energía, fotografías, videos de seguridad, vigilancia, datos de radar o sonar, incluidos perfiles sísmicos vehiculares, datos meteorológicos y oceanográficos.

Los automóviles autónomos son grandes generadores de grandes volúmenes de datos.

Sección 3 - Los datos son el nuevo petróleo

Los datos son el nuevo petróleo (créditos pixabay³)

La frase Los datos son el nuevo petróleo surgió en 2006 y es utilizada con frecuencia por los CEO y líderes mundiales de Fortune 500 para referirse a la importancia de los datos en la era del Big Data.

Las empresas que exploran el Petróleo acumularon riqueza, establecieron monopolios y construyeron la base de la economía.

Hoy en día, las empresas basadas en datos como Google, Facebook, Uber, Amazon están haciendo lo mismo con la economía.

Vivimos en una economía digital, donde los datos son muy valiosos. Es la clave para una buena funcionalidad en el mundo, desde el gobierno a la empresa. Sin ellos, el progreso se detendría.

Los datos son el combustible que impulsa la economía y para algunos estamos viviendo en la era de la Economía de datos.

CURIOSIDADES

Los datos están moldeando el crecimiento económico, remodelando los negocios, la política y la economía. Como el petróleo, los datos se extraen, refinan, evalúan, compran y venden.

Las batallas del futuro las peleará y ganará quien mejor administre los datos.

Para Clive Humby, Matemático Inglês e arquiteto do Tesco's Clubcard, é creditada criação da frase: Data is the new oil (2006).

A Clive Humby, matemático inglés y arquitecto del Clubcard Tesco, se le atribuye la creación de la frase: Los datos son el nuevo petróleo (2006).

Virginia Rometty de IBM citó en un discurso ante el Consejo de Relaciones Exteriores en 2013: Quiero que piensen en los datos como el próximo recurso natural.

Meglena Kuneva, Comisaria Europea de Consumidores, 2009: Los datos personales son el nuevo petróleo de Internet y la nueva moneda del mundo digital.

Sección 4 - Dark Data o Datos Oscuros

Dark Data (créditos pixabay⁴)

Para 2030, más del 90 % de los datos estarán no estructurados y esta explosión de datos superará la capacidad humana para manejarlos.

Los datos oscuros (dark data) pueden ser generados a través de diversas operaciones por parte de las empresas y no se utilizan con fines de análisis.

Las empresas pueden conservar estos datos para uso futuro a un costo adicional de almacenamiento o descartarlos como inútiles.

El acelerador de partículas atómicas (Large Hadron Collider) de la Organización Europea para la Investigación Nuclear es el más grande del mundo y genera 25GB de datos por segundo.

La mayor parte de estos datos deben descartarse, ya que el volumen es tan grande que invalidaría el almacenamiento y el tiempo de análisis.

Cuando los datos se generan a gran velocidad, y no es posible almacenarlos en su totalidad, se utilizan técnicas de muestreo, recolectando solo una fracción de los datos más representativos que no comprometen el análisis.

CURIOSIDADES

El nombre dark data fue escogido como una analogía de dark matter o materia oscura, usada en la Física para describir una energía que no se puede observar, pero que está ahí y cubre el 80% del universo.

Gartner Consulting acuñó el término dark data.

Según una investigación realizada por IDC, el volumen de datos en el mundo se duplica cada 2 años.

Los datos del IDC indican que la cantidad de datos generados en 2018 fue de 33 ZB (ZettaBytes). En 2020 era de 59 ZB y se espera que alcance los 175 ZB para 2025.

Deep Web (Internet profunda) es un término que se refiere a los datos en la web a los que Google no accede y, por lo tanto, no son de acceso público. Se cree que es 500 veces más grande que Internet. Son datos oscuros.

La mayor parte de los datos no estructurados acaba convirtiéndose en Dark Data, debido a que muchas empresas aún no cuentan con el conocimiento y la tecnología para capturarlos y realizar su análisis.

Capítulo 2 - Cómo escalar los datos en Big Data

Si tienes un celular o una computadora, debes estar pendiente de la capacidad de almacenamiento.

Un teléfono móvil tiene 16, 32, 64,128, 256 GB o más de memoria. La computadora tiene 4, 8, 16, 32, 54 GB de memoria y discos de 250, 500 GB, 1TB, 2TB o más.

Si el teléfono móvil tiene 64GB de espacio de memoria, significa que se pueden almacenar 64 x 1,073,741,824 Bytes o caracteres.

Las medidas de los datos se escalan utilizando un sistema binario (base 2). Por lo tanto, 2ˆ10 (dos elevados a la décima potencia) equivale a 1.024 bytes.

Conozcamos estas medidas para tener una idea del volumen de datos generado en