SISTEMA DE BIG DATA Y EL IoT

¿Qué es Big Data y para qué sirve?

En definitiva, cuando hablamos de Big Data no nos referimos únicamente a los
datos, sino sobre todo a la capacidad de poderlos explotar para extraer
información y conocimiento de valor para nuestro negocio. La finalidad del
Big Data es poder diseñar nuevos productos y servicios basándose en los
nuevos insights que adquirimos sobre nuestros clientes, sobre nuestra
competencia o el mercado en general.
Una vez recogida y almacenada la información, se deben extraer indicadores
que puedan ser útiles para tomar decisiones, incluso en tiempo real. Por lo
tanto, la verdad sobre qué es Big Data y para qué sirve va mucho más allá
de solo pensar en «datos masivos».

Las cinco “Vs” del Big Data

La mayoría de expertos definen el Big Data en términos de las cinco “Vs”:

1. Volumen: como hemos visto, la cantidad de datos se define “Big” no

cuando supera un tamaño definido, sino cuando su almacenamiento,
procesamiento y explotación empieza a ser un reto para una organización.
2. Velocidad: la segunda característica del Big Data está relacionada con el
ritmo a los cuales los datos se están generando, que suele aumentar
constantemente y que necesita una respuesta en tiempo real por parte de
las empresas.
3. Variedad: sin embargo, el reto principal del Big Data reside en la gran
diferencia de formatos distintos en los cuales encontramos los datos y que
pueden ir desde texto sencillo, a imágenes, videos, hojas de cálculos y
enteras bases de datos.
4. Veracidad: además, los datos tienen que ser confiables y han que ser
mantenidos limpios. Una gran cantidad de datos no tiene valor si son
incorrectos y puede ser altamente perjudicial, sobre todo en la toma de
decisión automatizada.
5. Valor: finalmente, los datos y su análisis tienen que generar un beneficio
para las empresas.
VENTAJAS Y DESVENTAJAS
Ventajas del Big data
El aprovechamiento de estas ventajas dependerá de creación experta de estos
sistemas, razón por la que la demanda de profesionales con un Máster en Big
Data es una de las tendencias del mercado laboral.
Un uso profesional del Big Data supone: 
1. Mejora en la toma de decisiones. Disponer de un gran volumen de datos
estructurados que se puedan interpretar ayuda a las organizaciones a poder
tomar una decisión.
2. Feedback a tiempo real. La tecnología Big Data permite no solo almacenar
y procesar datos. El Big Data es por encima de todo una tecnología ágil y
veloz que permite, por ejemplo, obtener información a tiempo real del
lanzamiento de un producto o el resultado de una estrategia
3. Conocimiento del mercado. La obtención y seguimiento de datos del Big
Data permite conocer a los consumidores y adelantarse a sus necesidades,
así como detectar tendencias en consumo o fallos en la atención al cliente.
La inclusión de profesionales con un Máster en Big data supone a permite a
las empresas localizar de posibles oportunidades.
4. Tecnología del presente y del futuro. La ciencia de datos comienza a ser
un elemento diferenciador y de éxito entre las empresas. También
empiezan a experimentarse sus ventajas de aplicación en otros campos
como la medicina. La tecnología del Big Data está en constante evolución y
todo apunta a que jugará un papel todavía más importante en la toma de
decisiones futuras.
Desventajas del Big data
Hace poco desmentíamos algunos de los mitos más extendidos sobre la
tecnología Big Data. Y aunque la seguridad sigue siendo uno de sus mayores
riesgos, existen otra serie de inconvenientes si esta tecnología no es
gestionada y aplicada por expertos.
1. El exceso de datos
La utilidad del Big Data surge de su capacidad para extraer información de los
datos. Si estos datos se almacenan y analizan indiscriminadamente solo se
convierten en ruido que ralentizará y obstaculizará las tareas.
2. Ciberseguridad
La seguridad es el mayor reto para la tecnología Big Data. La vulnerabilidad
de esta enorme cantidad de datos almacenados es el objetivo de los
nuevos ciberataques. Reconocer la responsabilidad de trabajar con datos y
dotar los sistemas de normas y herramientas, son aspectos clave de la
formación en un Máster en Big data.
3. Las políticas de protección de datos
En relación con lo anterior, y como ocurre con muchos de los grandes avances
tecnológicos, son necesarios consensos y protocolos que establezcan
hasta qué punto esta tecnología podría considerarse intrusiva y cómo
protegerla.
4. Tecnofobia
Más como consecuencia de los mitos sobre el Big Data que por sus
desventajas, existen reacciones desfavorables por parte de los usuarios,
que consideran que vulnera su privacidad. Lo que estos usuarios
probablemente no sepan, es que la tecnología de datos lleva años entre sus
acciones cotidianas permitiendo avances destinados a facilitar su día a día.
Qué son datos estructurados (Structured Data)? 
Los datos estructurados se clasifican con mayor frecuencia como datos
cuantitativos, y es el tipo de datos con el que la mayoría de nosotros estamos
acostumbrados a trabajar. Piensa en datos que encajen perfectamente en
campos y columnas fijos en bases de datos relacionales y hojas de cálculo.

Los datos estructurados están muy organizados y se comprenden fácilmente

mediante el lenguaje de máquina. Quienes trabajan con bases de datos
relacionales pueden ingresar, buscar y manipular datos estructurados con
relativa rapidez. Esta es la característica más atractiva de los datos
estructurados.

Ejemplos de datos estructurados

Generados por computadora o por máquina

Los datos generados por máquina generalmente se refieren a datos que son
creados por una máquina sin intervención humana.

Los datos estructurados generados por máquina pueden incluir lo siguiente:

● Datos del sensor: los ejemplos incluyen etiquetas de identificación por

radiofrecuencia, medidores inteligentes, dispositivos médicos y datos del
Sistema de posicionamiento global. Las empresas están interesadas en
esto para la gestión de la cadena de suministro y el control de inventario.

● Datos de registro web: cuando operan servidores, aplicaciones, redes, etc.,

capturan todo tipo de datos sobre su actividad. Esto puede equivaler a
enormes volúmenes de datos que pueden ser útiles, por ejemplo, para
hacer frente a acuerdos de nivel de servicio o para predecir brechas de
seguridad.

● Datos de punto de venta: cuando el cajero desliza el código de barras de

cualquier producto que está comprando, se generan todos los datos
asociados con el producto.

Generados por humanos

Estos son datos que los humanos, en interacción con las computadoras,
suministran.

Los ejemplos de datos estructurados generados por humanos pueden incluir

los siguientes:

● Datos de entrada: se trata de cualquier dato que un ser humano pueda

introducir en una computadora, como nombre, edad, ingresos,
 respuestas de encuestas no libres, etc. Estos datos pueden resultar
útiles para comprender el comportamiento básico del cliente.

● Datos de flujo de clics: los datos se generan cada vez que hace clic en
un enlace en un sitio web. Estos datos se pueden analizar para
determinar el comportamiento del cliente y los patrones de compra.

● Datos relacionados con los juegos: se pueden registrar todos los

movimientos que hagas en un juego. Esto puede resultar útil para
comprender cómo se mueven los usuarios finales en una cartera de
juegos.

¿Qué son datos no estructurados (Unstructured Data)? 

Los datos no estructurados se clasifican con mayor frecuencia como datos
cualitativos y no pueden procesarse y analizarse utilizando herramientas y
métodos convencionales.

Los datos no estructurados son difíciles de deconstruir porque no tienen un

modelo predefinido, lo que significa que no se pueden organizar en bases de
datos relacionales. En cambio, las bases de datos no relacionales o
NoSQL son las más adecuadas para administrar datos no estructurados..

Más del 80 por ciento de todos los datos generados en la actualidad se

consideran no estructurados, y este número seguirá aumentando con la
prominencia del Internet de las cosas.

Ejemplos de datos no estructurados

Los ejemplos de datos no estructurados incluyen texto, vídeo, audio,
actividad móvil, actividad en redes sociales, imágenes satelitales, imágenes de
vigilancia; la lista sigue y sigue.

Echemos un vistazo a unos ejemplos de datos no estructurados para

comprender mejor la fuente, el carácter y la importancia de cada uno.

● Registros médicos: la atención médica genera grandes volúmenes de datos

no estructurados generados por humanos. Los datos generados por
máquinas incluyen datos recopilados por dispositivos de imágenes médicas
como endoscopios, laparoscopios, robots quirúrgicos, cámaras de vídeo de
emergencia y datos de bioseñales de monitores de pacientes en quirófanos
y unidades de cuidados intensivos. Los dispositivos portátiles de control de
la salud también generan una gran cantidad de datos. Los datos generados
por humanos podrían ser las conversaciones entre pacientes y
profesionales de la salud que se graban en forma de texto o como archivos
de audio.

● Redes sociales: las redes sociales se han convertido en una parte

intrínseca del estilo de vida de miles de millones de personas en todo el
mundo, y para muchos, es el canal preferido cuando se trata de ver, crear o
compartir información. Las redes sociales también son utilizadas por
 empresas, gobiernos y organizaciones en dominios como compras,
entretenimiento, educación, gestión de crisis y política. Las plataformas de
redes sociales generan datos en todo momento, las 24 horas del día, en
todo el mundo. Esto ha llevado a una enorme proliferación de datos que
podrían estar en forma de texto, imágenes, vídeos, audio o ubicaciones
geográficas.

● Documentos comerciales: la multitud de documentos que se utilizan para

realizar negocios, como correos electrónicos, presentaciones e informes,
contienen datos en forma de texto, imágenes, números o vídeos y no están
estructurados. Estos documentos forman importantes repositorios de
conocimiento dentro de la organización, pero actualmente, en su mayoría,
se subutilizan si no se pueden asignar a sistemas de información
estructurados.

● Comunicaciones en chat en vivo, mensajería y reuniones web: en la

actualidad, las discusiones tanto profesionales como personales tienen
lugar a través de una variedad de plataformas de comunicación.
Aplicaciones populares como WhatsApp, plataformas de conferencias web
como Zoom o Skype

Diferencias fundamentales entre los datos estructurados y los no

estructurados

Actualmente, dentro del Big Data, se distinguen dos tipos de datos: datos

estructurados y datos no estructurados. Veamos cuál es la diferencia entre
ambos.

Los datos estructurados están altamente organizados y formateados de tal

manera que se pueden buscar fácilmente en bases de datos relacionales. Los
datos no estructurados no tienen un formato u organización predefinidos, lo que
hace que sea mucho más difícil de recopilar, procesar y analizar.

Tipos de Big Data

Para profundizar en qué es Big Data y para qué sirve, es necesario saber
también que existen distintos tipos de datos asociados a esta técnica.
A la hora de clasificar los “grandes datos” podemos hacerlo según dos
criterios: procedencia y estructura. Así, según su procedencia, los datos
pueden llegar desde distintas fuentes, entre otras:

● Web y Redes Sociales: información disponible en Internet como contenido

Web, generada por los usuarios en su actividad en las redes sociales o
información de búsquedas en buscadores.
● Machine-to-Machine (M2M): datos generados a partir de la comunicación
entre sensores inteligentes integrados en objetos de uso cotidiano.
● Transacciones: incluye registros de facturación, llamadas o transaccio,nes
entre cuentas.
● Biométricos: datos generados por tecnología de identificación de personas
mediante reconocimiento facial, de huellas dactilares o mediante
información genética.
● Generados por personas: a través de correos electrónicos, servicios de
mensajería o grabaciones de llamadas.
● Generados por organizaciones tanto públicas como privadas: datos
relacionados con el medioambiente, estadísticas gubernamentales sobre
población y economía, historiales clínicos electrónicos, etc.
Por otro lado, según su estructura, los datos pueden ser:

● Estructurados: datos que tienen definidos su formato, tamaño y longitud,

como las bases de datos relacionales o Data Warehouse.
● Semiestructurados: datos almacenados según una cierta estructura
flexible y con metadatos definidos, como XML y HTML, JSON, y las hojas
de cálculo (CSV, Excel).
● No estructurados: datos sin formato específico, como ficheros de texto
(Word, PDF, correos electrónicos) o contenido multimedia (audio, vídeo, o
imágenes).

Ejemplos reales de qué es Big Data y para qué sirve

Para entender de modo práctico qué es Big Data y para qué sirve, veamos
algunos ejemplos reales de su uso:

1. Marketing: segmentación de clientes. Muchas empresas usan datos

masivos para adaptar sus productos y servicios a las necesidades de sus
clientes, optimizar operaciones e infraestructuras, y encontrar nuevos
campos de negocio.
2. Deportes: optimización del rendimiento. Dispositivos como los smart
watches registran automáticamente datos como el consumo de calorías o
los niveles de acondicionamiento físico.
3. Salud pública: codificación de material genético. Por ejemplo, existen
plataformas de análisis del Big Data que se dedican a descodificar cadenas
de ADN para comprender mejor las enfermedades y encontrar nuevos
tratamientos.
4. Nuevas tecnologías: desarrollo de dispositivos autónomos. El análisis
de datos masivos puede contribuir a mejorar máquinas y dispositivos, y
hacerlos más autónomos. Un ejemplo son los coches inteligentes.
5. Seguridad: detección y prevención de crímenes. Los cuerpos de
seguridad usan el Big Data para localizar a criminales o prevenir actividades
delictivas como los ataques cibernéticos.

Herramientas para poner en práctica lo que es Big Data y para qué sirve
en las empresas

Así, luego de entender qué es Big Data y para qué sirve, veamos algunas
de sus principales herramientas:

● Hadoop: es una herramienta de código abierto que nos permite tanto

gestionar los grandes volúmenes de datos, como analizarlos y procesarlos.
Hadoop implementa MapReduce, un modelo de programación que da
soporte a la computación paralela sobre grandes colecciones de datos.
● NoSQL: se trata de sistemas que no utilizan SQL como lenguaje de
consultas, lo que, a pesar de no poder garantizar la integridad de los datos
(principios ACID: atomicidad, consistencia, integridad y durabilidad), les
permite obtener ganancias significativas en escalabilidad y rendimiento a la
hora de trabajar con Big Data. Una de las bases de datos NoSQL más
populares es MongoDB.
● Spark: es un framework de computación en clúster de código abierto que
permite procesar los datos de forma rápida. Permite escribir aplicaciones en
Java, Scala, Python, R y SQL y funciona tanto sobre Hadoop, Apache
Mesos, Kubernetes, como de forma independiente o en la nube. Puede
acceder a centenares de fuentes de datos.
● Storm: es un sistema de computación en tiempo real distribuido de código
libre. Storm permite procesar flujos ilimitados de datos en tiempo real de
manera sencilla, pudiendo usarse con cualquier lenguaje de programación.
● Hive: es una infraestructura de Data Warehouse construida sobre Hadoop.
Facilita la lectura, escritura y administración de grandes conjuntos de datos
que residen en almacenamiento distribuido mediante SQL.
● R: es uno de los lenguajes de programación más utilizados en análisis
estadísticos y en minería de datos . Puede integrarse con distintas bases de
datos y permite generar gráficos con alta calidad.
● D3.js: es una biblioteca de JavaScript para producir visualizaciones
dinámicas e interactivas de datos en navegadores web, usando HTML, SVG
y CSS.

Qué es IoT
El concepto de Internet de las cosas (IoT, por sus siglas en inglés -Internet of
Things-) hace referencia a objetos provistos de inteligencia de
software interconectados M2M (máquina a máquina). Los dispositivos pueden
actuar e interactuar remotamente y generar un ecosistema de servicios a su
alrededor con el objetivo de agregar valor y mejorar la experiencia de los
usuarios.

El término IoT fue acuñado por Kevin Ashton, fundador del Centro Auto-ID del
MIT, en el año 1999. Allí, descubrió que los objetos se podían vincular a la red
a través de etiquetas RFID.

Cada día, la variedad de dispositivos conectados al Internet of Things (IoT)

crece. Como consecuencia, los datos que generan esos dispositivos también
incrementan. Para optimizar su funcionamiento, entran en juego otras
tecnologías:

● Interfaces de programación de aplicaciones (API).

● Big Data.
● Inteligencia Artificial.
● Machine Learning.
● Cloud Computing.

Impacto de IoT en la sociedad

Los consumidores están cada vez más familiarizados con la adopción de

los dispositivos interconectados, con el mundo del Internet of Things (IoT).
Estas son algunas de sus ventajas:

● Automatización de las tareas sin intervención humana.

● Mayor eficacia y ahorro de tiempo.
● Ahorro de costes, ya que se puede reducir el consumo de energía en el
hogar, trabajo y sitios públicos.
● Mejora de la calidad de vida de las personas.

IoT y Big Data

Como decíamos, una de las consecuencias del IoT es la generación de datos.

El Big Data permite extraer valor de una variedad y volumen de datos en
constante actualización, algo inabarcable para las personas.

El IoT se convierte, así, en uno de los mayores proveedores de información

para los sistemas de Big Data, Inteligencia Artificial (IA) y Computación
Cognitiva. Las empresas se aprovechan de esta relativamente nueva
capacidad para analizar información en tiempo real sin intermediarios
humanos.

En definitiva, las compañías pueden maximizar la eficiencia de los procesos en

la industria, adaptar la producción industrial al stock y a la demanda esperada
de cada producto con <una planificación de estrategias más detallada que
dé respuestas inmediatas a situaciones reales. Ahondamos en ello.

RELACION CON INTERNET DE LAS COSAS

Internet de las Cosas es un concepto que engloba infinitas posibilidades
porque aporta la conectividad entre dispositivos y para el Big Data, esa
interconectividad y el flujo de procesos que se llevan a cabo entre dispositivos,
y su propio uso, genera muchos datos y esos acontecimientos son producidos
en tiempo real.
Respecto al uso de Inteligencia Artificial en proyectos IoT, se prevé que cada
vez se incluirá IA en los planes debido a que ofrece mejorar la eficiencia
operativa y la gestión del riesgo. Por eso, una alianza entre Internet de las
Cosas y la Inteligencia Artificial ayudará a las empresas a gestionar los miles
de millones de datos que recolectan, a través del Big Data, de manera efectiva.
En definitiva, nos dirigimos hacia un futuro en que los objetos inteligentes
detectan el entorno en que se encuentran, interactuando no solo con sus
propietarios sino con otros objetos. Y estos datos procedentes del Internet
de las Cosas supondrán, a el corto plazo, el mayor flujo de información
que se aúna en Internet, y, por consiguiente, el mayor proveedor para los
sistemas de Big Data, Inteligencia Artificial (IA) y Computación Cognitiva

Beneficios empresariales gracias a la vinculación de IoT y Big Data

● Automatización de procesos.
● Producción más eficiente en función de los diagnósticos de uso y
satisfacción de lo clientes.
● Mejora de la experiencia de usuario.
● Toma de decisiones estratégicas más informadas.
● Ahorro de costes.