Que es Big Data y su importancia
Cuando hablamos de Big Data
nos referimos a conjuntos de datos o combinaciones de conjuntos de datos cuyo
tamaño (volumen), complejidad (variabilidad) y velocidad de crecimiento,
gestión, procesamiento o análisis mediante tecnologías y herramientas
convencionales, tales como bases de datos relacionales y estadísticas
convencionales o paquetes de visualización, dentro del tiempo necesario para
que sean útiles.
Gracias a las tecnologías
que nos permiten extraer valor de Big Data, somos capaces de llevar a cabo
mantenimiento predictivo de máquinas y optimización de procesos, garantizando
así mayor eficiencia dentro de la industria. Estos cambios pueden alterar el
mercado laboral, y plantean la necesidad de contar con nuevas habilidades
profesionales, impensables hace una década.
Ha pasado mucho tiempo desde
que la máquina de vapor cambió el curso de la historia de nuestra civilización
con la mecanización de la producción en la llamada Primera Revolución
Industrial. Los avances científicos desarrollados a finales del siglo XIX
permitieron generar una Segunda Revolución Industrial, con el descubrimiento de
la electricidad y ésta sería la base para la producción en masa.
Posteriormente, en pleno siglo XX, se desarrolló una tercera; gracias al poder
de la informática y la electrónica que permitieron la automatización de
procesos de producción.
Esta revolución industrial
ha sido propiciada en primer lugar por la aparición de Internet, que amplió el
espectro de comunicación a niveles nunca vistos, también porque las tecnologías
han permitido multiplicar las capacidades de procesamiento y almacenamiento de
la información de manera exponencial con el paso de los años hasta el día de
hoy, y porque a raíz de estos dos hitos tecnológicos ha surgido una nueva
economía de datos donde absolutamente todos estamos inmersos. Como consecuencia
directa de la aparición de estas tecnologías, nuestros hábitos de consumo
también se han modificado considerablemente; ahora el consumidor está habituado
a la personalización de productos, así como su consumo en línea, lo que ha
propiciado a su vez un aumento de su propia exigencia, tanto de producto como
en tiempo.
Esto deriva en que las
organizaciones del sector industrial, para continuar siendo competitivas,
necesiten conocer mejor a los consumidores, de manera que puedan personalizar
los productos a través de experiencias nuevas y diferenciadas y, con ello,
fortalecer el compromiso de los consumidores. Por ejemplo, la posibilidad que
ofrecen
Hoy, se está gestando ante
nuestros ojos una Cuarta Revolución Industrial, producto de la fusión de una
serie de tecnologías destacadas, como el Big Data, la inteligencia artificial,
el Internet de las cosas (“IoT”, por sus siglas en inglés), la manufactura
aditiva (impresión 3D), la realidad aumentada, etc.; que están difuminando las
barreras entre lo físico y lo digital. Las grandes corporaciones se están
movilizando ya para adaptarse a los cambios, así como nosotros hemos cambiado
nuestros hábitos de consumo a partir del surgimiento de estas nuevas
tecnologías.
hoy las tecnologías que nos
permiten extraer valor de Big Data de recibir información en tiempo real de sus
consumidores y estudiar esos datos, les permite a las organizaciones conocerlos
mejor y satisfacer sus nuevas exigencias.
Es decir, a raíz del
desarrollo de las nuevas tecnologías, se ha conseguido generar información
sobre los consumidores; lo que se ha convertido en un activo fundamental para
las organizaciones industriales, que han podido usar dicho conocimiento para
realizar la personificación en masa de los productos. Es por eso por lo que
este cambio tecnológico se considera el principal catalizador de la Cuarta
Revolución Industrial, pues obliga a las organizaciones a seguir impulsando el
desarrollo de tecnologías que permiten extraer valor de Big Data para permitir
adaptarse y conocer mejor a sus clientes, manteniéndose competitivas.
Cambio en el consumo y en el
proceso de fabricación
Como hemos visto, el cambio
tecnológico ha propiciado un cambio en el consumo, lo que supone que para el
propio consumidor ya no sea suficiente con que el producto sea lo más barato
posible, sino que además el producto debe adaptarse a todo lo que necesitamos
como consumidores y lo que demandamos según nuestros gustos (personalización en
masa del producto). Y es esto justamente el gran cambio que ha obligado a las
empresas a buscar soluciones más ágiles y rápidas que den respuesta a sus
clientes, ahora hiperconectados.
Pero, ¿cuál ha sido el
factor que más ha influido en este cambio? En los últimos tiempos los productos
y servicios han evolucionado muy rápidamente y las fuentes de información en
las que se publicitan han aumentado considerablemente: redes sociales,
Internet, foros, etc. Es por ello que el factor principal que ha provocado que
los consumidores aumenten sus expectativas de la calidad de sus productos o
servicios es la gran cantidad de información a la que tienen acceso.
Desde el punto de vista de
la industria, el cambio no solo consiste en la eterna búsqueda de ahorrar
costes de producción, sino que ahora además debe responder de forma rápida y
personalizada a sus consumidores. La solución se encuentra en la digitalización
y en la creación de redes inteligentes, desde el diseño a la manufactura. En esta línea,
la Cuarta Revolución Industrial surge gracias a un gran avance tecnológico que
posibilita la aparición de nuevos hábitos de consumo, que permiten a su vez la
creación de nuevas oportunidades y modelos de negocio tanto para el sector
público como para el privado.
La digitalización supone
conectar todos los elementos: se genera una cantidad infinita de datos que son
de gran utilidad para conocer más y mejor tanto la cadena de producción como al
cliente; impactando no sólo en la mejora de la eficiencia operativa, sino
también en la generación de nueva oferta y nuevos ingresos.
Por ejemplo, hasta ahora, si
se presentaba algún problema en pleno proceso de fabricación, toda la cadena de
producción debía detenerse y era necesario evaluar dónde estaba el fallo y
arreglarlo para ponerla en marcha nuevamente. Esto suponía pérdidas económicas
cuantiosas por cada minuto en que la producción se mantenía detenida. Lo mismo
ocurría cuando se debía hacer mantenimiento de las máquinas, siempre con fechas
fijadas y sin tener en cuenta si realmente era necesario o no.
En la nueva industria 4.0,
la conectividad mejora la eficiencia de los procesos. Gracias a las tecnologías
que nos permiten extraer valor de Big Data y a la obtención de información en
tiempo real, somos capaces de modificar acciones, predecir fallos antes de que
se produzcan y, evitar que se detenga la producción. Imagina que tienes una
fábrica de chocolate y que las máquinas de tu fábrica cuentan con sensores que
recogen información todo el tiempo sobre su estado y funcionamiento; para que
luego sea analizada permanentemente por un programa de computador. El programa
puede darte alertas y avisarte si alguna de tus máquinas, por ejemplo, está
funcionando más lento de lo normal o si está presentando algún fallo. Esto te
permite detectar con precisión situaciones que pueden transformarse en un
problema a futuro, atenderlas a la brevedad y gestionar soluciones precisas
para ellas; que no impliquen la detención completa de toda tu cadena de
producción.
De esta manera, las
expectativas finales del consumidor no se verán afectadas, pues el producto
será fabricado a tiempo, no habrá desvíos en el stock por falta de producto y,
finalmente, éste le será enviado y entregado oportunamente.
Gracias a las tecnologías
que nos permiten extraer valor de Big Data somos capaces de llevar a cabo
mantenimiento predictivo de máquinas y optimización de procesos, garantizando
así mayor eficiencia dentro de la industria.
Sin embargo, estos cambios
suponen también cambios significativos en el mercado laboral. Según el estudio
“World Bank Development Report (World Bank Group, 2016)”, las máquinas podrían
reemplazar el 57% de los puestos de trabajo de media jornada en los países de
la OCDE, el 69% en India y hasta el 77% en China. Otro estudio “The Future of
Employment (Benedikt Frey & Osborne, 2013)” de 2013 nos da ejemplos de los
puestos que más riesgo corren: un teleoperador tiene un 99% de probabilidades
de ser reemplazado por la automatización, un cajero de supermercado un 98%, un
asistente legal un 94%, un taxista un 89% y un cocinero de una cadena de comida
rápida un 81%.
La otra cara de la moneda es
que surgen nuevos perfiles profesionales impensables hace una década, como el
de community manager, profesional de marketing digital responsable de la
gestión y desarrollo de la comunidad online de una empresa en el mundo digital;
o el de data scientist o científico de datos, cuyo papel resulta fundamental a
la hora de extraer el valor de los datos y poder así conocer mejor el negocio
de una organización (se profundizará sobre este perfil más adelante).
Seguro que en un futuro no
tan lejano hablaremos de abogados especializados en drones y ciberseguridad o
de diseñadores de órganos. Primarán las habilidades humanas sobre el
conocimiento de algo en concreto: se valorarán más, por ejemplo, los dotes de
liderazgo, la capacidad de gestión o la creatividad que los conocimientos
específicos en un tema (que, además de ir cambiando a gran velocidad, serán
fácilmente accesibles). En resumen, los tiempos están cambiando y tendremos que
prepararnos para adaptarnos.
Big data, machine learning y data science en python
ResponderBorrarEl libro está dirigido aquellos lectores que estén trabajando en proyecto relacionados con big data y busquen identificar las características de una solución de Big Data, los datos asociados a estas soluciones, la infraestructura requerida, y las técnicas de procesamiento de esos datos. Entre los principales objetivos podemos destacar:
https://i.ibb.co/VMssJGg/bigdata1.png
-Introducir los conceptos de ciencias de datos y machine learning.
-Introducir las principales librerías que podemos encontrar en Python para aplicar técnicas de machine learning a los datos.
- Dar a conocer los pasos para construir un modelo de machine learning, desde la adquisición de datos, pasando por la generación de funciones, hasta la selección de modelos.
-Dar a conocer los principales algoritmos para resolver problemas de machine learning.
- Introducir scikit-learn como herramienta para resolver problemas de machine learning.
- Introducir pyspark como herramienta para aplicar técnicas de big data y map-reduce.
- Introducir los sistemas de recomendación basados en contenidos.
El libro trata de seguir un enfoque teórico-práctico con el objetivo de afianzar los conocimientos mediante la creación y ejecución de scripts desde la consola de Python. Además, complementa los contenidos con un repositorio alojado en el Material Adicional donde se pueden encontrar los ejemplos que se analizan a lo largo del libro para facilitar al lector las pruebas y asimilación de los contenidos teóricos. Desde la web del libro podrá descargar los ejemplos y ejerciciosque se desarrollan en el libro lo que facilitara al lector a asimilar lo aprendido.
https://i.ibb.co/Dt5dKCJ/bigdata2.png