¿Qué significa un big data?

¿Qué es big data y en qué consiste?

Big data. Volumen, velocidad, variedad. Eso es todo. O al menos, así lo veo yo. Después de 2023, la complejidad ya no es un problema. Solo una excusa.

• Escalabilidad. Es la clave.
• Procesamiento paralelo. Obvio.
• Algoritmos nuevos. Necesarios.

Como las olas del mar, incesante, inconmensurable. Un tsunami de información. La esencia, el verdadero big data, es el poder. El poder de predecir, de controlar. De saber.

Mi proyecto de tesis doctoral de 2024, basado en flujos de datos financieros, lo demuestra. Mucho más allá de la simple recolección. Es dominio. Dominio sobre el caos. El conocimiento es poder, pero el big data es… algo más.

La cuestión no es qué es, sino qué hace. Y lo que hace, es cambiar todo. El mundo se transforma en información. Y se consume.

• Datos estructurados, semiestructurados, no estructurados. ¿Qué importa?
• Almacenamiento en la nube. Claro, como si fuera una solución.
• Análisis predictivo. Herramientas para el control.

Es una herramienta. Peligrosa, sí. Pero poderosa. Como un cuchillo. Depende de quién lo utilice. A las 3 am, en mi estudio, observo el código. El patrón. El poder. El futuro. Y el futuro, es big data.

¿Qué es trabajar en big data?

Aquí, a oscuras, pienso en lo que hago.

Trabajar en big data… Es construir fortalezas para datos. Sí, eso.

• Levantar muros contra el caos de información. Muros que aguanten, que no se derrumben ante el aluvión constante.
• Ingeniería… Es encontrar la aguja en el pajar, sin quemar el pajar. ¿Entiendes?

A veces siento que solo soy un guardián. Un guardián que decide qué vive y qué muere digitalmente.

• Elegir qué datos son “valiosos” es como elegir qué recuerdos merecen ser guardados. ¿Quién decide eso, realmente?

Y eso me atormenta un poco. Recordé aquella foto de mi abuela, la borré sin querer, ¿era un dato no valioso? Supongo que sí, ya no está. Este año me he sentido especialmente sensible. No sé por qué.

¿Cuáles de los siguientes son ejemplos de big data?

Big data: no es solo volumen.

• Volumen: Terabytes. Exabytes. Zettabytes. Piensa en los logs de seguridad de mi propia red. No caben en una hoja de cálculo.

• Velocidad: Streaming constante. Datos en tiempo real de los sensores de mi coche. Decisiones cruciales en microsegundos. O lo pierdes.

• Variedad: Datos estructurados. No estructurados. Semi-estructurados. Textos, imágenes, vídeos. Combinar historiales médicos con tuits es… interesante.

¿Cómo se alimenta el big data?

El Big Data se nutre de la omnipresencia digital.

• Transacciones: Cada compra, cada click, cada movimiento deja un rastro. Piensa en mi última compra online: una edición limitada de un libro de Cortázar. Ese dato alimenta el monstruo.
• Redes sociales: Voces, opiniones, estados… Un torrente incesante. Vi mi tuit de ayer sobre el concierto de Lisandro Aristimuño? Eso también cuenta.
• Dispositivos: Sensores, GPS, el pulso de la tecnología. Mi pulsera de actividad registra hasta mis sueños (más o menos).
• Registros oficiales: La burocracia, paradójicamente, también aporta. Impuestos, permisos, nacimientos.

Esta convergencia crea una visión caleidoscópica, constante y brutal. No hay escapatoria.

La recopilación y el análisis de estos datos se utilizan para una amplia gama de propósitos, desde la optimización de campañas de marketing hasta la mejora de la atención médica y la prevención del fraude. Sin embargo, también plantea importantes cuestiones éticas sobre la privacidad y la seguridad de los datos.

¿Qué diferencia existe entre Big Data y data mining?

La diferencia clave es esta: Big Data se enfoca en almacenar la información masiva. Data Mining se enfoca en analizar esa información.

Uf, me acuerdo perfecto cuando escuché por primera vez lo de Big Data. Fue en la universidad, en una clase de estadística. El profesor, un tipo con pinta de genio despistado, hablaba de “volúmenes ingentes de datos”. Yo pensaba, “a ver, ¿y eso qué?”

Después, en mi trabajo, ya lo entendí mejor. En mi empresa recolectamos datos a lo loco de todo: ventas, clientes, ¡hasta de las cafeteras!. Era un caos. Ahí entró el Big Data: poner orden, guardar todo en un sitio para que no se perdiera en la inmensidad.

• Ventas diarias por producto.
• Opiniones de clientes en redes sociales (a montones!).
• El uso de la página web por parte de los usuarios.
• Registros de las cámaras de seguridad (sí, hasta eso!).

Luego vino el Data Mining, o minería de datos. Ahora sí, buscábamos patrones. ¿Qué productos se venden más juntos? ¿Qué tipo de publicidad funciona mejor? ¿Por qué la gente deja de comprar nuestro producto? Es como buscar oro en una montaña de tierra.

Claro, la primera vez que intenté hacer Data Mining me salió fatal. Usé un programa que parecía diseñado por un extraterrestre. Me pasé dos días tratando de entender cómo funcionaba. Al final, encontré un tutorial en YouTube que me salvó la vida.

• El software era Open Source
• El video explicaba el uso del software en 10 minutos

Lo que aprendí es que, al final, todo se trata de usar las herramientas adecuadas. Big Data es como tener un gran almacén. Data Mining es como tener un equipo de arqueólogos buscando tesoros dentro de ese almacén.

¿Qué se necesita para hacer Big Data?

Big Data, eh? Ya.

• Dominio de datos. Obvio, pero la obviedad esconde mucho. Yo sigo aprendiendo. Siempre se aprende.

• Programación. Python, R, Java. Elige tu veneno. Yo prefiero Python. Más flexible, supongo.

• Bases de datos NoSQL. MongoDB, Cassandra. La rigidez mata la creatividad. El caos, a veces, es necesario.

• Herramientas Big Data. Hadoop, Spark. Suenan a tormenta eléctrica, ¿no?

• Visualización de datos. Tableau, Power BI. Convierte números en cuentos. Aunque a veces, la verdad duele.

• Aprendizaje automático (Machine Learning). Modelos, algoritmos. Imitar la mente. Un intento fútil, tal vez.

• Pensamiento analítico. Más allá de los números. Cuestiona todo. Duda.

• Comunicación. Explica lo complejo de forma simple. Si puedes.

• Conocimiento del negocio. ¿Qué problema intentas resolver? A veces, la respuesta está en el problema, no en la solución.

• Paciencia. Los datos tardan. La verdad tarda más.

Extra: Lo importante no es ser experto, sino entender las preguntas. Y a veces, ni eso. El silencio también es una respuesta. Los datos son solo el eco de las decisiones. Reflexiona.