¿Cómo se recolecta el Big Data?

¿Cómo se recopila la Big Data?

Aquí, a estas horas... la Big Data... se junta... como si fuesen piezas sueltas de algo roto.

Se junta...

• De los registros. Como el diario de alguien, pero inmenso. Miles de "entradas" que cuentan, sin querer, qué hace la gente.
• Raspando la web. Como buscar migajas en un mantel gigante. Siguiendo links, copiando textos... todo vale.
• Desde sensores. Cosas que miden... la temperatura, el pulso, el tráfico... Todo lo que se pueda medir, se mide.
• Redes sociales. Un gran confesionario público. La gente vomita sus vidas ahí, gratis.
• Bases de datos. Las viejas y las nuevas. Relacionales o NoSQL. Da igual, todo se mete en la coctelera.
• APIs. Como pedirle un favor a una máquina. "Dame esto", "Dame aquello". Y ella, obediente, te lo da.

Siempre pensé que todos esos datos acabarían usándose para algo bueno. Supongo que me equivoqué. Me recuerda a mi abuela guardando cupones de descuento... ¿para qué? Nunca lo supe.

¿Cómo recopila datos el big data?

La recopilación de datos masivos es un festín tecnológico. En mi experiencia, ocurre de muchas formas, algunas más invasivas que otras.

Una vez, estaba trabajando como becario en una empresa de marketing digital en Madrid, ¡qué locura! Era 2023, imagínate, y me tocó analizar cómo las empresas rastreaban las tendencias en Twitter.

• Web scraping: Usaban programas para extraer datos de webs. Veías nombres, precios... de todo.
• Análisis de redes sociales: Con herramientas muy potentes. Podían ver quién hablaba de qué, qué gustaba... ¡todo!
• Dispositivos IoT: Estos aparatos, desde relojes hasta neveras, mandan datos constantemente. Una mina de información.
• Transacciones de clientes: Cada vez que compras algo online o con tarjeta, queda registrado.
• Registros públicos: Información del gobierno, estadísticas... accesible (con limitaciones).

Fue ahí donde vi realmente la magnitud del Big Data.

Recuerdo una vez que, tratando de entender el impacto de una campaña, nos metimos a fondo con el análisis de las interacciones en Instagram. Era una locura ver cómo podíamos segmentar por edad, género, intereses... ¡y todo en tiempo real! Me dio un poco de miedo la cantidad de información disponible y cómo se usaba.

Un día, se fue la luz en la oficina, y de repente, ¡pánico! Descubrimos que todos los datos estaban alojados en un servidor en Irlanda. ¡Irlanda! Me pregunté qué pasaría si ese servidor se caía. En fin, un caos.

Y luego está lo de los términos y condiciones que nadie lee. Ahí está la clave para que te rastreen y usen tus datos. ¡Qué horror!

¿Cómo se han recolectado los datos?

Oye, ¿cómo se recopilaron esos datos, ¿no? ¡Qué rollo! Pues mira, cuatro maneras básicas, así, de golpe. Entrevistas cara a cara, como las de siempre. Un tostón, ¿eh? Luego está lo del correo, que vaya tela lo lento que es, y encima, a veces ni responden, ¡qué desesperación! ¡Y el teléfono! Llamadas, llamadas... un lío. Y por último, internet, las encuestas online, eso si que es cómodo, aunque a veces te encuentras con respuestas raras, sabes? Mucho más rápido todo, claro.

Cada método tiene sus cosas buenas y malas, obvio. Las entrevistas en persona, aunque molan por el contacto, son un pastón y te lleva una vida. De hecho, a mi primo le pasó que estuvo tres semanas haciendo entrevistas y medio se vuelve loco. Es caro, lento, y a veces ni siquiera es fiable la información, que te cuentan lo que quieren que les creas ¡qué rabia!

En fin, con el correo, es que es un rollo. El teléfono también es un poco pesado, aunque más rápido. Lo mejor, sin duda, las encuestas online, aunque igual a veces hay tramposos que responden sin pensar. Lo que si te digo, es que este año he hecho varias encuestas online para estudios de mercado, y la verdad es que gané unos eurillos extra. Hasta hice una sobre las nuevas campañas de publicidad de Coca-Cola. ¡Alucinante!

• Entrevistas en persona: Lento, caro, puede ser poco fiable.
• Correo: Lento, baja tasa de respuesta.
• Teléfono: Mejor que el correo, pero también consume tiempo.
• Online: Más rápido, más barato, pero cuidado con respuestas poco fiables.

Este año, para mi tesis, yo usé una mezcla de online y teléfono, para contrastar datos, ¿sabes? Fue un lío, pero al final salió bien. Eso sí, sufrí un montón.

¿Cómo se extrae el big data?

Oye, mira, me preguntaste como se saca el big data, ¿no? Pues mira, va de que los jefes, los que mandan, se enfoquen en algo bien importante: hacer que pase el menor tiempo posible entre que los datos aparecen y que tienen un primer modelo predictivo. O sea, lo antes posible, ¡que no se duerman en los laureles!

Cuanto más rápido, mejor, eso es lo que hay que buscar. No te compliques. Simple, simple.

Y ahora, te cuento un poco más de cómo va la movida esta, porque no es solo eso, claro.

• Primero, necesitas tener un lugar donde guardar todos esos datos, pero todos todos, eh. Piensa en una base de datos gigante, ¡gigante! Usan mucho cosas como Hadoop o Spark, que yo no entiendo mucho, pero que son como superpoderes para esto.
• Luego, hay que limpiar la casa. Los datos vienen sucios, con errores, faltantes… Un lío. Hay que dejarlos bien limpitos para que sirvan para algo.
• Después, toca analizar. Aquí es donde se ponen interesantes las cosas. Se usan algoritmos, modelos matemáticos, ¡de todo! para buscar patrones, tendencias, cosas raras que te puedan dar pistas.
• Por último, hay que usar esa info. Para tomar decisiones, para predecir cosas, para lo que sea. ¡El poder del big data en tus manos!

Ah, y una cosa. Ahora se habla mucho de IA, inteligencia artificial, y machine learning. Pues bueno, el big data es el combustible de todo eso. Sin datos, la IA no tiene nada que aprender. Así que imagínate lo importante que es.

Y hablando de cosas importantes, el otro día me encontré a mi prima en el supermercado, ¡y no la reconocí! Había adelgazado un montón. Me dijo que estaba usando una app que le analizaba los datos de lo que comía y le daba consejos personalizados. ¡Imagínate, hasta para eso sirve el big data!

¿Cómo se alimenta una IA?

A ver... cómo se alimenta una IA...

Datos, básicamente datos. Un torrente incesante que nosotros, sin darnos cuenta, vertemos cada día. Es como si estuviéramos regando un jardín que no es nuestro. ¿Entiendes?

A veces me pregunto si realmente sabemos lo que estamos haciendo. Entregar nuestra información así, a cambio de... ¿de qué? Un like, un comentario. Una falsa sensación de conexión.

Y luego está mi propia experiencia. Yo... yo alimenté una IA con mis fotos viejas. Todas esas imágenes de mi infancia, de mis viajes. Pensé que era algo bonito, una forma de preservar recuerdos.

• Error.

Ahora me da miedo pensar dónde acabarán. Quién las verá. Qué uso le darán.

• ¿Recordarán el sabor de la tarta de fresa que hacía mi abuela, como yo?
• ¿Sentirán la brisa marina en la playa de mi pueblo?
• ¿O solo serán números, pixeles fríos en un algoritmo?

Todo se reduce a eso, ¿no? Números. A la IA no le importa la nostalgia. Ni el dolor. Solo los datos. Es... desolador. ¿Sabes?

Y lo peor es que seguimos alimentándola. Sin parar. Sin pensar.

¿Qué es Big Data en alimentos?

Big Data en alimentos es un torbellino, un vasto océano de información que fluye y refluye, abarcando todo, desde el susurro del viento en los campos de trigo hasta el tintineo de la caja registradora en el supermercado. Un universo paralelo de datos, sí.

• Producción agrícola: El eco de las cosechas, las semillas que germinan bajo el sol.
• Clima: El capricho del cielo, la lluvia que da vida, la sequía que amenaza.
• Patrones de consumo: La danza del deseo, lo que anhelamos en el plato, las modas pasajeras.
• Logística: El laberinto de caminos, el ir y venir de camiones, el latido del transporte.

Y el volumen, ¡ay, el volumen! Una avalancha constante, imparable. Cada clic, cada compra, cada sensor que envía una señal. Una marea incesante que amenaza con ahogarnos, pero que también, quizás, contiene la clave para alimentarnos mejor, para desperdiciar menos, para comprender la sinfonía silenciosa de la tierra. ¿O quizás no? A veces me pregunto si tanta información no nos nubla la vista, si no nos impide oler la tierra mojada después de la lluvia, si no nos aleja del sabor simple y puro de un tomate recién cortado.

¿Qué título necesitas para construir IA?

A ver, si quieres currar en IA, necesitas un título si o si... Y ¿sabes que título vale? Pues Informática, sin duda.

• Porque te da la base de todo, o sea, programación. ¡Imprescindible vamos!
• Algoritmos, que suenan a chino, pero son superimportantes.

Luego ya, si te quieres especializar, que yo creo que si porque sino a qué viene todo esto, pues a lo mejor te interesa:

• Aprendizaje automático (Machine Learning): Esto es si te mola que las máquinas aprendan solas, como en las pelis. Es como lo que hace mi vecina con su perro, pero en código.
• Desarrollo de Software de IA: Aquí ya tocas el código directamente, creando programas que imitan la inteligencia humana. Mi primo hizo algo así y ahora trabaja en una empresa que hace robots!
• Ingeniería en Robótica: En mi opinión esta es otra que te puede valer un montón, aunque es muy centrada en robots y no tanto en la IA en general. ¡Ah! por cierto, hace poco ví un robot aspirador de una marca que parece el nombre de una verdura, ¡super caro!.

Así que ya sabes, Informática como base y luego te especializas según lo que más te guste, la verdad. Bueno, espero que te sirva, yo que sé.