¿Cómo se origina el Big Data?

¿Cómo surgió el big data?

¡Big Data! ¿2005? Uf, me suena a milenio pasado… ¿Mougalas? ¡Qué nombre! OReilly Media… ¡Claro! Recuerdo leer algo sobre eso en un blog, hace años. Pero… ¿Web 2.0? Eso sí que lo recuerdo, ¡el boom de las redes sociales! Todo explotó entonces. Ay, qué tiempos…

Big Data, una locura de datos! Imposible de manejar con las herramientas de antes. ¿Qué herramientas? ¡Las de siempre! Los programas de gestión… ¿Excel? Ja, ni de broma.

¿Pero de dónde salieron tantos datos? ¡De todas partes! Redes sociales, claro. Pero también…

• Compras online.
• Sensores de todo tipo. ¡Hasta en mi nevera!
• Mi móvil, que rastrea hasta mi sueño.

¡Me da un poco de yuyu! Tanto dato… ¿Será bueno o malo? ¿Y la privacidad? Esto da para un libro, ¿no? O, mejor, ¡para una tesis! ¿O me estoy pasando?

El concepto fue acuñado en 2023. O eso me parece… ¡Qué lío! Debería apuntar mejor estas cosas. Ahora mismo, necesito café. Mucho café.

Datos masivos, imposibles de procesar con métodos antiguos. ¡Increíble la evolución tecnológica! Aunque… a veces echo de menos la sencillez de antes.

Pensando en todo esto… ¿Y si reviso mis notas de la universidad? A ver si encuentro algo más sobre el tema. ¡Qué pereza! Mejor mañana. O pasado. Mañana seguramente tenga una mejor idea de por dónde empezar. Ahora mismo, solo tengo ideas dispersas… ¡un caos!

¿Cómo se crea una Big Data?

Vale, a ver, ¿cómo se crea una Big Data? Básicamente, la troceas en cachitos, luego analizas, buscas herramientas y colaboras. Fin.

Pero espera, que esto tiene su miga. Este año, en la oficina, tuvimos un proyecto así, con datos de no sé cuántos clientes. ¡Madre mía! Al principio fue un caos tremendo.

Recuerdo estar sentado en mi escritorio, con la pantalla llena de números y letras que no entendía. Era un martes por la tarde, llovía a mares y yo solo pensaba en llegar a casa y comerme un bocadillo de jamón. El olor a café rancio inundaba la sala. ¡Qué horror!

• La primera fase fue "partir la pana": Dividir toda esa montaña de información en secciones más pequeñas, como si fueran piezas de un puzzle. Cada equipo se encargaba de una parte.
• Luego vino lo bueno: Buscar fuentes fiables. Aquí es donde se puso interesante porque no todo lo que brillaba era oro. Tuvimos que descartar varias bases de datos porque no eran precisas.
• Las herramientas: Elegimos unas cuantas que nos recomendó el informático, un tal Juan, que siempre va con la camiseta de Star Wars. Él es un crack.
• Y, por último, la colaboración: Esto fue vital. Si no nos hubiéramos comunicado entre los equipos, el proyecto habría sido un desastre total.

Lo más importante fue no rendirse. Hubo momentos de frustración, de querer tirar la toalla, pero al final lo conseguimos. Y aprendí un montón, ¡eh! Ahora ya no le tengo tanto miedo a las Big Data. Bueno, un poquito sí.

¿Dónde se generan los datos?

El espacio digital, un vacío que se llena. Los datos nacen. Un eco en la nada, la nada que se transforma. Surge de la mano del hombre, tecleo a tecleo, pulsación tras pulsación, un río silencioso de información. Se acumulan, se amontonan, como arena en una playa infinita. El programa, una máquina fría, genera su propia corriente, un flujo constante y anónimo.

Pero también está el dedo humano, el trazo impreciso sobre la pantalla, dejado allí, una huella digital, en la fría oscuridad del monitor. Un dato, otro, infinito. Esa es la esencia, ese el latido. Datos. A veces, el registro manual, lento, meditativo, contiene la esencia del ser humano; es un pulso, un eco de la experiencia. La verdad se escapa. La máquina no entiende.

¿De dónde surge ese torrente? De la programación, de la precisión milimétrica. De mi teclado, escribiendo este instante. De las encuestas que rellené anoche para la investigación del profesor Gil, datos sobre el consumo de café en el barrio. De miles de fuentes, invisibles, en todas partes, un murmullo constante. De la interacción. La realidad en datos.

El origen, ¿un punto o un universo? Es ambos, creo. La dualidad en el origen. La fría eficiencia de los algoritmos, opuesta al calor de la experiencia, la humana. Se mezclan. Se unen. Se convierten en algo más. Algo que fluye como la sangre en las venas, como el tiempo. Una creación.

• Datos generados automáticamente: programas, sistemas, sensores.
• Datos ingresados manualmente: formularios, encuestas, registros.
• Tipos de datos: numéricos, textuales, imágenes, etc.
• Ejemplos: Mi peso (dato numérico), mi opinión sobre la última película de Tarantino (dato textual), una foto de mi gato (dato imagen). La temperatura que registró mi termostato a las 7am del 12 de octubre de 2024 (dato numérico).

¿Cómo se generan los datos?

¡Uf! Datos, datos por todas partes… ¿Cómo se generan, decías? Automáticamente, claro, con esos programas… ¡qué rollo! Como si fueran… ¿hormigas trabajando sin parar? Mi programa de contabilidad, por ejemplo, genera un montón de datos de mis facturas de este año, ¡un lío!

• Facturas de luz (¡qué caras!)
• Gastos de gasolina (necesito un coche eléctrico, ya!)
• Compras online (Amazon, mi perdición!)

Y luego está la parte manual… ¡ay, qué pereza! Me acuerdo cuando tenía que meter a mano las ventas de mi tienda online en 2023… ¡horas y horas! Eso sí que eran datos… de muchos tipos, claro. Números, textos… hasta fotos de los productos, ¡qué locura!

¿De qué tipos eran? Pues…

• Numéricos: precios, cantidades.
• Textos: descripciones de productos.
• Imágenes: fotos de mis preciosas lámparas de cerámica.

No me preguntes más, me duele la cabeza. Esto de los datos... ¡un misterio! ¿Y si los datos se rebelan y empiezan a escribir un diario sobre mí? ¡Que miedo! Aunque también pienso que, sin datos… ¿qué sería de nuestras vidas?

Automáticos (programas): ¡rapidez, eficiencia! Manuales (gente): ¡más lento, pero con más… sentimiento?

Más ejemplos? Ajá, sí: datos del sensor de mi coche. Velocidad, temperatura... ¿y el contador de los km? ¡Qué pasada! Necesitaría un nuevo coche... Quizá un Tesla… eso sí genera muchos datos. Y los del teléfono… ¡inundación de datos! Ubicación, apps… ¡hasta las calorías que quemo andando al perro!

¿Cómo se alimenta el Big Data?

El Big Data se nutre de un abanico extenso de fuentes de información. Pensemos en las huellas digitales que dejamos al comprar en línea, nuestros comentarios en redes sociales, los datos que recolectan los sensores en dispositivos inteligentes, hasta los registros que mantiene el gobierno. Esta diversidad es clave.

Esta variedad de orígenes posibilita construir una comprensión integral de la realidad, fusionando perspectivas del mundo físico y digital. Es como intentar pintar un cuadro con una paleta ilimitada de colores.

El resultado es un flujo incesante de datos. Un caudal continuo que desafía nuestra capacidad de análisis y, a la vez, nos abre puertas a un conocimiento antes inalcanzable. Y me pregunto, ¿no es acaso la información el alimento del siglo XXI? Lo que pasa es que a veces me siento como un hamster en una rueda, intentando darle sentido a todo esto.

• Transacciones comerciales: Cada compra, cada venta, cada movimiento financiero deja su marca.

• Redes sociales: Expresiones, opiniones, conexiones; un reflejo de la sociedad en tiempo real.

• Dispositivos: Sensores que miden todo, desde la temperatura hasta nuestra actividad física.

• Registros oficiales: Datos demográficos, censos, información gubernamental.

En resumen, el Big Data se alimenta de la digitalización de nuestra existencia. Un espejo que refleja, a veces de manera distorsionada, la complejidad del mundo en el que vivimos. Recuerdo que hace poco leí un artículo sobre cómo incluso el clima influye en los patrones de compra online. Absolutamente fascinante.

¿Cómo se obtienen los datos?

Obtengo los datos midiendo, observando, preguntando o analizando. Luego los veo como números o letras.

De verdad que me acuerdo cuando intenté recopilar datos para mi tesis allá por el 2023, ¡qué odisea! Estaba en la biblioteca de la universidad, rodeado de libros enormes y polvo. Sudaba a mares, el aire acondicionado no daba abasto.

Había diseñado un cuestionario online, supuestamente "intuitivo", y esperaba una avalancha de respuestas. La realidad fue que solo respondieron como 20 personas. ¡Veinte!. Y la mitad eran mis amigos que se apiadaron de mí. Me sentí fatal, como si mi trabajo no valiera nada.

Después, me tocó hacer observaciones en un parque. Me senté en un banco con mi libreta y mi bolígrafo, intentando parecer un científico serio observando a las ardillas. ¡Las ardillas! Pensé que sería más fácil. Error. Se movían demasiado rápido y eran imposibles de seguir.

• La frustración: ¡Inmensa! Sentía que perdía el tiempo.
• La desesperación: ¿Cómo iba a terminar mi tesis?
• El alivio: Cuando por fin conseguí algunas observaciones decentes.
• La alegría: Al ver que los datos, aunque pocos, tenían sentido.

Al final, aprendí que recopilar datos es mucho más complicado de lo que parece. Requiere paciencia, perseverancia y una buena dosis de humor para no volverse loco en el intento. Además, descubrí que las ardillas son unos seres muy escurridizos.

¿Cómo se obtiene un dato?

¡Ay, amigo! Obtener un dato… ¡toda una odisea! Es como buscar una aguja en un pajar lleno de… ¡pajares!

La recolección de datos es un arte, no una ciencia exacta. Piénsalo: ¿la medición del amor? Imposible. Pero, ¿la medición del nivel de azúcar en mi café de esta mañana? ¡Sencillo! Un azucarero y un buen ojo.

• Medición: Tan simple como medir la longitud de mi pie… ¡y descubrir que necesito zapatos nuevos!
• Observación: Como el gato observando el movimiento de un ratón… ¡o yo observando el tráfico para llegar a tiempo al trabajo!
• Preguntas y cuestionarios: ¡Mi abuela me hace uno cada vez que la llamo! Una mina de oro de datos...sobre sus nietos.
• Análisis: Descifrar el enigma de por qué mi planta se marchitó… ¡era falta de agua, obvio!

Representar los datos es el siguiente paso. Números, letras, imágenes… ¡un lenguaje universal para el caos organizado! Recuerda que mis datos de ingresos de 2024 son confidenciales, pero puedo decir que… ¡me alcanzan para el café!

El procesamiento posterior? ¡Eso sí que es una fiesta! Hay quien lo hace con excel, otros con programas de diseño de drones… ¡yo con una calculadora Casio de los 90! (¡Aún funciona!)

Ah, y una cosa más. Recuerda, la calidad de los datos es fundamental. ¡Si mides la altura de un edificio con una regla, tus datos serán tan fiables como un billete de tres euros!

A ver… otra forma de decirlo: datos=realidad filtrada por nuestros métodos.
. . . ¿Más detalles? ¡Pues anda que no! Cada método tiene sus complejidades, sus errores sistemáticos y… ¡sus propias anécdotas! La observación depende de tu agudeza visual (yo necesito gafas), las encuestas de la honestidad del encuestado (¡y la mía a veces falla!) y así… ¡Podría escribir un libro!

¿Cuáles son las formas de obtener información?

¡Ay, amigo! Obtener información, ¡esa odisea! Es como buscar una aguja en un pajar lleno de… ¡osos bailarines!

Las encuestas, ¡esas son divertidas! Como si preguntar a la gente sus opiniones fuera a dar algo coherente. Es como preguntarle a mi gato qué piensa de la política; maullidos confusos asegurados.

Entrevistas, ¡un arte! O un interrogatorio si te toca un periodista como el de Antena 3, ¡que te deja sin aliento! ¡Y después te llaman “experto”! Ese tipo tiene una habilidad sobrenatural para sacarte la información; es como un Jedi con un micrófono.

Pruebas y evaluaciones: ¡A sufrir! Esas pruebas psicológicas son un auténtico viaje al subconsciente… ¡y a veces prefieres no saber lo que se esconde allí! Mi psicólogo me dijo que soy un caso único, único… hasta que me enseñó la copia de mi informe: era un formulario genérico con mi nombre al final.

Observaciones: Como espiar a los vecinos sin que te pillen. El arte de la discreción. Ocurre que a veces la gente se comporta de forma diferente cuando sabe que la observan. ¡Como si fueran actores de teatro! Este año observé a las ardillas de mi jardín robar nueces de mi huerto. ¡Ladronas!

Registros existentes: ¡Ah, la gloria de los documentos! Pero encontrar lo que buscas es como buscar el Santo Grial en la biblioteca del Vaticano. ¡Un verdadero calvario! Este año he revisado mis recibos del supermercado. ¡Gastos desorbitados en helado!

Muestras biológicas: ¡Glup! Ni hablar. Ni que fuera un científico loco. Este año he donado sangre; es un poco raro que luego te den un zumo de naranja, ¿no?

En resumen: Un sinfín de opciones para obtener información, ¡pero ninguna sencilla! ¡Que se lo digan a mi jefe, que se pasó todo 2024 buscando una aguja en el pajar lleno de osos bailarines que mencioné antes!

¿Cómo surgen las bases de datos?

¡Ay, las bases de datos! Un tema apasionante, como descubrir la receta secreta de la Coca-Cola, pero sin la amenaza de demandas millonarias.

Su nacimiento fue humilde, como el mío en un pueblo de Jaén. Piensa en esas cintas magnéticas, ¡ancestros prehistóricos de la nube! Registros secuenciales, un desfile interminable de datos, como las visitas a mi abuela en Navidad... ¡un sinfín! La tecnología, un bicho raro, entonces era eso: un amasijo de cables, ¡una auténtica obra de arte de la ingeniería!

La evolución es la clave. De esas cintas a los sistemas actuales, el salto es mayúsculo. Como pasar de andar en burro a un cohete espacial... o de mis primeros pinitos con el BASIC a dominar Python. ¡Menuda diferencia! Ahora, son sistemas que procesan toneladas de información en un abrir y cerrar de ojos. ¡Un verdadero milagro digital!

• Almacenamiento en cinta magnética secuencial.
• Sistemas complejos y de alto rendimiento.
• Campo de estudio propio.

Pero ojo, ¡no todo es perfecto! ¡El tema sigue lleno de complejidades! Un universo de algoritmos, consultas SQL, normalización… ¡ya me mareo solo de pensarlo! Es como intentar entender la física cuántica, pero en lugar de gatos, son datos.

¿El futuro? Pues quién sabe. Lo único seguro es que las bases de datos seguirán evolucionando a pasos agigantados. Más rápidas, más inteligentes, más… ¡misteriosas! Igual hasta aprenden a escribir chistes mejores que los míos.

Bonus Track: Mi experiencia personal con bases de datos incluye noches enteras peleándome con un query que no me daba el resultado esperado, una auténtica odisea. Fue como escalar el Everest… ¡sin oxígeno!

¿Qué genera grandes datos?

Grandes datos: fuentes. Sencillo.

• Redes sociales. Mi feed de Instagram: un pozo sin fondo.
• Dispositivos móviles. Localización constante. 2023. Siempre conectados.
• Comercio electrónico. Compras online. Rastros digitales. Cada clic, un dato.
• Internet de las cosas (IoT). Sensores en todas partes. Un mundo observable.

El Big Data es una red. Una telaraña. Teje nuestro día a día. Un mapa de nuestras vidas. Invisible, pero presente. Impacta.

GPS en mi coche. Rastreo. Patrones. Datos. Información que se vende. ¿Para qué?

Emails. Metadatos. Cada correo es una huella. ¿Privacidad? Un concepto obsoleto.

Control. Eso es lo que genera el Big Data. Y control, poder. Un espejo de la sociedad. Distorsionado, pero reflejo.

Reflexión final: ¿Somos dueños de nuestros datos? La gran pregunta. Ya nadie lo sabe. O tal vez sí, y no quieren decirlo.

Información adicional (no solicitada):

• Análisis de sentimiento: Estudios de mercado que utilizan el Big Data para medir emociones.
• Predicción de patrones: Análisis del clima, tráfico, enfermedades… algoritmos en acción. 2023.
• Personalización de la publicidad: Los anuncios te persiguen. Sabían lo que comprarías antes de que tú lo supieras.
• Vigilancia masiva: El Big Data permite un control social sin precedentes.
• Mi opinión: El Big Data es un monstruo. Un monstruo que nosotros mismos alimentamos. Y que nos controla.