¿Cómo evaluar el desempeño del modelo predictivo?

A ver, ¿cómo sabemos si un modelo predictivo es bueno o malo? No es cosa de magia, ¿verdad? Una forma, y creo que de las más comunes, es usar algo que se llama Error Cuadrático Medio, o ECM para los amigos. ¿Y qué es eso? Pues, imagínate que el modelo intenta predecir, por ejemplo, el precio de un aguacate. Toma los precios que predijo y los compara con los precios reales. Calcula la diferencia entre ambos, la eleva al cuadrado (para que los errores grandes pesen más, ¿tiene sentido, no?), suma todos esos errores al cuadrado y lo divide entre la cantidad total de aguacates que usó para la predicción.

Me acuerdo una vez, intenté predecir la cantidad de lluvia que iba a caer para una barbacoa que estaba organizando. ¡Qué desastre! Mi modelo tenía un ECM altísimo. Vamos, que se equivocó por mucho. Terminamos todos empapados. Aprendí la lección a la mala, un ECM bajo es lo que buscamos. Significa que las predicciones están cerquita de la realidad. ¿Te imaginas un ECM de cero? Sería la perfección, el modelo acertaría siempre. Pero bueno, en la vida real, eso es casi imposible, ¿no? Siempre hay un margen de error.

Dicen por ahí – no me acuerdo dónde lo leí, tal vez en algún blog – que en algunos campos un ECM de, digamos, 10 puede ser aceptable, mientras que en otros, un ECM de 1 ya es demasiado alto. Depende mucho del contexto, ¿verdad? Como con el precio de los aguacates. Una diferencia de unos pocos centavos no es tan grave, pero si me equivoco por un euro… ¡menudo problema! En fin, el ECM es una herramienta útil, pero no la única. Siempre hay que tener en cuenta otras cosas, como la lógica, la experiencia… y a veces, hasta un poco de intuición.