Regresión Polinomial

En construcción….

¿Por qué la Regresión Polinomial?

Learning Curves

Figure 1: Learning curve

Bias-Variance Tradeoff

Figure 2: Bias-Variance tradeoff

Model Complexity

Figure 3: Model Complexity

Ejercicios

1. Genere una variable \(X\) e \(y\) que contengan 100 observaciones con las siguientes características:

   1. \(X = 6 \cdot \text{Aleatorio}_1 - 3\)

   2. \(y = 2 + X + 0.35 \cdot X^2 + 0.20 \cdot X^3 + \text{Aleatorio}_2\)

   El parámetro \(\text{Aleatorio}_1\) se refiere a la función np.random.rand() y \(\text{Aleatorio}_2\) a la función np.random.randn(). Utilice una semilla igual a 42.

2. Vizualice los datos generados en (1).

3. Estime una regresión lineal con constante, luego:

   1. Calcule las métricas RMSE (Root Mean Square Error) y \(R^2\).

   2. Realice la predicción utilizando los parámetros \(\hat{\theta}\) encontrados en (3.a).

   3. Agregue la predicción al gráfico generado en (2).

4. Estime una regresión polinomial con grados igual a 2, 3 y 30. Para cada estimación considere:

   1. Almacene en una lista o DataFrame los coeficientes (\(\hat{\theta}\)).

   2. Almacene en una lista o DataFrame las métricas:

      1. RMSE (Root Mean Square Error).
      2. \(R^2\).

   3. Grafique los datos generados y la predicción por cada grado del polinomio.

5. A partir de lo encontrado en (4), comparé su resultados con la regresión lineal en términos visuales, coeficientes y métricas de performance.

6. Genere una función que permita visualizar la learning curves de cada estimación realizada hasta ahora. Discuta los resultados usando los conceptos de Underfitting y Overfitting.

Enlaces