Escudo de la República de Colombia Escudo de la República de Colombia
Panel de Accesibilidad

Universidad Nacional de Colombia

Vicerectoría Académica
Dirección Nacional de Admisiones

Proceso de Admisión al segundo periodo académico de 2020

Cálculo del puntaje Saber 11 con decimales y modelo de transformación de puntajes Saber 11 con decimales a la escala Universidad Nacional de Colombia

Autor

Alvaro Mauricio Montenegro Díaz, profesor del Departamento de Estadística de la Universidad Nacional de Colombia.

Resumen

En este documento técnico se desarrolla el procedimiento de cambio de escala, usando las distribuciones de los puntajes Universidad Nacional de Colombia (UN) y Saber 11, de los aspirantes inscritos para el proceso de admisión al segundo periodo de 2020.

Solamente se consideran los inscritos que tienen un resultado UN para los procesos de admisión entre el segundo semestre de 2013 y el primer semestre de 2020 o un resultado de la prueba Saber 11 para los años entre 2012 y 2019.

Luego de todos los cálculos desarrollados en este documento técnico, se establece que el puntaje de la prueba Saber 11 con decimales se puede transformar a la escala de los puntajes UN, mediante la transformación lineal dada por


$$ \large{F(x) = 2x-70}. $$
Donde $x$ representa el puntaje obtenido en la prueba Saber 11 con decimales y $F(x)$ es la conversión a puntaje UN

Supuesto de comparabilidad

El modelo de transformación desarrollado en este documento se basa en el supuesto que las dos escalas son asimilables, en el sentido que miden aproximadamente lo mismo.

Para validar este supuesto se utilizó un conjunto de 5.997 datos de aspirantes de los cuales se dispone de ambos puntajes. Para hacer una aproximación al problema se hizo un análisis descriptivo comparativo. La correlación entre los dos puntajes es de 0,8. La gráfica muestra los digramas de dipersión entre los dos puntajes.

Puntajes UN v.s Puntajes Saber 11

El gráfico muestra una clara relación lineal, aunque con ligero cambio de varianza, por lo que se ajustaron dos modelos. El primero con un término lineal únicamente y el segundo con un término cuadrático. Ambos modelos mostraron un buen ajuste. Los dos modelos tienen expresiones correspondientes a:

$$ y_{\text{UN}} = 1.6102* x_{\text{Saber 11}} + 0.0003 * x_{\text{Saber 11}}^2 $$

y el modelo alternativo lineal

$$ y_{\text{UN}} = 1.6914* x_{\text{Saber 11}} $$

La siguiente tabla resume las estadísticas globales de ajuste de los dos modelos

modelo pérdida entrenamiento pérdida validación estadística F $R^2$
cuadrático 53.6412 54.1068 2.767e+05 0.989
lineal 59.1482 58.7097 5.518e+05 0.989

La pérdida es calculada mediante

$$ \text{REMC} =\sqrt{\tfrac{1}{N}\sum_{i=1}^{N}(y_i-y_i^{(pred)})^2}, $$

en donde $y_i^{(pred)}$ es el valor predicho por el modelo.

Los resultados indican que realmente pueden utilizarse los resultados de la prueba Saber 11, convirtiéndolos a la escala UN y que aparentemente existe una relación de tipo lineal entre ambos puntajes.

No obstante lo anterior, es necesario desarrollar un procedimiento técnico que permita trasladar los puntajes Saber 11 a escala UN a partir de las características distribucionales de cada escala. La relación encontrada en esta sección puede ser sesgasa debido al tipo de datos utlizados, por lo que no es confiable usar el resultado para definir la transformación.

Cálculo del puntaje Saber 11 con decimales

Para disminuir el número de empates, se recalculó el puntaje global con decimales de la prueba Saber 11 mediante la fórmula del promedio ponderado adoptada por el ICFES, utilizando los resultados en los componentes de la prueba. La fórmula en mención es la siguiente:

Convenciones

$\text{MA: Puntaje de Matemáticas}$

$\text{CN: Puntaje de Ciencias Naturales}$

$\text{SC: Puntaje de Sociales y Ciudadanas}$

$\text{LC: Puntaje de Lectura Crítica}$

$\text{IN: Puntaje de Inglés}$


$$ \text{Puntaje Global} = 5 \frac{3 MA + 3 CN + 3 SC + 3 LC + IN}{13} $$

Distribución empírica de un conjunto de datos

Dado un conjunto ordenado de $n$ números reales, digamos $x_1\le x_2,\le \ldots,x_{n-1}\le x_n$. La función de densidad de probabilidad empírica de estos datos es definida por

$$ F_n(x) = \frac{1}{n}\sum_{i=1}{n} 1_{x\le x_n}(x), $$

en donde $1_{A}(x)$ denota la función indicadora definida por

$$ 1_{A}(x) =\begin{cases} 1, &\text{ si } x\in A\\ 0, &\text{ en otro caso } \end{cases} $$

Se verfica trivialmente que

$$ F_n(x) = \begin{cases}0, &\text{ si } x< x_1\\ \frac{k}{n} &\text{ si } x_k< x\le x_{k+1}\\ 1 &\text{ si } x\ge x_n\end{cases} $$

El objetivo central de este trabajo fue construir una distribución teórica que fuera muy buena aproximación de la distribución empírica de los puntajes de los aspirantes a ingresar a la UN en el periodo 2020-02, ya sea que tengan un puntaje UN para los procesos de admisión entre el segundo semestre de 2013 y el primer semestre de 2020 o con un puntaje de la prueba Saber 11 para los años entre 2012 y 2019. Los puntajes UN y los puntajes Saber 11 son tratados por separado.

El propósito es transformar los puntajes Saber 11 con decimales a la escala teórica de los aspirantes que tienen puntaje en una prueba de la UN anterior, utilizando las transformaciones teóricas construidas.

Preprocesamiento de los datos

Histograma de los puntajes de inscritos al proceso de admisión al segundo periodo académico de 2020

Elimina datos extremos de los datos para tener distribuciones menos ruidosas

Esto se hace solamente para ajustar distribuciones a los datos. Al final todos lo datos ingresan al cálculo final.

Construye distribuciones empíricas de los puntajes

Gráfico de las distribuciones empíricas

Estimación de parámetros de distribuciones teóricas

En esta sección se asume que los datos pueden ser modelados con distribuciones Gama. Se ha ajustado para los datos una distribución $\text{Gamma}(\alpha, \beta)$, cuya función de densidad es dada por

$$ f_{\text{gama}}(y|\alpha,\beta) = \frac{\beta^{\alpha}}{\Gamma(\alpha)}y^{\alpha-1} e^{-x/\beta}, $$

en donde $\alpha,\beta >0$ y $\Gamma(\cdot)$ es la función Gama. Se hace una estimación Bayesiana de los parámetros $\alpha$ y $\beta$ para cada conjunto de datos.

Parámetros recuperados por los procedimientos Bayesianos

$$ \alpha_{\text{un}} = 28.81\\ \beta_{\text{un}} = 17.69 $$ $$ \alpha_{\text{saber 11}} = 39.64\\ \beta_{\text{saber 11}} = 7.33 $$

Comparación de las distribuciones teóricas con las empíricas

Estos gráficos muestran las aproximaciones teóricas obtenidas a partir de las distribuciones empíricas para los puntajes UN y Saber 11 respectivamente. Se usan las distribuciones teóricas para hacer la tansformación de los puntajes Saber 11 a la escala UN. La aproximación teórica de los puntajes Saber 11 muestra ligeros sesgos. Se decidió usar esta distribución debido a que el manejo de información se facilita.

Una consecuencia de esta decisión es que posibilita hallar una aproximación lineal que permite transformar los puntajes.

Transformación Saber 11 a UN

La transformación del puntaje Saber 11 a la escala UN, se hace usando las distribuciones teóricas obtenidas. Entoces el procedimiento es el siguiente.
Sea $x_{\text{saber 11}}$ un puntaje Saber 11. El correspondiente puntaje en la escala UN se denotará $x_{\text{un}}$. Denotamos $F_{\text{un}}$ la función de distribución teórica de los puntajes UN y $G_{\text{saber 11}}$ la función de distribución teórica de los puntajes Saber 11. Entonces se tiene que


$$ \begin{align} \alpha_{\text{un}} &= 28.81\\ \beta_{\text{un}} &= 17.69\\ \alpha_{\text{saber 11}} &= 39.64\\ \beta_{\text{saber 11}} &= 7.33\\ z &= G_{\text{saber 11}}(x_{\text{saber 11}})\\ x_{\text{un}} &= F_{\text{un}}^{-1}(z) \end{align} $$

El siguiente gráfico muestra la distribución de los puntajes Saber 11 transformados a la escala teórica de la UN. Se compara con la escala de los aspirantes que tienen algún puntaje UN. Se observa que los puntajes Saber 11 se ajustan bastante bien a la distribución objetivo.

Gráfico de la transformación

La siguente gráfica muestra los puntajes Saber 11 originales versus sus versiones transformados a la escala UN. El gráfico sugiere una relación lineal. Sean $x_{\text{min}}$ y $x_{\text{max}}$ los respectivos puntajes mínimo y máximo de los puntajes Saber 11 conservados. Sean $y_{\text{min}}$ el puntaje $x_{\text{min}}$ transformado y $y_{\text{max}}$ el puntaje $x_{\text{max}}$ transformado. Entonces se tiene que la relación es dada por


$$ y = m(x-x_{\text{min}}) + y_{\text{min}}, $$

en donde $m = \tfrac{y_{\text{max}}-y_{\text{min}}}{x_{\text{max}}-x_{\text{min}}}$.

Los cálculos muestran que

$$ \begin{align} m &= 2\\ x_{\text{min}} &= 150\\ y_{\text{min}} &= 230, \end{align} $$

por lo que la ecuación lineal es dada por

$$ \large{y = 2x-70}. $$

Transformación de los puntajes de la prueba Saber 11 usando el modelo lineal

Comparación por histogramas de las distribuciones de los puntajes

Conclusión Final

Este documento muestra el procedimiento técnico utilizado para trasladar los puntajes Saber 11 a la escala de los puntajes de la Universidad Nacional de Colombia. Si se supone que las dos escalas miden aproximadamente lo mismo (desde el comienzo se sabe que hay una correlación de 0,8), entonces la transformación no lineal de equivalencia desarrollada conserva el orden en las escalas. El procedimiento de cambio de escala convierte de manera aproximada la posición relativa de un puntaje Saber 11 en la misma posición relativa en la escala de la Universidad Nacional. El procedimiento se resume como sigue.

  1. En una etapa preliminar, se usaron los puntajes de los aspirantes que tenían tanto el puntaje de la Universidad Nacional (UN) como el puntaje Saber 11. Se encontraron aproximadamente 6.000 puntajes para este primer experimento. Ese estudio reveló que existe una relación aproximadamente lineal entre los dos puntajes. Allí se se obtuvo un modelo de la forma
  2. $$ y_{\text{UN}} = 1.6902* x_{\text{Saber 11}}. $$
  3. A partir de este resultado se decidió hacer una equiparación técnica para trasladar los puntajes Saber 11 a la escala UN. El procedimiento técnico se ha desarrollado completamente en este documento. Se recibieron 18.067 puntajes de la UN y 24.933 puntajes Saber 11. En estos se encontraron 17.122 puntajes UN distintos y 706 puntajes Saber 11 distintos en total.

  4. Para suavizar los datos y obtener una transformación robusta se sacaron del cálculo los valores más extremos de los puntajes. Para los puntajes UN se conservaron los puntajes en el intervalo $[230, 785]$ y para los puntajes Saber 11 en el intervalo $[150,410]$. Se usó el criterio de experto estadístico para omitir esos valores extremos. Con esta decisión se conservaron 18.000 puntajes UN y 24.992 puntaje Saber 11.

  5. Se construyeron las distribuciones empíricas de los datos de ambos puntajes. A partir de estas se observó que era posible encontrar distribuciones teóricas aproximantes en la familia Gama.

  6. Se ajustó un modelo Gama para cada uno de los puntajes obteniéndose que para el puntaje UN una muy buena aproximación distribucional es un modelo $\text{Gamma}(28.81, 17.69)$. En el mismo camino se encontró que una buena aproximación distribucional para el puntaje Saber 11 es un modelo $\text{Gamma}(39.64, 7.33)$. Para encontrar tales modelos se estimaron los parámetros de cada distribución utilizando un procedimiento Bayesiano y se verificó que las aproximaciones eran suficientemente buenas. El criterio utilizado fue el error absoluto medio entre las distribuciones aproximantes y las distibuciones empíricas. En el caso del puntaje UN, tal error fue 0,015 y en el caso de las pruebas Saber 11 0,031. Desde el punto de vista teórico no se ha supuesto que los datos provinieran de tales distribuciones. Solamente se buscó distribuciones aproximantes para poder hacer un procedimiento seguro en la tranformación de los puntajes. Una alternativa posible es utilizar una aproximación variacional, la cual no se intentó en este trabajo.

  7. El puntaje Saber 11 se transformó al puntaje UN usando el procedimiento de equipación de tipo equipercentil calculado de la siguiente forma. Sea $x_{\text{Saber 11}}$ un puntaje Saber 11. El correspondiente puntaje en la escala UN se denotará $x_{\text{UN}}$. Denotamos $F_{\text{UN}}$ la función de distribución teórica de los puntajes UN y $G_{\text{Saber 11}}$ la función de distribución teórica de los puntajes Saber 11, entonces se tiene que

  8. $$ \begin{align} \alpha_{\text{UN}} &= 28.81\\ \beta_{\text{UN}} &= 17.69\\ \alpha_{\text{saber 11}} &= 39.64\\ \beta_{\text{saber 11}} &= 7.33\\ z &= G_{\text{saber 11}}(x_{\text{saber 11}})\\ x_{\text{UN}} &= F_{\text{UN}}^{-1}(z) \end{align} $$
  9. Se revisó la relación resultante entre el puntaje Saber 11 original y el puntaje transformado según el procedimiento anterior. Se encontró que tal relación es de tipo lineal con ecuación
$$ \large{y = 2x-70}. $$

En consecuencia, se ha encontrado de manera científica que una forma segura para equiparar los puntajes UN y Saber 11 es transformar los puntajes Saber 11 mediante la ecuación lineal anterior.