Archivo de la categoría: Data Mining

Regresión con redes neuronales en R

07/09/2014Data Mining, Formación, Modelos, Monográficos, Rnnet, redes neuronalesrvaquerizo

La última técnica que me estoy estudiando este verano es la regresión con redes neuronales. El ejemplo que os voy a poner es completamente análogo a este: http://heuristically.wordpress.com/2011/11/17/using-neural-network-for-regression/ Vamos a trabajar con el paquete nnet, si dispusiera de tiempo replicaría este ejemplo en otra entrada con neuranet. Para realizar el ejemplo tenemos el conjunto de datos housing que contiene el censo de 1970 de 506 hogares de Boston. Empecemos a trabajar con la consola de RStudio (¡!)

#install.packages(“mlbench”)
library(mlbench)
data(BostonHousing)
summary(BostonHousing$medv)

Como variable dependiente vamos a emplear el valor mediano de las vivendas ocupadas en dólares. El primer paso será realizar un modelo de regresión lineal:

lm.fit <- lm(medv ~ ., data=BostonHousing)
lm.predict <- predict(lm.fit)
mean((lm.predict – BostonHousing$medv)^2)

plot(BostonHousing$medv, lm.predict,
main=”Regresión lineal”,
xlab=”Actual”)

El ajuste ofrece una suma de cuadrados de 21.9 Vamos a realizar este modelo con redes neuronales Seguir leyendo Regresión con redes neuronales en R →

Analisis cluster con SAS. La importancia de las semillas en las k-medias

15/04/2013Consultoría, Data Mining, Formación, Monográficos, SAS, Trucos, WPSk-medias, proc fastclus, seedrvaquerizo

El PROC FASTCLUS en SAS nos permite realizar análisis de agrupamiento dirigido mediante el algoritmo de las k-medias. Este algoritmo tiene algunos problemas pero nos puede servir para agrupar de forma multivariante observaciones. Es rápido, sencillo de explicar y con algunas lagunas no funciona mal. Como aproximación a nuestras segmentaciones puede ser muy práctico. Hoy se va a utilizar para identificar a los clientes más complicados de segmentar, a aquellas observaciones que quedan en las zonas grises. (http://www.datanalytics.com/blog/2011/08/03/clustering-iii-sobresimplificacion/)
Estas zonas grises en muchos casos son más importantes que la segmentación en sí. Si estamos con un problema de taxonomía (clasificar especies) puede ser menos importante, pero si clasificamos inversiones, clientes,… ¿qué pasa con aquellos que no sabemos ubicar? Escribimos segmentar en un buscador y tenemos esta imagen:

¡Qué sencillo es segmentar! Cada muñeco queda en su pelota, Seguir leyendo Analisis cluster con SAS. La importancia de las semillas en las k-medias →

Trucos SAS. Medir la importancia de las variables en nuestro modelo de regresión logística

27/02/2013Consultoría, Data Mining, Formación, Modelos, Monográficos, SASPROC LOGISTIC, random forest, regresión logísticarvaquerizo

Hoy quería proponeros una forma poco ortodoxa de medir la importancia de las variables en un modelo de regresión logística con SAS. La cuestión es: dado un modelo de regresión logística crear un ranking con las variables más importantes dentro del modelo. Para esta tarea recomiendo el uso de random forest, pero puede ser imposible disponer de un software que realice este tipo de modelos. Imaginemos un caso concreto, disponemos de SAS STAT y nos da reparo trabajar con R. Para este caso podemos emplear el siguiente truco. El AIC (criterio de información de Akaike) es un estadístico que relaciona el cociente de la verosimilitud con el número de parámetros del modelo que ajustamos. Cuanto menor sea este cociente mejor será nuestro modelo. Si eliminamos una variable del modelo ¿cuánto empeora este modelo? Esa será la filosofía que emplearemos para analizar la importancia de las variables presentes en nuestro modelo. En la línea habitual hacemos un ejemplo para que podáis copiar y pegar en vuestro SAS:

Vamos a crear un dataset preparado para hacer una regresión logística perfecta donde en un 10% de los casos sucede un evento:

*REGRESION LOGISTICA PERFECTA;
data logistica;
do i=1 to 10000;
  normal1=rannor(8);
  normal2=rannor(45);
  normal3=rannor(32);
  normal4=rannor(7);
  normal5=rannor(98);
  unif1=ranuni(2);
  unif2=ranuni(21);
  unif3=ranuni(22);
  unif4=ranuni(23);
  unif5=ranuni(24);
  prob=1/(1+exp(-(-3.16+0.1*normal1-0.2*normal2+0.3*normal3-0.4*normal4+0.5*normal5+
	   0.1*unif1+0.2*unif2+0.3*unif3+0.4*unif4+0.5*unif5)));
  sucede=ranbin(8,1,prob);
  *TRAMIFICAMOS LAS VARIABLES;
  normal1=round(rannor(8),0.1);
  normal2=round(rannor(45),0.2);
  normal3=round(rannor(32),0.3);
  normal4=round(rannor(7),0.4);
  normal5=round(rannor(98),0.5);
  unif1=round(ranuni(2),0.1);
  unif2=round(ranuni(21),0.2);
  unif3=round(ranuni(22),0.3);
  unif4=round(ranuni(23),0.4);
  unif5=round(ranuni(24),0.5);
  output;
end;
drop i;
run;

title "Logistica con un 10% aprox de casos positivos";
proc freq data=logistica;
tables sucede;
quit;

Incialmente necesitamos las variables presentes en el modelo y el ajuste inicial, también un conjunto de datos SAS con los nombres de las variables. Esto es un poco chapuza, pero si seguís el blog podéis hacer este código mucho más elegante [no os lo voy a dar todo hecho] Seguir leyendo Trucos SAS. Medir la importancia de las variables en nuestro modelo de regresión logística →

Solventamos los peligros del análisis cluster con SVM

01/08/2012Data Mining, Formación, Monográficos, Ranálisis cluster, SVMrvaquerizo

Retomamos un asunto tratado en días anteriores, los peligros de realizar un análisis de agrupamiento basado en las distancias entre observaciones. ¿Cómo podemos evitar este problema? Empleando máquinas de vectores de soporte, traducción de Support Vector Machines (SVM). Esta técnica de clasificación de la que ya hablamos en otra entrada nos permite separar observaciones en base la creación de hiperplanos que las separan. Una función kernel será la que nos permita crear estos hiperplanos, en el caso que nos ocupa tenemos sólo dos variables, necesitamos crear líneas de separación entre observaciones. En la red tenéis una gran cantidad de artículos sobre estas técnicas.

Para ilustrar como funciona retomamos el ejemplo anterior:

#GRUPO 1 x = runif(500,70,90) y = runif(500,70,90) grupo1 = data.frame(cbind(x,y)) grupo1$grupo = 1

#GRUPO 2 x = runif(1000,10,40) y = runif(1000,10,40) grupo2 = data.frame(cbind(x,y)) grupo2$grupo = 2

#GRUPO 3 x = runif(3000,0,100) y = runif(3000,0,100) grupo3.1 = data.frame(cbind(x,y)) grupo3.1$separacion=(x+y) grupo3.1 = subset(grupo3.1,separacion>=80 & separacion <=140,select=-separacion) grupo3.1 = subset(grupo3.1,y>0) grupo3.1$grupo = 3

#UNIMOS TODOS LOS GRUPOS total=rbind(grupo1,grupo2,grupo3.1) plot(total$x,total$y,col=c(1,2,3)[total$grupo])

El paquete de R que vamos a emplear es kernlab, Seguir leyendo Solventamos los peligros del análisis cluster con SVM →

Un peligro del análisis cluster

16/07/2012Data Mining, Formación, R, Clusterrvaquerizo

Quería plantearos un ejemplo de análisis cluster para observar el peligro que tiene agrupar observaciones en base a grupos homogéneos creados con distancias multivariantes. Para ilustrar el ejemplo trabajamos con R, creamos grupos en base a 2 variables, esto nos facilita los análisis gráficos. Simulamos el conjunto de datos con el que trabajamos:

#GRUPO 1 x = runif(500,70,90) y = runif(500,70,90) grupo1 = data.frame(cbind(x,y)) grupo1$grupo = 1

#GRUPO 2 x = runif(1000,10,40) y = runif(1000,10,40) grupo2 = data.frame(cbind(x,y)) grupo2$grupo = 2

#UNIMOS TODOS LOS GRUPOS total=rbind(grupo1,grupo2,grupo3.1) plot(total$x,total$y,col=c(1,2,3)[total$grupo])

Los grupos parecen claros:

Cabe preguntarse: ¿qué sucede si segmentamos en base a centroides? Para responder a esta pregunta hacemos un análisis no jerárquico, empleamos el algoritmos de las k-medias del que ya se ha hablado en este blog en alguna ocasión:

distancias = dist(total) clus = kmeans(distancias,3) total$grupo_nuevo = clus$cluster plot(total$x,total$y,col=c(1,2,3)[total$grupo_nuevo])

Necesitamos un objeto con las distancias y sobre él utilizamos la función kmeans que es la más popular y sencilla. El objeto resultante de la realización del modelo tiene una variable cluster que añadimos a nuestros datos y tras graficar vemos que es evidente que no ha funcionado muy correctamente, nos ha creado los 3 grupos homogéneos en base a la distancia entre observaciones, pero no son los segmentos deseados… Mucho cuidado cuando utilicemos este tipo de técnicas.

¿Cómo podemos realizar una segmentación más apropiada para estos datos? ¿Qué técnica podemos utilizar? La respuesta en breve. Espero que esto sirva para desordenar alguna conciencia.

Sobremuestreo y pesos a las observaciones. Ahora con R

27/03/2012Data Mining, Formación, Monográficos, Rregresión logística, samplingrvaquerizo

De nuevo volvemos a la entrada de ayer para replicar el código SAS utilizado en R. Se trata de realizar 3 modelos de regresión logística con R para estudiar como influyen en los parámetros el uso de un conjunto de datos con sobremuestreo o el uso de un conjunto de datos donde asignamos pesos a las observaciones. El programa es sencillo pero tiene un uso interesante de la librería de R sampling. Aquí tenéis el código:

#Regresión logística perfecta num = 100000 x = rnorm(num); y=rnorm(num) p=1/(1+exp(-(-5.5+2.55*x-1.2*y))) z=rbinom(num,1,p) datos_ini=data.frame(cbind(x,y,z)) table(datos_ini$z)

modelo.1 = glm(z~x+y,data=datos_ini,family=binomial) summary(modelo.1)

El mismo modelo que planteamos con SAS en la anterior entrada nos permite realizar una regresión logística perfecta. Veamos como se plantea la realización del sobremuestreo con R:

#Realizamos el sobremuestreo con la librería sampling library( sampling ) selec <- strata( datos_ini, stratanames = c("z"), size = c(50000,50000), method = "srswr" ) table(selec$z)

modelo.2 = glm(z~x+y,data=datos_ini[selec$ID_unit,], family=binomial) summary(modelo.2)

Habrá que volver sobre el tema del muestreo para analizar las posibilidades de la librería sampling, en este caso realizamos muestreo estratificado con la función strata y muestreo aleatorio con reemplazamiento. Replicamos el proceso asignando pesos:

#Realizamos el proceso asignando pesos pct=sum(datos_ini$z)/num datos_ini$peso = ifelse(datos_ini$z==1, 0.5/pct, 0.5/(1-pct)) tapply(datos_ini$peso,datos_ini$z,sum)

modelo.3 = glm(z~x+y,data=datos_ini, family=binomial, weights=peso) summary(modelo.3)

Y obtenemos los mismos resultados (que sorpresa). Saludos.

En la regresión logística ¿el sobremuestreo es lo mismo que asignar pesos a las observaciones?

26/03/2012Consultoría, Data Mining, Formación, Monográficos, SASOFFSET, PROC LOGISTIC, SOBREMUESTREOrvaquerizo

Hoy vamos a volver sobre el tema del sobremuestreo. Respondemos a un lector, Roberto, que hace mucho tiempo planteó una duda al respecto. La duda se puede resumir: En un modelo logístico, ¿equivale entrenar un modelo con las observaciones sobremuestreadas a entrenar el modelo poniendo un peso a cada observación? Esta cuestión nunca me la había planteado. Siempre había realizado un sobremuestreo de las observaciones adecuando la población de casos negativos a la población de casos positivos. Si estás habituado a trabajar con Enterprise Miner de SAS es habitual asignar pesos a las observaciones para realizar el proceso de sobremuestreo. ¿Obtendremos distintos resultados?

Vamos a estudiar un ejemplo con SAS y analizar que está pasando:

*REGRESION LOGISTICA PERFECTA; data logistica; do i=1 to 100000; x=rannor(8); y=rannor(2); prob=1/(1+exp(-(-5.5+2.55*x-1.2*y))); z=ranbin(8,1,prob); output; end; drop i; run;

title "Logistica con un 5% aprox de casos positivos"; proc freq data=logistica; tables z; quit;

Tenemos un conjunto de datos SAS con 100000 observaciones aleatorias y dos variables independientes (x e y) con distribución normal y creamos una variable dependiente z que toma valores 0 o 1 en función de la probabilidad de un modelo logístico. Es decir, podemos modelizar una regresión logística perfecta con parámetros Z=5.5 – 2.55x + 1.2y Esta distribución nos ofrece aproximadamente un 5% de casos positivos. A ser un modelo logístico perfecto Seguir leyendo En la regresión logística ¿el sobremuestreo es lo mismo que asignar pesos a las observaciones? →

Da comienzo la lectura de “The Elements of Statistical Learning”

10/01/2012Data Mining, Formación, Modelos, RThe Elements of Statistical Learningrvaquerizo

Interesante iniciativa de Juanjo Gibaja y Carlos Gil Bellosta consistente en leer el libro “The Elements of Statistical Learning”. La idea es crear un grupo de trabajo que lea de forma coordinada el libro, pero además van a implementar en R los ejercicios y ejemplos. Desde esta bitácora no vamos a colaborar en la lectura pero si vamos a colaborar en la divulgación de resultados. Seguiremos muy de cerca este proyecto.

El sobremuestreo ¿mejora mi estimación?

06/11/2011Data Mining, Formación, Modelos, Monográficos, Rárboles de decisión, curva ROC, muestreo, regresión logística, ROCR, samplervaquerizo

El sobremuestreo (oversampling) es una técnica de muestreo que se emplea habitualmente cuando tenemos una baja proporción de casos positivos en clasificaciones binomiales. Los modelos pueden “despreciar” los casos positivos por ser muy pocos y nuestro modelo no funcionaría. Para incrementar el número de casos positivos se emplea el sobremuestreo. Ejemplos habituales pueden ser los modelos de fraude, un 99% de las compras son correctas, un 1% son fraudulentas. Si realizo un modelo puedo estar seguro al 99% de que todas mis compras son correctas, en este caso hemos de realizar un sobremuestreo para incrementar nuestros casos de fraude y poder detectar los patrones.

Personalmente no sabría deciros el porcentaje de casos positivos a partir del cual sería necesario llevar a cabo un proceso de remuestreo. A mi particularmente me gusta hacerlo siempre. Por lo menos realizar algunas pruebas para identificar aquellas variables que son más influyentes y comenzar a eliminar aquellas que no van a funcionar. Busco exagerar. Tampoco me quiero mojar mucho sobre la proporción de casos positivos y negativos, pero si estamos realizando un nuevo muestreo podemos emplear perfectamente un 50% para ambos, aquí si que dependemos del número de registros con el que estemos trabajando ya que al final el sobremuestreo será la repetición de los casos positivos sobre la tabla de entrada del modelo.

Sin embargo, cuando ya tengo decidido como va a ser mi modelo no me gusta realizar sobremuestreo. Lo considero un paso previo (algún lector del blog considerará estas palabras incoherentes). Después de toda esta exposición teórico-práctica de malos usos de un dinosaurio en realidad lo que cabepreguntarse es ¿mejora la estimación un modelo con sobremuestreo?

Abrimos R y Tinn-R y manos a la obr Seguir leyendo El sobremuestreo ¿mejora mi estimación? →

Análisis y Decisión

Transformando datos en decisiones