En mi cuenta de twitter suelo poner algunos trucos sencillos de R, cosas que me surgen cuando estoy trabajando y que no me cuesta compartir en 2 minutos, por si puedo ayudar a alguien. Me acabo de dar cuenta que de verdad son útiles y que tenerlos en twitter desperdigados es un problema, así que he pensado en recopilarlos en una entrada del blog para que sea más sencillo buscarlos (incluso para mi). Aquí van algunos de esos trucos (más…)
Archive for the ‘Trucos’ Category
Trucos simples para #rstats
lunes, febrero 11th, 2019Truco Excel. Transponer una fila en varias columnas con DESREF
domingo, septiembre 30th, 2018Creo que alguna vez me lo han preguntado. Se trata de tranponer en Excel el contenido de una fila en varias columnas, como es habitual (sobre todo si escribo yo) una imagen vale más que mil palabras:
En este caso se trata de pasar de una fila a 3 columnas por lo que se trata de que la función DESREF tiene que moverse en función del elemento que va a transpone. En este caso empezando desde A1 tenemos que generar un autonumérico para las columnas que se ha de mover de 3 en 3 por lo que multiplicaremos por 3 y sumaremos la columna:
Para el primer elemento: =DESREF($A$1;0;(FILA(A1)-FILA($A$1))*3)
Para el segundo elemento: =DESREF($A$1;0;(FILA(B1)-FILA($A$1))*3+1)
Para el tercer elemento: =DESREF($A$1;0;(FILA(C1)-FILA($A$1))*3+2)
Ya lo veis, se mueve de 3 en 3 la columna 0 el primer elemento la 1 el segundo y el 2 el tercero.
Crear archivo csv desde SAS con Python
sábado, agosto 25th, 2018Con la librería sas7bdat de Python podemos leer archivos SAS y crear directamente un data frame, es la mejor librería para hacerlo, si la tabla SAS que deseáis leer está comprimida (compress=yes) con pandas no podréis hacerlo. Pero tengo que agradecer a mi compañero Juan que me haya descubierto la función convert_file para pasar directamente el archivo SAS a csv, es más eficiente y parece que consume menos recursos del equipo. La sintaxis es muy sencilla:
[sourcecode lang=”Python”]
import pandas as pd
from sas7bdat import SAS7BDAT
start_time = time.time()
path_file_sas = ‘/ubicacion/archivo/sas/tabla_SAS.sas7bdat’
path_file_csv = ‘ubicacion/archivo/csv/archivo_CSV.csv’
f = SAS7BDAT(path_file_sas)
f.convert_file(path_file_csv, delimiter=’,’, step_size=10000)
end_time = time.time()
(end_time – start_time) / 60
[/sourcecode]
La función convert_file realiza el proceso paso a paso, trozo a trozo, chunk to chunk. Si la tarea la realizas con un equipo esto te permite poder seguir usándolo. Me ha parecido un truco útil para poder importar tablas SAS a Python creando primero un csv, podéis agradecer a Juan.
Truco Python. Seleccionar o eliminar variables de un data frame en base a un prefijo, sufijo o si contienen un caracter
martes, mayo 22nd, 2018A la hora de seleccionar las características de un data frame es posible que nos encontremos con la necesidad de seleccionar o eliminar características del data frame y que el nombre de esas características tenga un determinado patrón. Esta labor la podemos realizar mediante selección de elementos en listas, en esta entrada del blog vamos a tener 3 tipos de selecciones:
1. Seleccionar o eliminar aquellas variables que empiezan por un determinado prefijo
2. Seleccionar o eliminar aquellas variables que contienen una cadena de caracteres
3. Seleccionar o eliminar aquellas variables que finalizan con un sufijo
Para ilustrar este trabajo generamos un data frame con datos aleatorios y 10 columnas:
import numpy as np import pandas as pd df = pd.DataFrame(np.random.randint(0,100,size=(100, 10)), columns=['A1','A2','A3','B1','B2','B3','C1','C2','C3','DA']) |
El primero de los filtros a realizar es identificar que variables de nuestro data frame contienen el string ‘A’:
col = list(df.columns) #Filtro 1: Columnas que tienen una A filtro1 = [col for col in df if col.find('A')>=0] #Eliminar df1_drop = df.drop(columns=filtro1) #Seleccionar df1_keep = df[filtro1] |
Siempre vamos a hacer el mismo proceso, las características de nuestro data frame irán en una lista, después recorremos la lista y seleccionamos aquellos donde el método .find(‘A’) sea mayor o igual a 0, con esto hemos creado una sublista con aquellas características que tienen el string ‘A’ mediante .drop(columns=) eliminamos del data frame los elementos contenidos en una lista (más…)
Truco Python. Agrupar variable en función de la frecuencia
viernes, mayo 18th, 2018Me ha surgido la necesidad de crear una nueva variable en un data frame a partir de la frecuencia de otra, es decir, quedarme con los valores más frecuentes y aplicar una categoría resto para aquellos valores que no estén en los más frecuentes. Para realizar esto se me ha ocurrido la siguiente función en Python:
def agrupa_frecuencia (var_origen, var_destino, df, grupos, valor_otros): df_grp= df[var_origen].value_counts() list_grp = list(df_grp.iloc[0:grupos,].index) df[var_destino] = df[var_origen].map(lambda x: x if x in list_grp else valor_otros, na_action='ignore') |
Es una función con más parámetros que líneas, pero necesitamos una variable de origen, una variable de destino que será la que calcularemos, el data frame sobre el que realizamos la tarea, el número de grupos más otro que será el “resto” y dar un valor a ese “resto”. La función lo que hace es una tabla de frecuencias ordenada descendentemente con .value_counts() y creamos una lista con el número de grupos que deseamos. Por último mediante lambdas si la variable origen está en la lista generada anteriormente le asignamos el mismo valor, en caso contrario asignamos el valor “resto”. Es una programación sencilla, seguramente haya una función específica en sckitlearn para agrupar variables en base a la frecuencia, pero no la he encontrado y he tardado más en buscarla que en hacerla.
Como es habitual os pongo un ejemplo de uso para que podáis ver como funciona:
personas = 1000 grupo = pd.DataFrame(np.random.poisson(15,personas)) grupo['clave']=0 valor = pd.DataFrame(np.random.uniform(100,10000,personas)) valor['clave']=0 df = pd.merge(grupo,valor,on='clave') del df['clave'] df.columns = ['grupo', 'valor'] df['grupo'].value_counts() |
Vemos que grupo crea muchos valores y vamos a agrupar la variable del data frame de forma que los 10 más frecuentes toman su valor y los demás serán un resto:
agrupa_frecuencia('grupo', 'grupo_nuevo', df, 10, 99) df['grupo_nuevo'].value_counts() |
Parece que funciona, si mejoráis, actualizáis o encontráis pegas…
Truco Python. Restar meses con formato YYYYMM
martes, abril 10th, 2018La operación con fechas en meses con el formato YYYYMM es tarea habitual cuando trabajamos con tablas particionadas. De hecho hay una entrada en el blog sobre esto muy popular. Me ha surgido este tema con Python y os pongo la función que he creado:
[source languaje=”python”]
def dif_mes(d1, d2):
return (d1//100 – d2//100) * 12 + d1%100 – d2%100
dif_mes (201812,201709)
[/source]
Muy sencilla, por si os surge la necesidad.
Preparar nuestros datos para sklearn. Pasar de string a número
martes, octubre 24th, 2017Cuando trabajamos con python y sklearn necesitamos que todos los datos que vamos a modelizar sean númericos, si tenemos variables carácter necesitamos previamente transformarlas a números. La forma más rápida para realizar esta tarea es emplear preprocesing de sklearn:
[sourcecode lang=”Python”]
import pandas as pd
dias = {‘dia’: [‘lunes’,’martes’,’viernes’,’miercoles’,’jueves’,’martes’,’miercoles’,’jueves’,’lunes’]}
dias = pd.DataFrame(dias)
dias
[/sourcecode]
Creamos un data frame a partir de una diccionario que se compone de los días de la semana ahora vamos a codificar las etiquetas con el LabelEncoder de sklearn:
[sourcecode lang=”Python”]
from sklearn import preprocessing
le = preprocessing.LabelEncoder()
le.fit(dias[‘dia’])
[/sourcecode]
Podemos listar las clases:
[sourcecode lang=”Python”]
list(le.classes_)
[/sourcecode]
Me gustaría destacar que hay que tener especial cuidado con el orden de las codificaciones porque es un orden léxico-gráfico, no va por orden de aparición:
[sourcecode lang=”Python”]
dias = le.transform(dias[‘dia’])
dias
[/sourcecode]
Ahora ya estamos en disposición de poder emplear sklearn para entrenar nuestro modelo.
Pasando de SAS a R. Primer y ultimo elemento de un campo agrupado de un data frame
jueves, octubre 19th, 2017Las personas que están acostumbradas a trabajar con SAS emplean mucho los elementos first, last y by, en el blog hay ejemplos al respecto, en R podemos hacer este trabajo con la librería “estrella” dplyr de un modo relativamente sencillo. A continuación se presenta un ejemplo para entender mejor como funciona, creamos un conjunto de datos aleatorio:
id <- rpois(100,20) mes <- rpois(100,3)+1 importe <- abs(rnorm(100))*100 df <- data.frame(cbind(id,mes,importe))
Tenemos un identificador, una variable mes y un importe y deseamos obtener el menor importe por mes el primer paso a realizar es ordenar el data frame de R por ese identificador, el mes y el importe en orden descendente:
df <- df[with(df,order(id,mes,-importe)),]
Una vez ordenado el data frame de R tenemos que seleccionar el último elemento por id para seleccionar aquellos clientes con menor importe:
library(dplyr) df_bajo_importe <- df %>% group_by(id) %>% filter(row_number()==n())
Si deseamos seleccionar el mayor importe hacemos lo mismo:
library(dplyr) df_bajo_importe <- df %>% group_by(id) %>% filter(row_number()==1)
Las funciones group_by unidas a filter(row_number) equivalen a esos first y last de SAS. Saludos.
Truco Python. Reemplazar una cadena de caracteres en los nombres de las columnas de un data frame
sábado, julio 22nd, 2017Más largo el título de la entrada que la entrada en si misma. Tenemos un conjunto de datos que os podéis descargar de este link que ya es conocido. Os descargáis los datos y creamos un data frame que tiene 10.000 registros y 251 columnas, casi todas se llaman attx y queremos cambiar el nombre a columna_x. Mi sugerencia para hacerlo vía pandas es:
[sourcecode lang=”python”]
import pandas as pd
df = pd.read_csv(‘C:\\temp\\wordpress\\au2_10000.csv’)
df.head()
df.columns = df.columns.str.replace(‘att’,’columna_’)
df.head()
[/sourcecode]
Espero que sea de utilidad. Saludos.
Truco Python. Largo de una variable numérica
jueves, junio 8th, 2017Hoy he tenido que determinar la longitud de una variable numérica de un data frame en python y tras pegarme unos minutos con len he encontrado la fórmula con str.len() el ejemplo es:
[sourcecode language=”python”]
df[‘largo_numero’] =df[‘variable_numerica’].astype(str).str.len()
[/sourcecode]
Me ha parecido interesante traerlo.