Primer video que subo. Ilustro de modo sencillo algunos elementos de las pruebas diagnósticas con un ejemplo sencillo que podéis reproducir en cualquier hoja de cálculo. No soy precisamente un experto en este tipo de análisis pero me han sido útiles en algunos momentos de mi vida profesional, además, esa visión “simplista” de las cosas puede ayudar a muchos a comprender conceptos más complejos.
Si tiene éxito continuaré hablando sobre razones de probabilidad. Gracias.
Estoy preparando la batalla entre geometría e inteligencia artificial, batalla que está perdida porque tengo que dar de comer a mis chavales y si tengo que ir a vender un producto queda más comercial contar lo que se supone que hace la inteligencia artificial y no contar lo que hacen vectores, direcciones, puntos en el espacio,… eso lo cuentan en la educación secundaria y no es “disruptivo”. Sin embargo, aprovecho para contar historia del abuelo, el único proyecto serio basado en inteligencia artificial en el que he estado involucrado se resolvió gracias a la geometría y a las mejoras que se propusieron en el reconocimiento óptico, las redes convolucionales nos provocaron un problema. Inicialmente es mejor plantear una solución sencilla.
En esta batalla perdida que he entablado con algún modelo de Tensorflow apareció el paquete magick de R para el procesamiento de imágenes con R y es sencillo y tiene un pequeño manual en español (https://www.datanovia.com/en/blog/easy-image-processing-in-r-using-the-magick-package/) además recientemente fue el cumpleaños de Sean Connery y voy a aprovechar para hacerle un pequeño homenaje.
La imagen de trabajo la saqué de este tweet:
Hoy cumple 90 el gigante de Sean Connery.
El papá de Indiana Jones!
El capitán del Oktubre Rojo!
El monje del Nombre de la Rosa!
El prisionero de Alcatraz!
El maestro de Highlander!
El policía de los Intocables!
El agente 007!90 años es poco para tantas vidas ❤️ pic.twitter.com/gxr7b4Taoo
— Gonzalo Frasca (@frascafrasca) August 25, 2020
Es una imagen grande 2048×1147 pixel que guardé en mi equipo y que se lee así:
library(dplyr) library(magick) ub = "C:\\Users\\rvaquerizo\\Pictures\\sean_connery.jpg" sean = image_read(ub) image_info(sean) plot(sean)
Tenemos 5 imágenes de Sean Connery en una así pues será necesario seleccionar y estandarizar cada una de las imágenes para que la unión sea más homogénea:
sean_1 <- sean %>% image_crop( "400x620+0+100") %>% image_scale("x300") %>%
image_border(color = "grey", geometry = "5x5")
sean_2 <- sean %>% image_crop( "380x450+430+20") %>% image_scale("x300") %>%
image_border(color = "grey", geometry = "5x5")
sean_3 <- sean %>% image_crop( "400x750+826+0") %>% image_scale("x300") %>%
image_border(color = "grey", geometry = "5x5")
sean_4 <- sean %>% image_crop( "400x580+1226+50") %>% image_scale("x300") %>%
image_border(color = "grey", geometry = "5x5")
sean_5 <- sean %>% image_crop( "400x450+1635+0") %>% image_scale("x300") %>%
image_border(color = "grey", geometry = "5x5")
plot(sean_1)
Con image_crop vamos a cortar las imágenes del siguiente modo width x height + donde empiezo por la izquierda + donde empiezo por arriba. En el momento en el que habéis cortado 3 imágenes le cogéis el aire enseguida, no cuesta. Con image_scale le damos a todas las imágenes la misma escala, para nuestro ejercicio puede ser redundante pero está bien que lo sepamos. Por último vamos a añadir un borde con image_border es una cuestión estética.
Ya tenemos 5 imágenes similares y podemos realizar una animación pasando una tras otra:
image_resize(c(sean_1, sean_2, sean_3, sean_4, sean_5), '300x300!') %>%
image_background('grey') %>%
image_morph() %>%
image_animate(fps=5)
image_resize ya realiza la homogeneización de las 5 imágenes de Sir Connery, por eso comentaba la redundancia. Ponemos un fondo con image_background, la combinación entre image_morph e image_animate realiza la animación donde hemos puesto la opción fps (frames por segundo) para que no pasen tan rápido. Desde mi punto de vista la forma más sencilla de realizar animaciones. Por cierto, a la hora de guardar la imagen lo hago desde el navegador.
En alguna entrada del blog ya he tratado sobre la expansión de un conjunto de datos pero quería tener una entrada específica. Es algo que se puede programar mediante bucles (tarda una vida) o bien podemos usar la función expand del paquete tydyr. Viendo un ejemplo y los conjuntos de datos generados vais a entender el propósito de la expansión de tablas, se trata de un inicio y un fin y deseamos que se genere una secuencia de observaciones sucesivas dado ese inicio y ese fin. A modo de ejemplo ilustrativo:
library(tidyverse)
clientes <- 100
cliente <- data.frame(id_cliente = seq(1, clientes))
cliente %>% mutate( inicio = rpois(nrow(cliente), 2),
fin = inicio + rpois(nrow(cliente), 4)) ->
cliente
cliente_expand <- cliente %>% group_by(id_cliente) %>% expand(entrada=inicio:fin) %>% as_tibble()
Con este programa pasamos de un data frame con un registro por id a otro data frame con tantos registros por id como longitud tenga la secuencia entre el campo de inicio y el campo fin:
Esta función expand de rstats me está siendo especialmente útil para trabajar con horas. Saludos.
Una pincelada sobre Optical Character Recognition con R. El paquete tesseract de R permite aplicar el reconocimiento óptico de caracteres con R de una forma bastante sencilla, es uno de los múltiples líos en los que me estoy metiendo, si llega a buen puerto pondré más. Tenemos esta imagen:
Necesitamos tanto el paquete tesseract como el magick y ejecutando en R:
library(tesseract)
library(magick)
img <- image_read("https://analisisydecision.es/wp-content/uploads/2020/06/prueba_OCR.png")
str(img)
cat(image_ocr(img))
Tipos de uniones (join) de tablas con Python Pandas By rvaquerizo | 16/05/2020 | No hay comentarios | Formacién, Monogréticos, Python Recopilacién de las uniones més habituales con Python Pandas en una sola entrada. No se realiza equivalencias con sal join, la intencién es tener de ‘forma resumida los cédigos para realizar left join inner join y concatenacién de data frames de Pandas. Hay amplia documentacion esto es una sintesis. Los data frames empleados para ilustrar [..]
Fácil en principio y parece tener problemas con las tildes. Si llegan a buen puerto mis proyectos iré poniendo algunas posibilidades más. Saludos.
Vivimos “días extraños”, tan extraños que en España se están planteando prescindir de la asignatura de matemáticas en la enseñanza obligatoria. Es evidente que las personas que gobiernan hoy (25/05/2020) España habrían suspendido matemáticas. Sin embargo, es curioso que haya pocos matemáticos ejerciendo cargos políticos, ¿puede ser que los matemáticos no tengan esa vocación por mejorar la vida de los demás? En fin, esta crítica a la ignorancia numérica y al egoísmo matemático me sirve de “extraña introducción” al Latent semantic analysis (LSA) como siempre los aspectos teóricos los podéis encontrar en otros sitios. Y todo este conjunto de frases inconexas hilan con la entrada en el blog de mi amigo J.L. Cañadas en muestrear no es pecado porque, reducción de dimensionalidad, el lenguaje y la importancia de las matemáticas es en realidad el Latent Semantic Analysis.
Si preguntas a un estadístico ¿qué es la reducción de dimensionalidad? Te contará lo que dice Cañadas, “analizar la varianza total de los datos y obtener las combinaciones lineales mejores en el sentido de máxima varianza” esto es lo mismo que preguntar a una persona que se ha leído un libro, “hazme un resumen en un párrafo”. En ese caso estás buscando una combinación de ideas que te permitan resumir un texto en el menor espacio posible, evidentemente asumes que te dejas cosas, estás asumiendo que las cosas varían, metes la menor variabilidad posible en un párrafo asumiendo toda la variación del texto. Entonces, todo ese follón de la reducción de dimensionalidad es algo parecido a un resumen objetivo de un texto algo que realiza cualquier persona cuando te describe un libro, un artículo o una anécdota. Las matemáticas pueden estructurar el conocimiento cognitivo que permite sintetizar un texto.
Programar el funcionamiento de un cerebro humano así a lo mecagüen es complicado, pero tenemos proyectos en marcha que ya están trabajando con ello, uno de estos proyectos es el paquete LSAfun que es capaz de realizar este tipo de síntesis. La idea es usar espacios semánticos para modelar relaciones entre los conceptos de un texto, podríamos emplear para ello la Wikipedia (por ejemplo). Es caso es que voy a emplear el paquete LSAfun para que me resuma la intervención de Pedro Sánchez en la última sesión del Congreso de los Disputados de España () porque la homeopatía política que vivimos está sustentada en un lenguaje completamente insustancial y que es posible que pudiéramos resumir en una sola frase:
#install.packages('LSAfun')
library(LSAfun)
ubicacion="c:\\temp\\intervencion.txt"
texto = read.table (ubicacion, sep="\r", encoding = 'UTF-8')
texto = toupper(texto)
genericSummary(texto, k=1, language="spanish", breakdown=T)
[1] " en particular el ministro de sanidad ha aprobado tres ordenes para fortalecer nuestro sistema nacional de salud tanto desde el punto de vista de los medios humanos como de los recursos disponibles en unas circunstancias tan extraordinarias como las actuales y en concreto ha ordenado las siguientes materias se ha aprobado la prorroga de la contratacion de los medicos residentes en el ultimo ano de formacion de algunas especialidades medicas y de enfermeria tambien especialmente criticas en la lucha contra el covid tales como la geriatria la medicina intensiva la microbiologia y la parasitologia se han suspendido las rotaciones de los medicos residentes para que estos puedan prestar servicios en aquellas unidades en las que se precise un refuerzo del personal se podra trasladar a medicos residentes de una comunidad autonoma a otra que tenga mayores necesidades asistenciales para la redistribucion de la asistencia en todo el territorio y se podra contratar de modo extraordinario y en algunos casos a personas con un grado o licenciatura en medicina aunque carezcan del titulo de especialista podra reincorporarse a profesionales sanitarios jubilados medicos y medicas enfermeros y enfermeras menores de setenta anos personal emerito y personal con dispensa absoluta para funciones sindicales todo ello para contar con el mayor numero de profesionales sanitarios en esta crisis en caso de que las circunstancias asi lo requirieran tambien se podra contratar de modo extraordinario a estudiantes de los grados de medicina y de enfermeria en su ultimo ano de formacion con el fin de realizar labores de apoyo y auxilio sanitario bajo la supervision de otros profesionales"
Afortunadamente la función genericSummary reconoce el lenguaje español aunque imagino que los espacios semánticos estarán menos desarrollados. Ahí tenemos todo un día de trabajo resumido en una frase que recoge las ideas clave de la sesión del Congreso. Aprovecho desde aquí para alentar a alguna compañía a realizar un análisis de las intervenciones desde el inicio de la democracia en España hasta ahora, sería una competición de datos (hackathon en lenguaje soplapollístico) muy interesante. Saludos.
Recopilación de las uniones más habituales con Python Pandas en una sola entrada. No se realiza equivalencias con sql join, la intención es tener de forma resumida los códigos para realizar left join inner join y concatenación de data frames de Pandas. Hay amplia documentación esto es una síntesis.
Los data frames empleados para ilustrar el ejemplo son:
import pandas as pd
import numpy as np
ejemplo = { "variable1": [10, 20, 30, 40],
"variable2": [100, 200, 300, 400]
}
anio=["2011", "2012", "2013", "2014"]
df1 = pd.DataFrame(ejemplo,index=anio)
df1
ejemplo = { "variable1": [50, 60, 70, 80],
"variable3": [5000, 6000, 7000, 8000]
}
anio=["2013", "2014", "2015", "2016"]
df2 = pd.DataFrame(ejemplo,index=anio)
df2
La estructura de una join con Pandas es:
pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None,
left_index=False, right_index=False, sort=True,
suffixes=('_x', '_y'), copy=True, indicator=False,
validate=None)
left_join = pd.merge(df1, df2, how='left', on=None, left_on=None, right_on=None,
left_index=True, right_index=True, sort=True)
left_join
outer_join = pd.merge(df1, df2, how='outer', on=None, left_on=None, right_on=None,
left_index=True, right_index=True, sort=True)
outer_join
right_join = pd.merge(df1, df2, how='right', on=None, left_on=None, right_on=None,
left_index=True, right_index=True, sort=True)
right_join
inner_join = pd.merge(df1, df2, how='inner', on=None, left_on=None, right_on=None,
left_index=True, right_index=True, sort=True)
inner_join
concatenar = pd.concat([df1,df2]) concatenar
concatenar_inner = pd.concat([df1,df2],join="inner") concatenar_inner
concatenar_outer = pd.concat([df1,df2],join="outer") concatenar_outer
Data frames de ejemplo análogos a los anteriores.
import pandas as pd
import numpy as np
ejemplo = { "variable1": [10, 20, 30, 40],
"variable2": [100, 200, 300, 400],
"anio": ["2011", "2012", "2013", "2014"]
}
df1 = pd.DataFrame(ejemplo)
ejemplo = { "variable1": [50, 60, 70, 80],
"variable3": [5000, 6000, 7000, 8000],
"anio": ["2013", "2014", "2015", "2016"]
}
df2 = pd.DataFrame(ejemplo)
Si no tenemos índices es importante especificar en el parámetro on= la variable con la que hacemos la unión de las tablas. En este caso ponemos todas las uniones:
left_join = pd.merge(df1, df2, how='left', on='anio') outer_join = pd.merge(df1, df2, how='outer', left_on=df1['anio'], right_on=df2['anio']) right_join = pd.merge(df1, df2, how='right', on='anio')
#Renombramos la variable anio
df2 = df2.rename(columns={"anio": "fecha"})
inner_join = pd.merge(df1, df2, how='inner', left_on='anio', right_on='fecha')
Uniones más habituales en una sola entrada y en pocas líneas de código.
Faltaban mapas de España con Python en el blog y hoy ilustro como hacerlos con geopandas y matplotlib, creo que una de las formas más sencillas de hacer este tipo de mapas. No debía de ser necesaria esta entrada puesto que la realización del mapa debería hacerse con QGis pero es posible que alguien necesite hacer un mapa de España por Comunidades Autónomas de manera rápida y sencilla en su sesión de Python. Es necesario comentar que este trabajo está hecho con Ubuntu, en un entorno Windows la instalación del paquete geopandas es un dolor de cabeza.
El primer paso para la realización del mapa es la obtención del shapefile desde GADM. No he encontrado un paquete de Python que realice esta tarea como sucede con R. Una vez lo hayamos descargado empezamos creando nuestro data frame con la información del shape file:
import geopandas as gpd import matplotlib.pyplot as plt # Filepaths ub_shp = '/home/rvaquerizo/Mapas/gadm36_ESP_shp/gadm36_ESP_1.shp' # Read files espania = gpd.read_file(ub_shp, encoding='utf-8') espania.head()
Reseñar que el mapa de GADM a nivel de Comunidad Autónoma Seguir leyendo Mapa estático de España con Python
Otro ejercicio con spatial data R Rstats y data sciense para el trabajo con objetos espaciales en el ecosistema big data. Empiezo con frase ilógica y ridícula para mejorar las búsquedas de Google pero el tema que traigo hoy creo que puede ser útil para aquellos que, dado un spatial data, tienen que identificar los polígonos que bordean ese objeto, en este caso vamos a identificar los municipios que bordean España, pueden ser limítrofes con Francia y Portugal o bien municipios costeros. No se plantean algoritmos complicados, como en entradas anteriores nos centramos en la extracción de mapas de GADM:
library(maptools)
library(raster)
library(maps)
library(tidyverse)
library(sqldf)
Espania < - getData('GADM', country='Spain', level=0)
Espania$name = Espania$NAME_1
Espania2 <- getData('GADM', country='Spain', level=4)
Espania2$name = Espania$NAME_1
Por un lado obtenemos el mapa de España sin división territorial que en GADM es el nivel 0 y por otro lado el municipal que es nivel 4. Un tipo brillante sería capaz de encontrar un algoritmo que identificara que polígonos no tienen adyacencia, pero un tipo mediocre pensaría "si cruzo el borde con los municipios, los objetos que crucen son el exterior"
contorno < - map_data(Espania) %>% mutate(lat2=round(lat,1), long2=round(long,1)) %>% select(long2,lat2) municipios < - map_data(Espania2) %>% mutate(lat2=round(lat,1), long2=round(long,1)) %>% select(long2,lat2,region) contorno < - inner_join(municipios, contorno)
En este punto hay aspectos claramente mejorables, el cruce se realiza por latitud y longitud, Seguir leyendo Identificar los municipios costeros y limítrofes de España con R.
Si leéis habitualmente el blog ya conocéis la entrada sobre el mapa del COVID por Comunidades Autónomas y estaréis de acuerdo conmigo en que el mapa de España representado con Rstats es feo de solemnidad. Pero el código es “sencillo” por ahí se ve cada representación que requiere ser desarrollador de R cinturón negro. Bueno, los torpes empleamos ggplot con geom_polygon pero podemos empezar a complicar el mapa añadiendo nuevas posibilidades. La que os traigo hoy es muy interesante en el caso de España, se trata de mover las Islas Canarias en el mapa de Comunidades Autónomas pero directamente con R. Ya tenemos hecho un mapa con QGIS en otra entrada, pero ahora vamos a mover esa parte del shapefile directamente con R y la función elide como hemos hecho en otra ocasión. Estaréis pensando “Vaquerizo no tiene imaginación por eso tira de entradas anteriores y las junta”, no es el caso.
library(rvest)
library(xml2)
library(lubridate)
library(tidyverse)
library(tabulizer)
library(tm)
numerea <- function(x) {as.numeric(sub(",",".",x)) }
url = 'https://datosmacro.expansion.com/demografia/poblacion/espana-comunidades-autonomas'
poblacion <- url %>%
html() %>%
html_nodes(xpath='//*[@id="tb1"]') %>%
html_table()
poblacion <- poblacion[[1]]
poblacion <- poblacion [,-4] %>% mutate(CCAA = removePunctuation(CCAA),
CCAA = substr(CCAA,1,nchar(CCAA)-1),
habitantes=numerea(removePunctuation(Población))) %>%
rename(region=CCAA) %>% as_tibble()
poblacion <- poblacion [,c(1,5)] %>% mutate(region=case_when(
region == "Comunidad Valenciana" ~ "C. Valenciana",
region == "Castilla La Mancha" ~ "Castilla-La Mancha",
region == "Islas Baleares" ~ "Baleares",
TRUE ~ region ))
Nada innovador, si queréis entender mejor que hace id a la primera de las páginas antes mencionadas.
#Situación por Comunidad Autónoma
library(maptools)
library(raster)
library(maps)
datadista = "https://raw.githubusercontent.com/datadista/datasets/master/COVID%2019/ccaa_covid19_casos.csv"
tabla_ccaa <- read.csv2(datadista, sep=',',encoding = 'UTF-8', check.names=FALSE)
Espania <- getData('GADM', country='Spain', level=1)
Espania$name = Espania$NAME_1
Situación similar al anterior código, pero siempre es necesario mencionar y rendir homenaje a Datadista y su trabajo.
Espania_sin_canarias <- Espania[Espania$NAME_1 != 'Islas Canarias',] Canarias <- Espania[Espania$NAME_1 == 'Islas Canarias',] Canarias = elide(Canarias,shift=c(3.7,7)) ccaa1 <- map_data(Espania_sin_canarias) ccaa2 <- map_data(Canarias) ccaa <- rbind(ccaa1,ccaa2)
En este caso si es necesario pararse brevemente Seguir leyendo Mover parte de un shapefile con R. Mapa con tasa de casos de coronavirus por habitante en España
Ya comentaré con más detenimiento el código, pero es la unión de muchos de los códigos R de días anteriores, es un buen ejemplo de uso de la librería gridExtra para poner múltiples gráficos en una sola salida:
library(dplyr)
library(ggplot2)
library(reshape)
library(gridExtra)
df <- read.csv("https://raw.githubusercontent.com/datadista/datasets/master/COVID%2019/ccaa_covid19_fallecidos.csv",
sep=',', check.names=FALSE, encoding = 'UTF-8')
df2 <- melt(df[,-1])
names(df2) = c('CCAA','fecha','fallecidos')
mm <- df2 %>% group_by(CCAA) %>% summarise(total_fallecidos = sum(fallecidos)) %>% arrange(desc(total_fallecidos)) %>%
mutate(CCAA2 = ifelse(row_number()>=10,'Resto', as.character(CCAA))) %>% select(CCAA,CCAA2)
df2 <- left_join(df2,mm)
table(mm$CCAA2)
df2 <- df2 %>% group_by(CCAA2,fecha) %>% summarise(fallecidos=sum(fallecidos)) %>%
mutate(fecha = as.Date(as.character(fecha),origin='1970-01-01')) %>% as_tibble()
df3 <- df2 %>% mutate(fecha=fecha+1, fallecidos_anterior=fallecidos) %>% select(-fallecidos)
df2 <- left_join(df2, df3) %>% mutate(fallecidos_dia = fallecidos - fallecidos_anterior)
#Función para hacer los gráficos
grafica <- function(comunidad){
p <- ggplot(filter(df2,CCAA2==comunidad), aes(x=fecha)) +
geom_line(aes(y=fallecidos_dia, group = 1), alpha = 0.5, color='red') +
geom_smooth(aes(y=fallecidos_dia), method = "loess") +
ggtitle(comunidad) +
xlab("") + ylab("Fallecidos por día")
return(p)}
madrid = grafica('Madrid')
cat = grafica('Cataluña')
mancha = grafica('Castilla-La Mancha')
leon = grafica('Castilla y León')
pvasco = grafica('País Vasco')
valencia = grafica('C. Valenciana')
andalucia = grafica('Andalucía')
aragon=grafica('Aragón')
resto = grafica('Resto')
total = grafica('Total')
grid.arrange(madrid, cat, mancha, leon, pvasco, valencia, andalucia, aragon, resto, total, nrow=5,ncol=2)
Del mismo modo podemos hacer el número de casos:
# Casos
df <- read.csv("https://raw.githubusercontent.com/datadista/datasets/master/COVID%2019/ccaa_covid19_casos.csv",
sep=',', check.names=FALSE, encoding = 'UTF-8')
df2 <- melt(df[,-1])
names(df2) = c('CCAA','fecha','casos')
mm <- df2 %>% group_by(CCAA) %>% summarise(total_casos = sum(casos)) %>% arrange(desc(total_casos)) %>%
mutate(CCAA2 = ifelse(row_number()>=10,'Resto', as.character(CCAA))) %>% select(CCAA,CCAA2)
table(mm$CCAA2)
df2 <- left_join(df2,mm)
df2 <- df2 %>% group_by(CCAA2,fecha) %>% summarise(casos=sum(casos)) %>%
mutate(fecha = as.Date(as.character(fecha),origin='1970-01-01')) %>% as_tibble()
df3 <- df2 %>% mutate(fecha=fecha+1, casos_anterior=casos) %>% select(-casos)
df2 <- left_join(df2, df3) %>% mutate(casos_dia = casos - casos_anterior)
#Función para hacer los gráficos
grafica <- function(comunidad){
p <- ggplot(filter(df2,CCAA2==comunidad), aes(x=fecha)) +
geom_line(aes(y=casos_dia, group = 1), alpha = 0.5, color='red') +
geom_smooth(aes(y=casos_dia), method = "loess") +
ggtitle(comunidad) +
xlab("") + ylab("casos por día")
return(p)}
madrid = grafica('Madrid')
cat = grafica('Cataluña')
mancha = grafica('Castilla-La Mancha')
leon = grafica('Castilla y León')
pvasco = grafica('País Vasco')
valencia = grafica('C. Valenciana')
andalucia = grafica('Andalucía')
galicia=grafica('Galicia')
resto = grafica('Resto')
total = grafica('Total')
grid.arrange(madrid, cat, mancha, leon, pvasco, valencia, andalucia, galicia, resto, total, nrow=5,ncol=2)
En este caso cambiamos Aragón por Galicia. También cabe destacar que es un buen ejemplo de uso de melt para transponer columnas a filas, al hacer eso el lag lo realizamos mediante left join sumando un día y así podemos calcular la diferencia diaria con el acumulado, esperemos que este tipo de análisis tan burdos se estén llevando a cabo en otros sitios donde toman decisiones. Saludos.