¿Es Unidos Podemos más Unidos o más Podemos? Clasificación y aprendizaje automático de programas electorales

Llevo dos posts sobre estilometría de las elecciones generales españolas del 26 de junio de 2016. En el primero realicé varios clusters e intenté observar si ciertos partidos habían copiado el anterior programa electoral. En el segundo colacioné las dos versiones del programa de Unidos Podemos y encontré alguna anomalía.

En este post lo que me pregunto es: ¿Es el programa de Unidos Podemos más similar a los anteriores de Izquierda Unida o a los de Podemos? Para ello voy trabajar de una manera similar al post en el que intenté descubrir mediante aprendizaje automático qué partidos eran de izquierda  y cuáles de derecha. En este caso también utilizo aprendizaje automático supervisado (o clasificación). La máquina aprende cómo son los textos de IU y de Podemos a partir de los programas electorales de las anteriores elecciones generales, de las europeas y del texto marco para las autonómicas y municipales:

Posteriormente le damos a la máquina dos tareas diferentes. En primer lugar le damos un conjunto de textos para comprobar si consigue clasificar los textos correctamente, un test. En concreto le doy seis programas electorales de diferentes comunidades autónomas por cada partido:

Y por último le doy las dos versiones (¡ya que ahora sabemos que son algo diferentes, probemos ambas!) del programa electoral de Unidos Podemos para que tome la decisión de si le parece más similar a Podemos o a IU:

Como casi siempre, trabajo con el paquete de R stylo para estilometría, en concreto con la función classify(). Realizo la prueba desde las 1000 MFW hasta las 10000 MFW y utilizo la distancia textual Eders Delta.

Resultados de stylo


Podemos_2015_andalucia     -->     IU
UniPod_2016_Generales_IU     -->     Podemos
UniPod_2016_Generales_Podemos     -->     Podemos

1000 MFW , culled @ 0%,  11 of 12    (91.7%)



Podemos_2015_andalucia     -->     IU
UniPod_2016_Generales_IU     -->     Podemos
UniPod_2016_Generales_Podemos     -->     Podemos

2000 MFW , culled @ 0%,  11 of 12    (91.7%)



Podemos_2015_A_Asturias     -->     IU
Podemos_2015_andalucia     -->     IU
UniPod_2016_Generales_IU     -->     Podemos
UniPod_2016_Generales_Podemos     -->     Podemos

3000 MFW , culled @ 0%,  10 of 12    (83.3%)



Podemos_2015_A_Asturias     -->     IU
Podemos_2015_andalucia     -->     IU
UniPod_2016_Generales_IU     -->     Podemos
UniPod_2016_Generales_Podemos     -->     Podemos

4000 MFW , culled @ 0%,  10 of 12    (83.3%)



Podemos_2015_A_Asturias     -->     IU
Podemos_2015_andalucia     -->     IU
UniPod_2016_Generales_IU     -->     Podemos
UniPod_2016_Generales_Podemos     -->     Podemos

5000 MFW , culled @ 0%,  10 of 12    (83.3%)



Podemos_2015_andalucia     -->     IU
UniPod_2016_Generales_IU     -->     Podemos
UniPod_2016_Generales_Podemos     -->     Podemos

6000 MFW , culled @ 0%,  11 of 12    (91.7%)



Podemos_2015_andalucia     -->     IU
UniPod_2016_Generales_IU     -->     Podemos
UniPod_2016_Generales_Podemos     -->     Podemos

7000 MFW , culled @ 0%,  11 of 12    (91.7%)



Podemos_2015_andalucia     -->     IU
UniPod_2016_Generales_IU     -->     Podemos
UniPod_2016_Generales_Podemos     -->     Podemos

8000 MFW , culled @ 0%,  11 of 12    (91.7%)



UniPod_2016_Generales_IU     -->     Podemos
UniPod_2016_Generales_Podemos     -->     Podemos

9000 MFW , culled @ 0%,  12 of 12    (100%)



UniPod_2016_Generales_IU     -->     Podemos
UniPod_2016_Generales_Podemos     -->     Podemos

10000 MFW , culled @ 0%,  12 of 12    (100%)

General attributive success:  109 of 120 (90.8%)

Visualización de los resultados e interpretación

 

En general el programa consigue reconocer bastante bien si los textos autonómicos son de IU o de Podemos. A partir de 1000 MFW reconoce entre 10 y 11 textos de un total de 12 de manera correctamente: el Podemos de Andalucía y de Asturias (solo desde 3000 a 5000  MFW) le parece IU. A partir de las 9000 MFW clasifica todos los textos autonómicos correctamente. ¡Bien!

¿Y qué dice de Unidos Podemos?

 

Lo tiene claro: el programa de Unidos Podemos es clasificado como de Podemos y no de IU. Ese resultado ocurre en todos los rangos de MFW, y ocurre tanto con la versión del programa de IU como de Podemos. Es decir, aunque habíamos señalado que el estilo de los dos programas era algo diferente y aunque estamos analizando el estilo del texto, esas diferencias no son suficientemente fuertes como para que esas versiones diferencien pertenencia a partido.

Como en otras ocasiones, las conclusiones son en parte esperables (¡Podemos ES el hermano mayor en escaños de la coalición!). Pero están sostenidas por algo más que "pues a mí me parece...".

Seguir leyendo este post...

Volver a la versión resumida del post

¿Unidos? ¿O Podemos? Colación de las versiones del programa electoral

En el anterior post señalaba algunas particularidades de las siguientes elecciones y de los programas electorales y realizaba un análisis estilométrico. Señalé que tomaba el programa electoral de Unidos Podemos, pero en realidad fue una simplificación de la historia, porque lo cierto es que nos descargamos diferentes versiones del programa de las  webs de IU o de Podemos, diferencia que resulta obvia por los colores de los encabezados:

Además de la disposición y color de los encabezamientos, se ve que el título en Podemos ha añadido la colocación "Cambiar España". La pregunta es: ¿puedo estar seguro de que ambos textos sean iguales en todos los detalles? Porque cualquiera que haya trabajado en un texto importante entre diferentes personas sabe lo endiablado que se vuelve el control de versiones.

Para ello he exportado el texto de los PDFs a texto plano y he limpiado algunos caracteres que quedaban de la decoración de la listas y  la paginación. Posteriormente he utilizado el programa de Ubuntu Meld Diff Viewer (en Windows suelo utiliza  Beyond Compare) para cotejar los textos automáticamente.

El resultado en general demuestra que los textos son bastante similares, aunque no idénticos. Y no solo hay pequeñas diferencias de estilo, hay cambios también de contenido. He hecho una búsqueda rápida sobre esas posibles diferencias y encuentro un artículo en Público que informa de un trabajo del PSOE muy crítico con los programas de Unidos Podemos. Ninguna de las conclusiones a las que llega el PSOE son las mismas a las que yo llego (puede ser que ellos partan de textos diferentes a de los que yo parto). Mis conclusiones son de mucho menos calado que las suyas y las diferencias son muy secundarias. Si no saben si creer al PSOE o a mí, arriba tienen los links a los textos que he utilizado, suya es la posibilidad de reproducir este post.

Vayamos al ajo programático. La enorme mayoría de diferencias representan cambios de estilo. Parece que una parte importante de corrección ocurrió en las sedes de los diferentes partidos después de que se negociase el programa común. Veamos algunos casos:

Como vemos en esa imagen, hay algunos cambios léxicos como reiterada por continuada, algún cambio de orden (anual tributaria > tributaria anual), cambios en el estilo de la lista, de mayúsculas... Esta es la norma de las diferencias entre los dos documentos. Aquí va otro ejemplo donde se pueden observar ciertos cambios gramaticales puramente de estilo:

En algún punto se han cambiado el orden de los párrafos y los puntos, por lo que parece que se ha cambiado texto, cuando no es así:

Lo que sí ocurre en la imagen anterior es que la numeración de los puntos ya no va a la par, lo que dificulta la comparación del resto del documento. A partir de este punto Podemos va un número adelantado en comparación a IU. Ese punto es rescatado con el punto 19 del programa de IU "Cultura":

¿Qué ha pasado con ese parrafito sobre cultura en la versión de Podemos? La palabra artista no aparece en el programa de Podemos. El párrafo en el programa de IU señala que desarrollaran un modelo fiscal específico para artistas y que reducirán el IVA cultural. ¿Alguien cercano a los partidos podría explicarlo?

El otro gran aspecto que diferencia ambos textos es el 38 "Desarrollo rural y Política Agraria Común (PAC)":

Como vemos, es un punto muy largo en el programa de IU con menciones concretas a leyes y programas, mientras que en el de Podemos es escueto y algo vago, aunque no señalan información contradictoria entre ellos

En conclusión:

• los programas de Unidos Podemos de las web de IU o de Podemos son diferentes, tanto en su maquetación, la corrección de estilo y ciertas diferencias de contenido
• los programas son en su enorme mayoría idénticos en cuanto al contenido
• la mayor diferencia de ambos programas está en el punto sobre Cultura, que no aparece en el programa de Podemos
• la versión del programa de IU contiene bastante más contenido en cuanto a agricultura

Seguir leyendo este post...

Volver a la versión resumida del post

¿Escribimos un nuevo programa o copiamos el anterior? Estilometría sobre elecciones generales 2016

Nuevas elecciones > incremento en el corpus de programas electorales > nuevo post sobre estilometría política. Las elecciones generales en España del 26 de junio de 2016 se caracterizan por ser en realidad la repetición de las anteriores. Ni la época, ni los candidatos, ni los partidos ni (en principio) las ideas han cambiado. Así que ¿habrán cambiado los textos? ¿Su estilo? Quitando claro la excepción de Unidos Podemos y sus versiones en Cataluña, Valencia y Galicia (cuyos textos no están representados aquí por diferentes razones).

En primer lugar he realizado un análisis de la distancia textual mediante Delta. Dependiendo de la cantidad de palabras a utilizar los resultados varían notablemente. Aquí un ejemplo de los resultados de los 4000 y 6000 MFW:

Como vemos en el primero, el PP forma su propia rama mientras que en el segundo caso aparece bastante mezclado con los programas del PSOE. Por eso he considerado en  realizar un Consensus tree que agrupe los diferentes resultados entre 1000 y 10 000 MFW en un solo análisis:

Como vemos, PNV y UPyD tienen sus propias ramas perfectamente diferenciadas. IU y Podemos muestran relaciones similares en sus programas de 2011 y 2015. Curiosamente su programa electoral unido de 2016 no aparece entre los textos. En el caso del PP y PSOE, sus programas de 2015 y 2016 aparecen emparejados, mientras que los otros textos aparecen en diferentes lugares. Finalmente hay un grupo de tres textos que en realidad se pueden considerar tres textos aislados: Unidos Podemos 2016, Ciudadanos 2016 y PP 2011.

Resulta sorprendente que el programa de Unidos Podemos no aparezca en la misma rama en la que encontramos los textos de IU y Podemos anteriormente. Por lo visto negociar un programa electoral no produce un término medio entre los programas anteriores de los partidos. Al menos en su estilo, que es de lo que la estilometría parte.

Aún más sorprendente resulta que el programa de Ciudadanos 2016 no esté estrechamente emparentado con su programa de 2015. ¿Qué puede explicar esta diferencia? Lo desconozco.

Porque en realidad uno esperaría que los partidos le hubiesen echado un poquito de cara y que en realidad hubiesen presentado el mismo programa que hace 6 meses, maquillándolo un poco y cambiando las fechas y fotos. De hecho podemos intentar medir qué partidos se han plagiado a sí mismos. Para ello troceamos cada texto en cadenas de 7 palabras (7-gramas), unidades del tipo "centros tecnológicos inspirados en los advanced manufacturing" o "como una inversión no como un gasto". Esperamos que estas unidades sean suficientemente largas como para considerar que no se repetirán aleatoriamente y que su coaparición en varios textos debería representar un relación de copia y pega entre textos. Con esa base, realizaremos un PCA cuyo resultado es un representación bidimensional de los textos:

El partido que se ha plagiado más a sí mismo es el PSOE (1945 7-gramas comunes en los programas de 2015 y 2016), quien queda apartado del resto en el eje horizontal (PC1). Los siguientes partidos que más han copiado-pegado su propio programa son en este orden PP (1082 7-gramas comunes), UPyD (¡943 7-gramas en los tres programas!  ¡se llevan copiando desde 2011 hasta el día de hoy!) y PNV (710 7-gramas comunes).

El resto de partidos (Ciudadanos, IU, Podemos y Unidos Podemos) no presentan repeticiones notables de cadenas de 7 palabras y por eso están tan cerca del valor 0 en ambos ejes. Solo algunos 7-gramas aparecen en programas de partidos muy diferentes, como por ejemplo: "a lo largo de toda la vida", "la participación de los ciudadanos en la", "por debajo del umbral de la pobreza", etcétera.

Es curioso observar que la repetición señala principalmente relaciones entre textos muy similares y no sencilla similitud del estilo. No vemos que los textos del PSOE y PP del 2011 estén a medio camino entre el valor 0 y los textos de 2015-2016. La idea intuitiva de que cadenas relativamente largas podrían señalar copia entre textos parece validarse.

Por supuesto hay dos manera de interpretar la repetición de cadenas largas en diferentes textos: como señal de desidia o como señal de coherencia. Uno puede valorar que el país no ha cambiado desde diciembre de 2015 y que por lo tanto no hay que cambiar los textos. Puede ser cierto, aunque en realidad lo que aquí se analiza no es el fondo del texto (las ideas) sino la superficie del texto (su estilo). Se puede expresar la misma idea de varias maneras y la estilometría no reconocerá su similitud.

Entiendo bastante bien que un partido como UPyD, que está para que lo rematen, quiera ahorrarse cualquier trabajo y reutilice el texto. Lo sorprendente es que en realidad los dos partidos que más han copiado sean a su vez los más grandes y con mayores medios. Si no les faltan medios, será  que les falta interés.

Seguir leyendo este post...

Volver a la versión resumida del post

Dios, ángeles y la serpiente en grafos del Génesis

El grafo que comenté en mi anterior post sobre el Génesis solo mostraba los datos de las relaciones humanas. Volvamos a verlo y partamos de la información que ya teníamos con el anterior post:

Como ya expliqué, del cálculo de esas relaciones saqué de manera premeditada a Dios y al resto de seres superiores (por llamarlos de alguna manera): ángeles, demonio, Espíritu Santo... Veamos qué pasa con el grafo si sí lo tenemos en cuenta:

El grafo pasa de estar compuesto de un núcleo principal y otro secundario alejado (alrededor de Noé, conectado con Adán), a tener un único núcleo principal del que salen diferentes ramas no demasiado alejadas. Coloquemos ahora un color diferente a aquellas entidades humanas y aquellas no completamente humanas:

Dios aparece localizado muy cerca de Abraham, y con fuertes relaciones con Isaac, Jacob, José, Adán, Caín y la familia de Noé. De hecho estas relación son las que han hecho que Adán y Noé fortalezcan enormemente sus relaciones indirectas con el núcleo principal del grafo. Efectivamente, la relación con Dios de estas personas es una relación mucho más importante que la frágil relación familiar que pueda haber entre ellos.

Pero antes de pasar adelante con más relaciones: ¿de quién hablamos exactamente cuando hablamos de los seres superiores en el Génesis? Pues en concreto de estos nodos:

Y vosotros diréis que aquí hay varias cosas raras. En primer lugar, ¿Espíritu Santo? Efectivamente no hay ninguna mención con ese nombre en el Génesis, pero sí hay varias al Espíritu de Dios, colocación que decidí codificarla como Espíritu Santo aunque señalando mediante un atributo de que no estaba completamente seguro.

En segundo lugar, ¿por qué hay ángeles y no demonios? ¿Por qué solo aparece diablo en singular? La respuesta es clara: porque no hay menciones a demonios en plural (como si encontramos en otros libros, como los Evangelios). Y aquí viene una de las cosas sorpresas que me he encontrado: de hecho no hay prácticamente menciones al diablo en el Génesis. Exclusivamente en el capítulo 3 se menciona a la serpiente en Edén un puñado de veces. Después del capítulo 3 nada similar a un diablo vuelve a aparecer en el Génesis. Es por eso que en el grafo completo, el diablo aparece estrechísimamente relacionado con Adán y Eva, más incluso que sus propios hijos:

Y en tercer lugar ¿Jesús? ¿No nos hemos saltado unos cuantos miles de años en la cronología bíblica? La cosa es que cuando leemos la bendición de Jacob a sus hijos, en la de Judá aparece esto:

Y por lo que busqué, en algunos casos se interpreta Siloh como una mención a Jesús. Obviamente marqué como insegura esta referencia. Por lo visto en la Biblia hay unos cuantos huevos de Pascua (y casi nunca mejor dicho) escondidos.

Por último me he preguntado con quiénes coaparecen los seres superiores. Resultados:

Dios

Ángeles

Espíritu Santo

Diablo

Seguir leyendo este post...

Volver a la versión resumida del post

Grafo sobre el Libro de Rut

Dije que iba a seguir hablando del grafo del Génesis y cómo Dios modifica las relaciones entre las personas, pero vamos a hacer un inciso para ver un pequeño grafo del Libro de Rut, el último en formar parte de la edición XML-TEI Bible. Después de los 50 cargadísimos capítulos del Génesis me apetecía algo ligerito. Los 4 capítulos de Rut han sido como esas tapas minimalistas que te ponen en algunos bares que te terminas antes de querer darte cuenta. Tenéis datos, archivo gephi y visualización en GitHub:

Es bastante interesante observar de nuevo el desarrollo de la historia representado en el grafo: arriba a la derecha aparecen las personas y grupos mencionados al comienzo del libro, mientras que el extremo inferior izquierdo son menciones del final del libro. De esta manera aparece la gradación entre personas moabitas hasta el pueblo de Israel. Y es que de eso va Rut basicamente: una mujer que pasa a ser judía por su relación con Noemí y Booz.

Un aspecto muy interesante es observar ese lazo que sale de Rut hacia la izquierda, a través de Tamar y Fares y que vuelve a ella por Obed (el hijo que tiene con Booz). Ese lazo representa exactamente un lazo familiar que se describe en relación a Rut desde el versículo 4:12 hasta el final del libro en 4:22. Los ancianos del pueblo de Israel comparan en 4:12 la familia de Rut con la de Fares, hijo de Judá (es decir, con los descendientes más importantes de Jacob). Y al final del capítulo se mencionan las generaciones que van de Fares a Rut:

Ese lazo parece bastante similar al que veíamos en Mateo. No solo en la forma, en ese también veíamos los nombres de Rut, Boaz, Tamar, Fares, Obed, Isaí, David... Conectados con Jesús:

Seguir leyendo este post...

Volver a la versión resumida del post