¿Qué puede aportar la sociología a la resolución de problemas? ¿No era la “economía, estúpido”?

por María José Álvarez Rivadulla

Desde hace un tiempo, un grupo de sociólogos basados en Estados Unidos, liderados por Monica Prasad, una socióloga comparativista e histórica del desarrollo, los impuestos y otros temas de economía política, se reúnen para pensar en un enfoque desde la sociología que permita contribuir a resolver problemas. Lo han llamado Problem Solving Sociology y ya tiene, además de seminarios y una red, un libro de Prasad[1]. Se trata de una búsqueda de un enfoque metodológicamente robusto y teorizado que permita contribuir a la resolución de problemas, no solo a su diagnóstico. 

Este enfoque tiene un antecedente directo en la sociología estadounidense que fue el intento de Michael Burawoy cuando fue presidente de la Asociación Americana de Sociología y luego de la Asociación Internacional de Sociología, de girar hacia lo que él llamó Sociología Pública.[2] Sin embargo, el nuevo se presenta como más técnico o profesional, menos antiestablishment y más centrado en soluciones específicas que en crítica social. En realidad, los antecedentes van mucho más lejos. La Sociología nace en la tensión entre reformismo y objetividad científica, entre ciencia aplicada y ciencia básica. Comte era reformista. Jane Addams, miembro de la Escuela de Chicago, años después lo era, tratando de resolver los problemas de los menos privilegiados de la ciudad en su famosa Hull House. Pero este nuevo enfoque de sociología orientada a la resolución de problemas pretende algo más que una sociología aplicada, pretende ser una sociología mainstream que colabora a la resolución de problemas pensando más allá de la descripción, y yendo a la causalidad de los problemas, ayudando a pensar posibles soluciones y tener para ello teorías causales del cambio que hagan posible la implementación. Y pretende seguir publicando en revistas mainstream esos resultados. Es decir, pretende lo imposible. Pretender ser…. ¡como la economía! : ) 

La sociología hoy es muy buena criticando, mostrando lógicas ocultas y es muy buena también describiendo. Hacemos excelentes diagnósticos. Criticamos lo existente. Y sabemos por qué fracasan las soluciones que otros implementan. Sin embargo, no tenemos buenas teorías del cambio. La teoría del cambio más prevalente en nuestra disciplina es la inercia. Desestimamos pequeños cambios con conceptos como reproducción o estructura vertical de poder. Así, dejamos de ver pequeños cambios que sí suceden. Y escudándonos en el largo plazo, los dejamos pasar sin teorizarlos, sin documentarlos. Mientras tanto, hay por lo menos dos fuentes de soluciones de política pública que nos pasan de largo y nos ganan terreno en poder colaborar a la solución de problemas. Por un lado están las soluciones de la economía, últimamente basadas en RCTs que se han convertido en la base para justificar cualquier innovación de política. La política pública más popular en los últimos años en América Latina, por ejemplo, las transferencias condicionadas, tienen su base en RCTs implementadas por oficinas de planeación, agencias internacionales y consultores.[3] Si hay un efecto a partir del RCT, la política vale la pena y muestra resultados medibles. Si no, no. La otra, es menos robusta metodológicamente y está basada en el marketing político y filantrópico internacional de “buenas prácticas”. La evidencia es más de tipo storytelling, se llevan personas a ver el éxito del cable o del resto de la “acupuntura urbana” en Medellín y se implementa luego en Rio, en Bogotá, en La Paz o donde sea. Raramente, sin embargo, se tienen en cuenta las condiciones de posibilidad de esas políticas y por lo tanto, de exportación de las mismas. [4]

Siento que desde el Tercer Mundo o el Sur Local como me gusta llamarlo tenemos muchas cosas que aportar a esta sociología de la resolución de problemas. Y es que, por una mezcla de falta de empleos suficientes en la academia, falta de fondos para investigación básica que llevan a hacer muchas consultorías, activismo político y preocupación por problemas sociales acuciantes, aquí venimos haciendo algo parecido al problem solving sociology desde hace rato. Sin embargo, y ahí está el desafío, no publicamos lo suficiente ni teorizamos lo suficiente sobre ello. Por todas las razones anteriores he trabajado durante mi carrera en torno a problemas sociales, fundamentalmente de pobreza, desigualdad, segregación e informalidad urbana. He hecho evaluaciones de política pública para el gobierno, conceptos para organismos internacionales, consultorías para empresas y ejercicios de investigación aplicada con estudiantes. Desde esa experiencia quisiera comentar en lo que creo que la sociología podría aportar a la resolución de problemas. 

En primer lugar, creo que la sociología tiene una virtud sobre otras disciplinas, incluyendo a la economía, y es su capacidad de traducción, en lo metodológico y en los lenguajes. En lo metodológico, el privilegio de la sociología es su diversidad metodológica. Este ecumenismo es clave para poder hablar a la vez con los economistas y con los antropólogos a cargo del trabajo cualitativo. Para ejercerlo, el manejo de métodos cuantitativos, cualitativos, comparados y sobre todo la apertura a transformar información de cualquier tipo en datos y datos en información es muy importante. Por ello, la formación metodológica diversa debe ser clave en nuestros programas de formación.

Pero el potencial de traducción de la sociología está también en el lenguaje. Podemos hablar a la vez fácilmente el lenguaje científico, pero también el de los hacedores de política y el de los sujetos de investigación, sean estos individuos u organizaciones. Lo veo en lo que dicen los empleadores de nuestros estudiantes. Somos buenos organizando información y traduciéndola de una audiencia a otra. Y somos buenos haciendo trabajo de campo. Eso nos da un plus frente a otras disciplinas. 

En relación a lo anterior, somos además buenos escuchas, buenos entrevistadores, buenos creando cuestionarios que midan con sutileza lo que queremos medir y buenos haciendo inducción analítica, es decir encontrando hipótesis inductivas que puedan explicar los resultados que otros no pueden explicar al tiempo que hacemos trabajo de campo. El desafío es aquí saltar de lo anecdótico a lo sistemático, para hacer valer esa evidencia vis a vis evidencias más aceptadas. 

El foco en bajarnos de las grandes explicaciones y centrarnos en los mecanismos a los que Tilly[5] y otros nos han invitado en los últimos años, tiene un gran potencial que podemos explorar. En términos teóricos, tenemos herramientas para saltar de describir si hay reproducción o movilidad social, por poner un ejemplo que está en el centro de mis intereses de investigación, a en qué condiciones puede haber movilidad social, si se subvierten mecanismos como el acaparamiento de oportunidades o la explotación y se generan mecanismos como la apertura de presas que puede generar una beca en el acceso a educación superior. 

Sin embargo, para poder contribuir a la resolución de problemas hay que superar desafíos internos y externos. Entre los internos, hay dos claves: el primero es dejar de tomar esas intervenciones en política pública como algo distinto a la investigación, que nos da algo de plata o que es parte de nuestra intervención política o nuestro trabajo de servicio y esforzarnos por teorizar mejor sobre ellas. Esto no se hace solos. Construir un campo de investigación válido en intervenciones y cambio social de rango medio es clave. Por eso me resulta interesante la tarea de este grupo de Problem Solving Sociology. El segundo es abandonar el escepticismo crónico, cuestionar la inercia como la única respuesta al por qué todo fracasa y el excesivo espíritu crítico paralizante usualmente destinado a las soluciones que otros aportan. Entre los externos el desafío es mayor, puesto que hay que dar una pelea por el conocimiento y por las soluciones más efectivas, o al menos un lugar en la mesa de las soluciones. La economía ha ganado el monopolio de las discusiones sobre bienestar en nuestros países por diversas razones, entre ellas haber logrado consensos metodológicos que otras ciencias sociales no tenemos y haber empacado los mismos como objetivos, técnicos y alejados de preferencias políticas.[6] Mostrar un lugar útil en esas discusiones ya existentes es la mejor forma de contribuir, mostrar soluciones concretas o contribuciones a las mismas que complementen lo que ya se está haciendo o que innoven en la forma de pensarse o aplicarse. Por ahora, me he metido en el grupo de Problem Solving Sociology. Suena grandilocuente. Pero a la vez, suena como lo que he venido tratando de hacer todos estos años sin nombrarlo. 

            

 

 

 

---

[1] Prasad, Monica. Problem-Solving Sociology: A Guide for Students. Oxford University Press, 2021

[2] Burawoy, Michael. "For public sociology." American sociological review 70.1 (2005): 4-28. Hace ya una década, dicté un seminario sobre Sociología Pública en Colombia, mostrando que había muchos sociólogos que hacen Sociología Pública antes de que Burawoy la nombrara, y honrando a uno de ellos con el nombre de la cátedra: Cátedra Orlando Fals Borda. Burawoy participó de la clase en su primera sesión y hubo muchos otros invitados. Los videos quedaron en este blog. 

[3] Para una comprensión. Histórica de cómo los RCTs se transformaron en LA forma de apalancar políticas públicas ver: de Souza Leão, Luciana, and Gil Eyal. "The rise of randomized controlled trials (RCTs) in international development in historical perspective." Theory and Society 48 (2019): 383-418.

[4] Álvarez Rivadulla, María José, and Diana Bocarejo. "Beautifying the slum: cable car fetishism in Cazucá, Colombia." International Journal of Urban and Regional Research 38.6 (2014): 2025-2041.

[5] Tilly, Charles. Durable inequality. Univ of California Press, 1998.

[6] Sobre esto recomiendo el excelente libro de Marion Fourcade:"Economists and societies." Economists and Societies. Princeton University Press, 2009. y también nuestra contribución sobre los Economistas de América Latina en particular: Montecinos, Verónica, John Markoff, and María José Alvarez-Rivadulla. "Economists in the Americas: convergence, divergence and connection." Economists in the Americas. Edward Elgar Publishing, 2009.

Tomado de Razones y Personas. Esta obra está bajo una Licencia Creative Commons Atribución 3.0 No portada.

Usando datos no tradicionales para explorar un concepto tradicional: como podemos usar Twitter para entender la discusion sobre castigo en la opinión pública en Uruguay

Tomado de Razones y Personas. Esta obra está bajo una Licencia Creative Commons Atribución 3.0 No portada.

Usando datos no tradicionales para explorar un concepto tradicional: como podemos usar Twitter para entender la discusion sobre castigo en la opinión pública en Uruguay

 

Ezquerra Pablo

Trajtenberg Nico

Porque no los encerramos y tiramos la llave?

De un tiempo a esta parte las Ciencias Sociales han estudiado las actitudes punitivas, o dicho más en criollo, cuando hay un delito qué tipo de castigo creemos que es legítimo y válido aplicar al ofensor. Es esto un mero onanismo académico? Probablemente si, para que engañarnos... pero también es cierto que las opiniones y preferencias por el castigo que tienen los ciudadanos pueden tener consecuencias serias. Por ejemplo, pueden determinar que los políticos y gobiernos promuevan políticas de prevención del crimen ineficaces o incluso contraproducentes en términos de incremento del delito (Enns, 2014; Jennings et al., 2017) y altamente costosas en términos económicos (Jaitman et al., 2017; Welsh, 2018). Y este escenario puede volverse más probable cuando la población esta atemorizada y victimizada por altos niveles de delitos violentos, como es el caso de Uruguay.

Ahora bien, qué son estas actitudes punitivas y cómo podemos saber sobre ellas? Durante las últimas tres o cuatro décadas los criminólogos han intentado resolver estas dos preguntas apelando a métodos tradicionales generalmente basados en el uso de escalas y encuestas. Cuáles son los limites de usar estas fuentes de datos? Qué otras alternativas existen y qué posibilidades y limites ofrecen? El objetivo de esta nota justamente es contarles un poco sobre estas alternativas no tradicionales de datos y de la llamada criminología computacional y, de paso, mostrar algunos hallazgos empíricos iniciales de un proyecto en el que estamos trabajando asociado a la tesis de doctorado de Pablo en la Universidad de Cardiff y a un proyecto en el Centro de Confianza Digital y Sociedad de la Universidad de Manchester.

En que medida estas de acuerdo con “encerrémoslos y tiremos la llave?”: Totalmente de acuerdo, de acuerdo, algo de acuerdo...

Si queremos saber acerca de actitudes punitivas y en que medida la población o ciertos grupos las poseen, hay ya bastante investigacion, si bien probablemente más focalizada en Norteamérica y Europa (Costelloe et al. (2009), Kornhauser (2015), pero ver también Singer et al. (2020)). Inicialmente los estudios sólo incluían medidas muy generales de las actitudes hacia las sentencias y los castigos, generalmente basadas en una única pregunta en encuestas de opinión, y con muy poco contexto (por ejemplo, referidas al apoyo a la pena de muerte o al aumento general de las sentencias). Este tipo de diseño tiende a sobreestimar las actitudes punitivas de los individuos, ya que no proporcionan información sobre otro tipo de medidas (como las rehabilitadoras) y no tienen en cuenta las características del delito, la víctima o el delincuente (Stalans, 2013). Progresivamente se fueron sofisticando las estrategias de medición, por ejemplo, a traves del uso de viñetas lo cual permite no sólo controlar las características del delito, sino también manipularlas en contextos experimentales  (Horstman et al., 2021; Socia et al., 2019). Tambien se empezaron a aplicar baterías de preguntas para reforzar la validez de las medidas utilizadas mediante estrategias de análisis psicométrico (Armborst, 2017; Maguire & Johnson, 2015). Más allá de los avances, medir las actitudes punitivas de esta manera enfrenta algunos desafíos. 

Un primer problema es que las escalas que aplicamos en las encuestas suelen ser instrumentos poco flexibles que no permiten capturar en forma válida y confiable las opiniones mas profundas, los estados de ánimo y reacciones emocionales de los individuos en relación al castigo (Smith et al., 2017). Cuando los encuestados tienen que expresar su opinión sobre temas delicados o controversiales, como puede ser el castigo, hay un sesgo de deseabildiad social y en muchos casos se adapta la respuesta a lo que cree que espera el entrevistador o la comunidad (Stephens-Davidowitz, 2018). En segundo lugar, ese tipo de estudios involucran en el mejor de los casos una fotografía estática y bastante costosa de implementar que no es sensible a la dinámica y volatilidad en tiempo real de la opinión de los ciudadanos a lo largo de las semanas y meses  (Williams et al., 2020). Finalmente, las medidas de punitividad basadas en las encuestas están centradas en individuos atomizados y difícilmente logran captar las redes de comunicación, intercambio y discusión existentes (Edelmann et al., 2020).  

Qué hacer entonces? Acá es donde la criminología computacional nos llama a complementar y abordar las limitaciones de estas medidas tradicionales con el uso de las nuevas fuentes de datos emergentes no tradicionales o New and Emerging Forms of Data (NEFD). Qué son? Basicamente es un nombre pomposo para referirse a los datos multimedia que son registrados digitalmente a través de distintos tipos de conexiones digitales (Radanliev & De Roure, 2023). La expansión del Internet para uso personal y su aplicación en diversos tipos de procesos cambió la forma en que los individuos se informan y comunican, generando un crecimiento exponencial de los datos disponibles sobre comportamientos en línea que son de gran interés para las ciencias sociales en general (Edelmann et al. 2020; Williams et al. 2020). Las NEFD ofrecen información detallada sobre el desarrollo de las relaciones sociales en grandes poblaciones a medida que se producen, a diferencia de los conjuntos de datos tradicionales que suelen recopilar los científicos sociales (Hofman et al., 2021; Radanliev & De Roure, 2023). Sin embargo, sólo recientemente los criminologos han empezado a explotar estos datos y empezar a estudiar fenomenos tales como el desorden social, policiamiento, delitos en línea, o crímenes de odio racial (Lynch, 2018; O’brien et al., 2015; Smith et al., 2017; Williams et al., 2020). Hasta ahora nadie que sepamos se ha metido a estudiar de esta forma las actitudes punitivas (bah, nadie salvo Pablo en su tesis de doctorado). Nosotros queremos, en esta nota dar, cuenta de las potencialidades de este tipo de datos y técnicas en base a los primeros resultados del estudio que estamos llevando a cabo en Uruguay (y también en Reino Unido).

La caja negra

Con el objetivo de analizar las actitudes punitivas en Twitter, se recolectó la siguiente información: En primer lugar se seleccionaron 20 portales de noticias con presencia en Twitter en función de su relevancia según encuestas de opinión pública y cantidad de seguidores. De estos 20 portales de noticias se descargaron todos los tweets relacionados al crimen a través de un conjunto de palabras clave (ej. “homicidio”, “asalto”, “rapiña”, etc.) en 2022. Las palabras clave fueron seleccionadas a partir del análisis exploratorio de los medios de prensa. Una vez descargados estos tweets, se descargaron todas las citas o respuestas realizadas por los usuarios a estas noticias. Este último conjunto de datos es el que resulta de interés para nuestro análisis, al agrupar las reacciones de los usuarios a las noticias sobre delito. Es acá donde esperamos encontrar reacciones punitivas, aquellas que de una forma u otra piden el incremento del costo del delito (es decir, que cometer un delito le cueste más al criminal a través de penas más duras).[1]

El primer paso, una vez obtenidos estos datos– y habiéndose limpiado spam, bots, y todas esas palabras en inglés – es intentar, de alguna forma, resumir esta información. El análisis cualitativo de todos los tweets resultaría una tarea titánica, sin embargo, es acá donde las estrategias de Topic Modeling[2] vienen al rescate. ¿De qué se trata? El Topic Modeling esta en el set de herramientas del aprendizaje automatizado (o Inteligencia Artificial - IA). Esto quiere decir que la técnica de análisis utilizada se basa en una sucesión de pasos o instrucciones donde la máquina intentará optimizar una tarea específica, modificando valores de un modelo estadístico en base a la variación en algún tipo de indicador que utilizará como criterio de calidad iterativamente (esto es lo que podríamos llamar un “algoritmo” en el contexto de la ciencia de datos). Más específicamente, se trata de una técnica de aprendizaje no-supervisado, esto quiere decir, que no le estamos dando ejemplos al algoritmo respecto al resultado esperado – como ocurre en una tarea de clasificación – sino que le estamos dando datos y un objetivo. En este caso, el objetivo es la agrupamiento (o clusterización si querés sonar copado) de la información textual. Cómo? A través de la identificación de palabras que co-ocurren comúnmente entre sí en los documentos (tweets) y que no tienden a ocurrir en otros contextos (Blei, 2012; Blei et al., 2003).[3]

Por qué? Al hacer esto, podemos realizar de forma automática e inductiva la codificación de nuestros documentos de interés (Mohr & Bogdanov, 2013). Al detectar estas palabras que distinguen temas de discusión, podemos dar cuenta de cuáles son los principales ejes de las comunicaciones naturalmente ocurridas en redes sociales, en este caso, en el contexto de la “crónica roja”. Así, podemos responder la pregunta respecto a cómo se discute el delito en redes sociales y más especialmente, en qué medida el castigo y la punitividad es un tema emergente. Todo esto en un precioso paquete replicable, automatizado, y con software libre. 

Si todo esto resulta confuso, no nos abandones (todavía): es posible que muchos de estos puntos se aclaren con el análisis.

El Topic 14

Pasado por la etapa anterior, se procedió al análisis. En base a un conjunto de indicadores cuantitativos se optó por un modelo con 15 topics. La distribución de los mismos y sus palabras clave se presentan a continuación. Las palabras fueron recortadas a su raíz para evitar contar como diferntes palabras que de alguna forma refieren al mismo concepto (e.g.: “delincuente” y “delincuentes” se incluyen en el modelo como “delincuent”)

Figura 1 Palabras clave por tema en función de valores phi

Figura 2 Proporción de documentos por topic basados en su clasificación

Cómo podemos interpretar estas figuras? El primer gráfico da cuenta de las palabras más importantes por topic – aquellas cuya presencia predicen en mayor medida la probabilidad del tweet de ser parte de ese topic. El segundo gráfico da cuenta de la proporción de tweets asociados a cada uno de los topics. Detenernos en cada uno supera el objetivo de esta nota (y lo que probablemente el público este dispuesto a leer). Nos vamos a centrar en un topic en particular, el topic 14, que parece sustentar la intuición inicial: el castigo es un tema de relevancia en la reacción de los usuarios frente a las noticias sobre delito en Twitter. Y existe más evidencia que nos permite concluir esto:

En primer lugar, no sólo observamos las 10 palabras clave, sino que lo hicimos con hasta 30. Además, modificamos el criterio de selección de las palabras, para analizar aquellas que son más específicas para cada topic (Figuras 3 y 4) y volvemos a encontrar que buena parte de estas palabras centrales parecen asociarse al castigo (e.g.: “justici”, “carcel”, “pres”) y el enojo frente al delito (e.g.: “hdp”, “enferm”, “put”). 

Figura 3 Palabras más importantes dentro del topic 14

Figura 4 Palabras más importantes dentro del topic 14 (sensibilidad ajustada)

En segundo lugar, analizamos cualitativamente (dicho menos grandilocuentemente: leímos e interpretamos) aquellos tweets que fueron clasificados en este topic. Tomemos una muestra aleatoria de 10 tweets a modo de ejemplo (se omiten las menciones a los usuarios - @):

Lo mejor que podés hacer! Siempre digo si los viejitos estafados no tienen familia que les advierta.

Y a donde lo mandan ?....a Cancún con todo pago ?...jajajaja...mata a 23 !!!...Perpetua mínimo...LPM !!

Maldito hdp, estaba cantado, te esperaba el infierno!!

2x1 de dignidad en tristan narvaja! No corras que hay stock.

Veo estas noticias y me entra un dolor en el pecho… Que hijo de re mil puta https://t.co/xpvYrDUKsX

Mi querida amiga, Uruguay, tarde o temprano tendra que prestar atencion al numero de criminales sueltos, que no tienen en su futuro, nada mas que seguir delinquiendo, porque la sociedad los va marginando. Y desde tiempos inmemoriales, el hombre tiene que eliminar las bestias.

En la cadena del si dijeron que no les tengamos miedo a los delincuentes🌝🌝🌝

Buenisima la justicia de nuestro Pais...tendra que pasar algo mas????

Pena de muerte hermano, dejate de derecho que esos no son personas https://t.co/OGd73Cajci

Aún así roba menos haciendo de juez https://t.co/ygPmwrQG01

Qué podemos inferir con esta información? Un aspecto claro es que este topic esta recolectando la mayoría de la discusión sobre castigo (también en base al análisis comparado con respecto a los tweets que observarmos en los demás topics). Esta discusión tiene tres componentes específicos: en primer lugar, hay una respuesta emocional importante con un componente no menor de enojo e indignación (varios insultos emergen como palabras clave). Ademas, incluye menciones a la justicia por mano propia y la pena de muerte. Y un componente clave en las actitudes punitivas presente en estos tweets es son tanto la deshumanización del delincuente comoel deseo de que el ofensor sufra. Al comparar este topic con su homólogo en una base de datos de Reino Unido se observa que la respuesta uruguaya parece tener como particularidad el elemento emocional del enojo, con una respuesta menos articulada en torno a la pena y no asociada explicita y directamente en el pedido de penas mas severas (volver a la horca o encerrarlos y tirar la llave).

No obstante, es importante destacar que si bien las estrategias de Topic Modeling son buenas para dar una idea general de la conversación a gran escala, no son ideales para la clasificación precisa del texto. Por tanto, podemos ver que si bien parece haber un hilo común en esta clasificación, también hay algo de ruido.

También podemos observar que este topic parece agrupar más de un 15% de la discusión, siendo el segundo más importante. Es decir, los uruguayos no sólo estamos preocupados por el castigo al leer las noticias sobre crimen en Twitter, sino que es una de las discusiones más importantes, al menos cuantitativamente.  

Los usuarios y el tiempo

El análisis no se limita a la descripción del topic y puede utilizar la la información alrededor de los tweets (los usuarios, la fecha y las características de la noticia original, en este caso) para profundizar en su dinámica temporal.

Una característica particular de la expresión de actitudes punitivas en redes es su variabilidad en el tiempo. Si bien no tenemos muchos datos longitudinales para el Uruguay, analizando el caso de Reino Unido se observa que esto contrasta con la relativa estabilidad de los datos por encuesta (Kirk, 2022)[4]. Claro que se trata de dos poblaciones radicalmente diferentes (en la medida en que los usuarios de Twitter no son una muestra representativa ni del Uruguay, ni de Reino Unido, y menos aún los que siguen portales de prensa, y menos aún los que participan activamente en la discusión…).  Sin embargo, más allá de que se trate de un grupo pequeño, se trata también de un grupo ruidoso, y no sabemos exactamente cómo este ruido esta afectando a la sociedad y las instituciones. La relativa estabilidad de las actitudes no quiere decir que el sistema no pueda verse afectado por la movilización específica causada por eventos relevantes (sólo hace falta recordar cómo algunos crímenes especialmente impresionantes han generado oleadas de pedidos por más “mano dura”).

Por su parte, a nivel de usuarios se observa que poco más del 36% de los usuarios analizados (aquellos que comentan estas noticias) participa de la discusión en este topic referido al castigo, y dentro de este grupo el 5% más activo produce un 33% de las respuestas. Las reacciones punitivas, entonces, no se distribuyen uniformemente a través de los diferentes perfiles de usuarios. Quiénes son los más punitivos? Qué características tienen? Qué podemos aprender de ellos? Estas preguntas también buscan ser respondidas por este proyecto más adelante.

Finalmente, se observa, de forma esperada, que este tipo de reacciones parece florecer frente a noticias vinculadas a crímenes violentos (homicidios, asesinatos, violaciones). Esto va de la mano de la literatura tradicional (McCorkle, 1993), y si bien parecería obvio, es un indicador prometedor de validez concurrente. Más adelante puede ser muy interesante intentar entender en mayor detalles qué tipo de delitos genera en el público reacciones particularmente punitivas y violentas.

Tridentes y antorchas virtuales

Este es un primer paso, bastante tímido, en términos de análisis. Pero también creemos que resulta prometedor. Esa primera intuición, que parece compartirse por varios de quienes pasamos a ver lo que ocurre en redes sociales en materia de opinión pública y crimen, parece sustentarse en los datos. Twitter – en este caso – es una vía de emergencia, comunicación y difusión de actitudes punitivas. Esto abre un nuevo campo para el análisis de este problema. Estos datos en interacción con datos tradicionales pueden ayudarnos a entender elementos que hasta ahora resultaban muy difíciles o costosos de medir: por ejemplo, el efecto de las redes con las que interactúan los individuos sobre las actitudes punitivas, el efecto de eventos específicos sobre las actitudes, las características emocionales vinculadas al deseo de castigo, y podríamos seguir.

El siguiente paso, será profundizar en técnicas de clasificación más sofisticadas, que tengan mayor precisión en la captación de actitudes punitivas - por ejemplo, a través del uso de Transformers (Bugueño & Mendoza, 2020). Con esta información podremos analizar la variación en el tiempo de las actitudes punitivas, a qué se asocian, qué tipo de efectos generan, qué usuarios participan de esta discusión, y cómo interactúan entre sí.

Las actitudes punitivas de los individuos pueden tener efectos perversos sobre el funcionamiento del sistema. La criminología computacional tiene la potencialidad de ser una herramienta que permita el seguimiento de la opinión pública y la mejor comprensión del fenómeno con bajo costo – no olvidemos nuestra economía latinoamericana. Esto puede ser utilizado por la sociedad, el sistema político, y la academia, para evitar desbordamientos punitivistas y que no sólo pueden ser crueles o injustos (algo que puede no convencer a muchos), sino ineficaces y que minen la legitimidad de las institutuciones.

Referencias

Armborst, A. (2017). How fear of crime affects punitive attitudes. European Journal on Criminal Policy and Research, 23(3), 461–481. https://doi.org/10.1007/s10610-017-9342-5

Blei, D. M. (2012). Probabilistic topic models. Communications of the ACM, 55(4), 77–84.

Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent dirichlet allocation. Journal of Machine Learning Research, 3(Jan), 993–1022.

Bugueño, M., & Mendoza, M. (2020). Learning to Detect Online Harassment on Twitter with the Transformer. In P. Cellier & K. Driessens (Eds.), Machine Learning and Knowledge Discovery in Databases (pp. 298–306). Springer International Publishing. https://doi.org/10.1007/978-3-030-43887-6_23

Costelloe, M. T., Chiricos, T., & Gertz, M. (2009). Punitive attitudes toward criminals: Exploring the relevance of crime salience and economic insecurity. Punishment & Society, 11(1), 25–49. https://doi.org/10.1177/1462474508098131

Edelmann, A., Wolff, T., Montagne, D., & Bail, C. A. (2020). Computational social science and sociology. Annual Review of Sociology, 46, 61–81.

Enns, P. K. (2014). The Public’s Increasing Punitiveness and Its Influence on Mass Incarceration in the United States. American Journal of Political Science, 58(4), 857–872. https://doi.org/10.1111/ajps.12098

Hofman, J. M., Watts, D. J., Athey, S., Garip, F., Griffiths, T. L., Kleinberg, J., Margetts, H., Mullainathan, S., Salganik, M. J., Vazire, S., Vespignani, A., & Yarkoni, T. (2021). Integrating explanation and prediction in computational social science. Nature, 595(7866), 181–188. https://doi.org/10.1038/s41586-021-03659-0

Horstman, N. J., Bond, C. E., & Eriksson, L. (2021). Sentencing domestic violence offenders: A vignette study of public perceptions.Journal of Interpersonal Violence, 36(21–22), NP11916–NP11939.

Jaitman, L., Caprirolo, D., Ochoa, R. G., Keefer, P., Leggett, T., Lewis, J. A., Mejía-Guerra, J. A., Mello, M., Sutton, H., & Torre, I. (2017). The Costs of Crime and Violence: New Evidence and Insights in Latin America and the Caribbean. https://doi.org/10.18235/0000615

Jennings, W., Farrall, S., Gray, E., & Hay, C. (2017). Penal Populism and the Public Thermostat: Crime, Public Punitiveness, and Public Policy. Governance, 30(3), 463–481. https://doi.org/10.1111/gove.12214

Kirk, I. (2022, March 30). Criminal sentencing is too soft, say two-thirds of Britons | YouGov. Https://Yougov.Co.Uk/. https://yougov.co.uk/topics/politics/articles-reports/2022/03/30/criminal-sentencing-too-soft-say-two-thirds-briton

Kornhauser, R. (2015). Economic individualism and punitive attitudes: A cross-national analysis. Punishment & Society, 17(1), 27–53.

Lynch, J. (2018). Not even our own facts: Criminology in the era of big data. Criminology, 56(3), 437–454.

Maguire, E., & Johnson, D. (2015). The structure of public opinion on crime policy: Evidence from seven Caribbean nations. Punishment & Society, 17(4), 502–530. https://doi.org/10.1177/1462474515604385

McCorkle, R. C. (1993). Research note: Punish and rehabilitate? Public attitudes toward six common crimes. Crime & Delinquency, 39(2), 240–252.

Mohr, J. W., & Bogdanov, P. (2013). Introduction—Topic models: What they are and why they matter. Poetics, 41(6), 545–569. https://doi.org/10.1016/j.poetic.2013.10.001

O’brien, D. T., Sampson, R. J., & Winship, C. (2015). Ecometrics in the age of big data: Measuring and assessing “broken windows” using large-scale administrative records. Sociological Methodology, 45(1), 101–147.

Radanliev, P., & De Roure, D. (2023). New and emerging forms of data and technologies: Literature and bibliometric review. Multimedia Tools and Applications, 82(2), 2887–2911. https://doi.org/10.1007/s11042-022-13451-5

Singer, A. J., Chouhy, C., Lehmann, P. S., Stevens, J. N., & Gertz, M. (2020). Economic anxieties, fear of crime, and punitive attitudes in Latin America. Punishment & Society, 22(2), 181–206. https://doi.org/10.1177/1462474519873659

Smith, G. J. D., Bennett Moses, L., & Chan, J. (2017). The Challenges of Doing Criminology in the Big Data Era: Towards a Digital and Data-driven Approach. The British Journal of Criminology, 57(2), 259–274. https://doi.org/10.1093/bjc/azw096

Socia, K. M., Rydberg, J., & Dum, C. P. (2019). Punitive Attitudes Toward Individuals Convicted of Sex Offenses: A Vignette Study. Justice Quarterly, 0(0), 1–28. https://doi.org/10.1080/07418825.2019.1683218

Stalans, L. J. (2013). Measuring attitudes to sentencing. In Changing attitudes to punishment (pp. 33–50). Willan.

Stephens-Davidowitz, S. (2018). Everybody lies: What the internet can tell us about who we really are. Bloomsbury Publishing.

Welsh, B. (2018). Costs and benefits of preventing crime. Routledge.

Williams, M. L., Burnap, P., Javed, A., Liu, H., & Ozalp, S. (2020). Hate in the Machine: Anti-Black and Anti-Muslim Social Media Posts as Predictors of Offline Racially and Religiously Aggravated Crime. The British Journal of Criminology, 60(1), 93–117. https://doi.org/10.1093/bjc/azz049

Yan, X., Guo, J., Lan, Y., & Cheng, X. (2013). A biterm topic model for short texts. Proceedings of the 22nd International Conference on World Wide Web, 1445–1456. https://doi.org/10.1145/2488388.2488514

Yin, J., & Wang, J. (2014). A dirichlet multinomial mixture model-based approach for short text clustering. Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 233–242.

 

---

[1] El doctorado también incluye el análisis de las comunicaciones políticas (de los miembros del parlamento), sin embargo, en este artículo nos centramos en al análisis de las noticias.

[2] Mantendremos la acepción en inglés que resulta fácilmente googleable y se utiliza comúnmente incluso en contextos de uso del castellano. Traduciendolo podemos referirnos al Modelado de Temas.

[3] Específicamente se utilizaron técnicas optimizadas para textos cortos – BTM (Yan et al., 2013) y GSDMM (Yin & Wang, 2014)

[4] https://yougov.co.uk/topics/politics/explore/topic/Death_Penalty?content=all

Re-enfoque: La violencia escolar como reflejo de una problemática estructural

Denisse Gelber

Fuente de imagen: CherriesJD

El pasado 2 de Mayo se conmemoró el Día Internacional contra el Acoso Escolar (Bullying). Las situaciones extremas de violencia escolar durante Marzo, en la UTU Figari (Barrio Sur), en el Liceo 1 de Las Piedras, el Liceo 49 (Punta de Rieles) y en el Liceo Zorrilla (que concluyó con el suicidio de un menor agredido[1]), evidenciaron parcialmente la gravedad del problema en Uruguay[2]. Uruguay se encuentra en la posición 14 entre los países con más bullying.

Esta nota busca re-enfocar la discusión sobre violencia escolar, como un problema estructural, cuyas raíces y consecuencias desbordan las comunidades educativas. Partiendo por un breve raconto de las normativas internacionales que protegen a la niñez y adolescencia, continuamos con cifras que revelan cuán desprotegidas se encuentran en el día a día. En tercer lugar, damos cuenta de la problemática de la violencia escolar y el acoso escolar en Uruguay, para concluir con un listado de recursos y herramientas para niñas, niños, adolescentes, docentes, padres y madres para abordar la problemática. La violencia escolar es un problema de todos y se necesita de cada uno/ una para enfrentarlo.

1. Del dicho al hecho, hay un enorme trecho

La niñez y adolescencia permaneció invisibilizada de la normativa y protección internacional hasta recientemente. Desde 1989, la Convención sobre los Derechos del Niño (CDN) reconoce a los niños y niñas como sujetos de derechos, y obliga a los Estados firmantes a proteger y garantizar sus derechos (Giorgi, 2019). La principal repercusión de la Convención es que replantea la asimetría de poder entre niñez y adultez, en que los niños y niñas relegados a una situación autoritaria, no podían exigir sus derechos. Entre la gran variedad de derechos consagrados a la niñez y adolescencia, su derecho a vivir en ámbitos libres de violencia y a no sufrir ningún tipo de violencia, están protegidos por: la Convención de Derechos del Niño, la Declaración sobre la Eliminación de la Violencia contra la Mujer, la Convención Interamericana para Prevenir, Sancionar y Erradicar la Violencia contra la Mujer, la Convención relativa a la Lucha contra las Discriminaciones en la Esfera de la Enseñanza (ratificada en 2003), entre otras. Además, Uruguay cuenta con sus propias normativas entre las que destacan: la Ley de Prevención, Detección Temprana, Atención y Erradicación de la Violencia Doméstica (2002), el Código de la Niñez y Adolescencia (Ley 17.823, 2004), la Ley Integral de Violencia hacia las Mujeres Basada en Género (2017) (Tuana, 2018). En 2007, la Ley 19.747 creó el Sistema Integral de Protección a la Infancia y Adolescencia contra la Violencia, con el objetivo de prevenir, prestar asistencia y reparar actos violentos contra niños, niñas y adolescentes, desde un abordaje integral (SIPIAV, 2019). En 2013, la ley 19.098 declaró de interés nacional la creación de un protocolo de “prevención, detección e intervención respecto del maltrato físico, psicológico o social en los centros educativos de todo el país” (Artículo 1). El Mapa de ruta de promoción de la convivencia para instituciones de Educación Media se publicó en 2015, en 2016 se aprobó el Plan Nacional de Educación en Derechos Humanos, que busca garantizar la convivencia en los establecimientos educativos, y en 2017, el Marco Curricular de Referencia Nacional (MCRN) incluyó en el currículum y perfiles de egreso, competencias vinculadas a la buena convivencia (resolución de conflictos, trabajo en equipo, empatía, entre otros) (Brum & Noya, 2021). En la última reforma educativa, estas competencias se desarrollan en el Dominio Relacionamiento y Acción a través de la competencia de relación con los otros (respeto, solidaridad y empatía, tolerancia) y la competencia de ciudadanía local, global y digital (ANEP, 2022).

A pesar de los avances normativos, y a más de treinta años desde el establecimiento de la protección integral de la infancia mediante la Convención de Derechos del Niño, los derechos de los niñas y niños no se garantizan en su cabalidad (Eyng, 2018; Giorgi, 2019). Esto se debe en parte a patrones culturales fuertemente arraigados respecto al disciplinamiento. Por ejemplo, a pesar de las dificultades para obtener datos comparables, en América Latina y el Caribe la violencia hacia niños, niñas y adolescentes (NNA) es una práctica común. La violencia asume diversas formas (física, emocional, sexual, patrimonial, simbólica, entre otras), ocurre en distintos contextos (escuela, hogar, ámbito digital, entre otros), y puede ser perpetrada por diversos actores (familiares, extraños) (IIN-OEA, 2018). Con diferencias entre países, la violencia física hacia NNA es la más frecuente (42% de prevalencia), seguida de la violencia sexual (14%) y emocional (13%) (Fry et al., 2021). Aunque la prevalencia y tipo de violencia varía con la edad, dos de cada tres niños de entre 2 y 4 años sufren cotidianamente algún tipo de maltrato físico como forma de disciplinamiento en sus hogares (Modovar & Ubeda, 2017). De acuerdo a una encuesta realizada a adolescentes de la región, por parte del IIN y OEA, la violencia que más se ejerce en contra de NNA es la física (76%), psicológica (68%) y sexual (52%), mayormente en el ámbito familiar (54%) y por parte de padres /padrastros (IIN & OEA, 2021). En Uruguay, en 2017, se reportaron 3155 casos de violencia severa contra NNA y ya en 2013 se advertía que un tercio de las mujeres habían padecido algún tipo de violencia durante su niñez (Tuana, 2018).

2. La violencia escolar: acoso y más

La violencia contra niñas, niños y adolescentes también tiene lugar en los establecimientos educativos. El acoso escolar (bullying) se define como una conducta que genera daño, que es intencionada y se ejerce de forma reiterativa contra quien(es) presenta(s) dificultades para defenderse (Olweus, 1998 citado en Brum & Noya, 2021). El bullying se manifiesta a través de agresiones físicas y verbales, robos, marginación de actividades, así como mediante las Redes Sociales (Aristimuño & Noya, 2015). Una reciente sistematización de estudios nacionales concluye que los estudios realizados en Uruguay no permiten una mirada sistémica (de todos los niveles educativos), representativa (buena parte de los estudios son cualitativos y los estudios cuantitativos no necesariamente son representativos de la situación estudiantil), ni multidisciplinar (mayoría de los estudios provienen del campo de la psicología) (Brum & Noya, 2021). Sin embargo, se estima que en Uruguay, la prevalencia del bullying es de 16%, aunque se observan diferencias entre estudios de acuerdo a la edad considerada (según datos de PISA, 2018, entre los adolescentes de 15 años la prevalencia del bullying es de 26%) (Brum & Noya, 2021). En 2019, un estudio desarrollado por MIDES y BID acerca de la discriminación y convivencia escolar en Educación Media concluyó que más de la mitad de los estudiantes (51,2%) habían experimentado alguna agresión el último año, mayormente de tipo verbal / emocional (41,7% habían sufrido insultos, amenazas, habían sido excluidos, víctima de rumores u obligados a hacer algo), física (16,7% habían sido golpeados o amenazados con armas), agresión sexual (12,9%) o patrimonial (daño/robo) (12,5%) (MIDES & ANEP, 2019).

Figura 1. Marco conceptual de la violencia y el acoso en el ámbito escolar

 

Fuente: UNESCO (2021).

Las causas del acoso pueden estar vinculadas a la apariencia física, raza, nacionalidad, color de piel, religión, orientación sexual, discapacidad, situación socio-económica, entre otros factores (IGLYO, 2021; Trucco & Inostroza, 2017). Independiente de la causa, las consecuencias del acoso escolar durante la adolescencia, tiene consecuencias de corto y largo plazo. Las víctimas de bullying suelen sentirse excluídos en los establecimientos educativos, con mayor ansiedad y menor auto-confianza, lo que afecta no solo la asiduidad de su asistencia (suelen saltearse clases) sino también su desempeño académico y continuidad en el sistema educativo (suelen abandonar tempranamente). A esto se suma que las víctimas de bullying sufren de problemas de salud mental (suelen sentirse más solos, sufren de mayor insomnio y tienen pensamientos suicidas) y tienden a exponerse a comportamientos de riesgo (consumo de estupefacientes, alcohol, entre otros) (UNESCO, 2021).

De modo que, el acoso escolar puede ser causal de suicidio. Según datos de UNICEF, Uruguay es el segundo país en la región con más suicidios en jóvenes de 15 a 24 años. En 2020, se suicidó un joven cada tres días, siendo el suicidio la primera causa de muerte entre jóvenes de 15 a 24 años. Ese año, la tasa de suicidios entre jóvenes de 15 a 19 años fue de 16,6 cada 100.000 habitantes[3]. En Abril de 2023, la Dra. Garrido (catedrática de Psiquiatría) reportaba para El Observador, que cada 28 horas se hospitaliza un menor de 15 años por intento de suicidio o porque ideó auto-eliminarse, de los cuales 84% había sufrido algún tipo de maltrato (42% negligencia física, 30% abuso sexual y 21% maltrato físico).[4]

A pesar de estas cifras alarmantes, datos de ANEP entregados a La Diaria dan cuenta que actualmente hay apenas 163 psicólogos y trabajadores sociales para 223.313 estudiantes[5]. A modo de ejemplo, en Montevideo trabajan 69 psicólogos o trabajadores sociales para una matrícula de 72.095 estudiantes. Luego de los actos de violencia mencionados al inicio de esta nota, se realizó un llamado para cubrir 50 vacantes en secundaria y 15 en UTU, cifra aún insuficiente.

3. Cierre, recursos y guías

El abordaje y respuesta a la violencia escolar no puede ser una reacción frente a hechos dramáticos, como los difundidos en Marzo. La violencia escolar no refiere a una moda, ni a una consecuencia del cierre transitorio de los establecimientos educativos a raíz de la pandemia del COVID-19. La violencia escolar es reflejo de un problema estructural que enfrentamos como sociedad, tal como se evidenció al inicio de la nota. Mientras continuemos buscando soluciones de forma reaccionaria en vez de preventiva, no podremos atacarlo.

A continuación, se listan una serie de recursos disponibles on line, para estudiantes, docentes, padres y madres, a fin de abordar y/o profundizar sobre la problemática, sus causas y consecuencias.

Guía de recursos y herramientas para enfrentar y prevenir el acoso escolar, sus causas y consecuencias*

UNESCO:

· Recursos sobre el acoso y la violencia escolar

UNICEF:

· Recursos para progenitores, docentes y estudiantes

· Toma medidas para acabar con la violencia contra niños y niñas. #ENDviolence

· Madres/Padres/Adultos a cargo: ¿Cómo hablar con tus hijas/os sobre el acoso? ¿Cómo abordar el acoso con la escuela de tu hija/o?

· Estudiantes: Consejos para reportar actos de violencia

· Docentes: Manual práctico de prevención contra la violencia escolar

OIM:

· Maleta educativa sobre migración (herramientas y recursos prácticos para docentes)

· Caja de herramientas para educadores sobre la migración en el mundo

Uruguay:

· CODICEN: Mapa de ruta de promoción de la convivencia para instituciones de Educación Media

· INAU: Guía de respuesta ante situaciones de violencia

· MSP, UNICEF: Protocolo para el abordaje de situaciones de maltrato de niñas, niños y adolescentes en el marco del SNIS

· INJU, UNICEF, ASSE: Campaña “Ni silencio ni Tabú”: Kit de herramientas

· ASSE: Guía de Postvención por Suicidio con adolescentes

· Línea de apoyo emocional: 0800 1920 /*1920

· Línea de prevención del suicidio: 0800 0767 /*0767

· Te Veo Mañana: holatvm


*La lista no es exhaustiva, sino una referencia de algunas de las opciones disponibles.

Referencias

ANEP. (2022). Marco curricular nacional. Documento preliminar en proceso de elaboración y consulta.

Aristimuño, A., & Noya, J. C. (2015). La convivencia escolar y el fenómeno del bullying en la enseñanza secundaria de Uruguay. Un estudio de caso. Páginas en educación, 18(2).

Brum, S., & Noya, J. C. (2021). Acoso escolar en Uruguay. Informe de estado de situación. UNICEF. https://www.unicef.org/uruguay/media/6051/file/Acoso%20escolar%20en%20Uruguay.%20Informe%20de%20estado%20de%20situaci%C3%B3n.pdf

Eyng, A. M. (2018). Niñez y violencias. El desafío de garantizar derechos en los contextos cotidianos infantiles. Resumen ejecutivo del informe de investigación 2018. IIN-OEA-PUCPR, FMSI, APC.

Fry, D., Padilla, K., Germanio, A., Lu, M., Ivatury, S., & Vindrola, S. (2021). Violencia contra niños, niñas y adolescentes en América Latina y el Caribe 2015-2021. Una revisión sistemática. Resumen ejecutivo. UNICEF. https://www.unicef.org/lac/media/29031/file/Violencia-contra-ninos-ninas-y-adolescentes-en-America-Latina-y-el-Caribe-2015-2021.pdf

Giorgi, V. (2019). 30 años de la Convención sobre los Derechos del Niño: Entre movimientos instituyentes y fantasmas de restauración. Sociedad e Infancias, 3, 329-334.

IGLYO. (2021). No mires hacia otro lado: No a la exclusión del alumando LGBTI (N.o 45; Documento Guía). UNESCO.

IIN, & OEA. (2021). Violencia a niños, niñas y adolescentes de las Américas. Una pandemia sin vacunas. Consulta sobre violencia a adolescentes. IIN.-OEA. http://www.iin.oea.org/pdf-iin/publicaciones/2021/participacion/Violencia%20a%20ni%C3%B1os,%20ni%C3%B1as%20y%20adolescentes%20de%20las%20Am%C3%A9ricas%20-%20Una%20pandemia%20sin%20vacunas.pdf

IIN-OEA. (2018). Documento Posicionamiento. "Hacia la erradicación de todas las formas de violencia y explotación (ODS, Meta 16.2). http://sitiosiin.org/xxii-congreso/wp-content/uploads/2019/09/Posicionamiento-Violencia-Espa%C3%B1ol-2-Set..pdf

MIDES, & ANEP. (2019). Convivencia y discriminación en Educación Media. Resultados preliminares.

Modovar, C., & Ubeda, M. E. (2017). La violencia en la primera infancia. Marco regional de UNICEF para América Latina y el Caribe. UNICEF. https://www.unicef.org/lac/sites/unicef.org.lac/files/2018-03/20171023_UNICEF_LACRO_FrameworkViolencia_ECD_ESP.pdf

SIPIAV. (2019). Informe de gestión 2019. Sistema Integral de Protección a la infancia y a la adolescencia contra la violencia. SIPIAV, INAU.

Trucco, D., & Inostroza, P. (2017). Las violencias en el espacio escolar (LC/TS.2017/15; Documentos de Proyecto). CEPAL UNICEF.

Tuana, A. (2018). La protección de la infancia y adolescencia frente a las violencias. Revista de la Sociedad Uruguaya de Ginecología de la Infancia y Adolescencia, 7(3), 72-86.

UNESCO. (2021). Más allá de los números. Poner fin a la violencia y el acoso en el ámbito escolar. UNESCO.






[1] Montevideo Portal (18/3/2023): Alumno del Zorrilla que se suicidó, fue golpeado ese mismo día.


[2] El Observador (17/3/2023): Pelea generalizada en liceo de Las Piedras: Secundaria inició investigación

La Diaria (27/3/2023): Trabajadores del liceo 49 denunciaron agresión en el centro educativo


[3] La Diaria (1677/2021): En 2020, en promedio, se suicidó un joven cada tres días, un aumento significativo en comparación con 2019


[4] El Observador (23/3/2023): Hay un aumento en la violencia contra los niños y eso es un factor de riesgo para sufrimiento mental


[5] La Diaria (18/4/2023): ¿Cómo se distribuyen técnicos y equipos multidisciplinarios de liceos en todo el país?

Tomado de Razones y Personas. Esta obra está bajo una Licencia Creative Commons Atribución 3.0 No portada.