Hey, moderadores de Facebook y Twitter... ¡cuidado con los emojis racistas!
● La industria dice que lidiar con las pictografías es un desafío técnico, pero los críticos dicen que las empresas lo están haciendo más difícil de lo que debe ser.
En un partido de fútbol en el Goodison Park de Liverpool en 1988, el jugador John Barnes se apartó de su posición y usó la parte posterior de su talón para patear un plátano que le habían arrojado. Capturado en una foto icónica, el momento encapsuló el abuso racial que los jugadores de fútbol negros enfrentaron en el Reino Unido.
Más de 30 años después, el medio ha cambiado, pero el racismo persiste: después de que Inglaterra perdiera ante Italia en julio en la final del Campeonato de Europa de la UEFA, los jugadores negros del equipo británico se enfrentaron a una avalancha de plátanos. En lugar de la fruta física, estos eran emojis colgados en sus perfiles de redes sociales, junto con monos y otras imágenes. “El impacto fue tan profundo y significativo como cuando se trataba de plátanos reales”, dice Simone Pound, directora de igualdad, diversidad e inclusión de la Asociación de Futbolistas Profesionales del Reino Unido.
Facebook Inc. y Twitter Inc. enfrentaron amplias críticas por demorarse en eliminar la ola de abuso racista durante el campeonato europeo de este verano. El momento destacó un problema de larga data: a pesar de pasar años desarrollando algoritmos para analizar el lenguaje dañino, las empresas de redes sociales a menudo no tienen estrategias efectivas para detener la propagación del discurso de odio, la desinformación y otros contenidos problemáticos en sus plataformas.
Los emojis se han convertido en un obstáculo. Cuando Apple Inc. introdujo emojis con diferentes tonos de piel en 2015, el gigante tecnológico fue criticado por permitir comentarios racistas. Un año después, el gobierno de Indonesia generó quejas después de exigir a las redes sociales que eliminen los emojis relacionados con LGBTQ. Algunos emojis, incluido el que muestra una bolsa de dinero, se han relacionado con el antisemitismo. Los jugadores de fútbol negros han sido atacados con frecuencia: la Asociación de Futbolistas Profesionales y la empresa de ciencia de datos Signify realizaron un estudio el año pasado de tweets racialmente abusivos dirigidos a jugadores y descubrió que el 29% incluía algún tipo de emoji.
Durante la última década, las aproximadamente 3 mil pictografías que constituyen el lenguaje emoji han sido una parte vital de la comunicación en línea. Hoy en día es difícil imaginar una conversación por mensaje de texto sin ellos. Sin embargo, la ambigüedad que es parte de su encanto no viene sin problemas. Una cara que guiña un ojo puede indicar una broma o un coqueteo. Los tribunales terminan debatiendo cuestiones como si contar como una amenaza enviar a alguien un emoji de una pistola.
Este asunto es confuso para los abogados humanos, pero es aún más confuso para los
modelos de lenguaje basados en computadora. Algunos de estos algoritmos están entrenados en bases de datos que contienen pocos emojis, dice Hannah Rose Kirk, investigadora de doctorado en el Oxford Internet Institute. Estos modelos tratan a los emojis como nuevos personajes, lo que significa que los algoritmos deben comenzar desde cero para analizar su significado en función del contexto.
“Es una nueva tendencia emergente, por lo que la gente no es tan consciente de ella, y los modelos van a la zaga de los humanos”, dice Lucy Vasserman, gerente de ingeniería de un equipo de Jigsaw de Google, que desarrolla algoritmos para señalar el habla abusiva en línea. Lo que importa es “la frecuencia con la que aparecen en sus datos de prueba y entrenamiento”. Su equipo está trabajando en dos nuevos proyectos que podrían mejorar el análisis de emojis, uno que implica extraer grandes cantidades de datos para comprender las tendencias en el lenguaje, y otro que tiene en cuenta la incertidumbre.
Las empresas de tecnología han citado la complejidad técnica para ocultar soluciones más sencillas a muchos de los abusos más comunes, según los críticos. “La mayor parte del uso no es ambiguo”, dice Matthew Williams, director de HateLab de la Universidad de Cardiff. “No solo necesitamos una mejor IA en el futuro, sino equipos de moderación más grandes y mejores”.
El uso de los emojis no se ha analizado en relación con su importancia para la actual comunicación en línea, dice Kirk. Encontró su camino para estudiar las pictografías después de un trabajo anterior con los memes. “Lo que encontramos realmente desconcertante como investigadores fue, ¿por qué Twitter e Instagram y las soluciones de Google no son mejores para combatir el odio basado en emojis?”, cuestiona.
Frustrada por el bajo rendimiento de los algoritmos existentes para detectar el uso amenazante de emojis, Kirk construyó su propio modelo, utilizando humanos para ayudar a enseñar a los algoritmos a comprender los emojis en lugar de dejar que el software aprenda por sí solo. El resultado, dice, fue mucho más preciso que los algoritmos originales desarrollados por Jigsaw y otros académicos que su equipo probó. “Demostramos, con relativamente poco esfuerzo y relativamente pocos ejemplos, que se puede enseñar emojis de manera muy efectiva”, dice.
Mezclar humanos con tecnología, junto con la simplificación del enfoque para moderar el discurso, también ha sido una fórmula ganadora para Respondology startup en Boulder, Colorado, que ofrece sus herramientas de detección en Nascar, NBA y NFL. Trabaja con los Detroit Pistons, los Denver Broncos y los principales equipos de fútbol ingleses. En lugar de depender de un algoritmo complicado, la compañía permite a los equipos ocultar comentarios que incluyen ciertas frases y emojis con una pantalla general. “Cada cliente que viene a nosotros, en particular los clientes deportivos (ligas, equipos, clubes, atletas), todos preguntan sobre los emojis en la primera conversación”, dice Erik Swain, presidente de Respondology. “Casi no necesitas entrenamiento en IA de tu software para hacerlo”.
Facebook reconoce que les dijo a los usuarios incorrectamente que el uso de ciertos emojis durante el Campeonato de Europa de la UEFA de este verano no violó sus políticas cuando en realidad lo hizo. Dice que ha comenzado a bloquear automáticamente ciertas cadenas de emojis asociadas con el habla abusiva, y también permite a los usuarios especificar qué emojis no quieren ver. Twitter dijo en un comunicado que sus reglas contra las publicaciones abusivas incluyen imágenes de odio y emojis.
Estas acciones pueden no ser suficientes para sofocar a los críticos. Los atletas profesionales que hablan sobre el abuso racista que enfrentan se ha convertido en un factor más en la marcha más amplia hacia una posible regulación gubernamental de las redes sociales. “Todos nos lamentamos, pero no hicieron nada, por eso tenemos que legislar”, dice Damian Collins, un miembro del Parlamento del Reino Unido que lidera el trabajo en un proyecto de ley de seguridad en línea. “Si las personas que tienen interés en generar contenido dañino pueden ver que las plataformas son particularmente ineficaces para detectar el uso de emojis, entonces veremos que se usan más y más emojis en ese contexto”.