Por: Froilán Fernández @froilan

La herramienta DeepText que analiza el texto y deduce el significado de las palabras nuevas por contexto, puede aprender y mejorar su desempeño.

Para el CEO de Instagram, Kevin Systrom, esta red social basada en fotografías y videos es como un país que tiene el doble de habitantes que los EE UU. Para mantener en armonía a esos 700 millones de usuarios, Systrom cree que mantener a raya los comentarios abusivos y el bullying, necesariamente implica limitar la libertad de expresión cuando ésta se usa con la intención expresa de ofender, para comentarios racistas, sexistas o políticamente incorrectos.

A final del mes de junio, Instagram comenzó a usar herramientas de Inteligencia Artificial que parten de una base de dos millones de comentarios clasificados previamente por empleados de esa red social.

El filtro contra comentarios ofensivos que se implementó a partir del 29 de junio, sólo trabaja, por los momentos, en el idioma inglés, mientras que un segundo filtro contra spam trabaja en nueve idiomas: inglés, español, portugués, árabe, francés, alemán, ruso, japonés y chino.

Aprendizaje constante

El método de análisis del software inteligente, denominado DeepText, es similar en los dos casos, pues tanto los comentarios catalogados como ofensivos y los términos clasificados como spam alimentan respectivamente dos bases de datos. Pero en el caso de los comentarios, el software va agregando a la base de datos todas las acotaciones y observaciones y le asigna una evaluación. Cuando el comentario es calificado como negativo, es censurado.

Esto es posible porque el punto de partida de DeepText fue analizar una base de datos inicial, alimentada por empleados de Instagram, de 2 millones de comentarios que estaban ya catalogados como positivos o negativos.

El sistema estudió todos esos comentarios buscando patrones tanto en los datos catalogados como buenos como en los clasificados como malos. Los ingenieros lograron generar un conjunto de reglas para identificar las anotaciones negativas, sobre la base del contenido y de otros factores. Incluso cuando se encuentra una palabra nueva, el software le asigna un peso positivo o negativo dependiendo de las palabras cercanas al nuevo término.

Luego se sometió a prueba el conjunto de reglas con 400 mil comentarios que no estaban en la base de datos, que fueron evaluados con notas entre 0 y 1. Por ejemplo, una nota cercana a 1, digamos 0,89 calificaba el comentario para su eliminación, mientras que una evaluación por debajo de 0,5 calificaba la acotación como buena.

Como ya los comentarios tenían una evaluación previa, realizada por humanos, el sistema fue ajustado para garantizar una tasa de falsos positivos del 1%. La buena noticia es que a medida que se evalúan decenas de millones de comentarios cada día, el sistema aprende más y su confiabilidad aumenta.

El filtro ha funcionado bien hasta ahora, con la ventaja añadida de que muchos usuarios –dentro de los que trabajan con Instagram en inglés—no se han dado cuenta de que el filtro existe, mientras que el autor de la ofensa sí se da cuenta de que fue censurado.

En los próximos meses, esta red social que es propiedad de Facebook, anunciará la disponibilidad de DeepText para otros idiomas.