Portal de Periódicos da CAPES

Do Machines Replicate Humans? Toward a Unified Understanding of Radicalizing Content on the Open Social Web

2019; Wiley; Volume: 12; Issue: 1 Linguagem: Espanhol

10.1002/poi3.223

1944-2866

Margeret Hall, Michael K. Logan, Gina Scott Ligon, Douglas C. Derrick,

Misinformation and Its Impacts

The advent of the Internet inadvertently augmented the functioning and success of violent extremist organizations. Terrorist organizations like the Islamic State in Iraq and Syria (ISIS) use the Internet to project their message to a global audience. The majority of research and practice on web-based terrorist propaganda uses human coders to classify content, raising serious concerns such as burnout, mental stress, and reliability of the coded data. More recently, technology platforms and researchers have started to examine the online content using automated classification procedures. However, there are questions about the robustness of automated procedures, given insufficient research comparing and contextualizing the difference between human and machine coding. This article compares output of three text analytics packages with that of human coders on a sample of one hundred nonindexed web pages associated with ISIS. We find that prevalent topics (e.g., holy war) are accurately detected by the three packages whereas nuanced concepts (Lone Wolf attacks) are generally missed. Our findings suggest that naïve approaches of standard applications do not approximate human understanding, and therefore consumption, of radicalizing content. Before radicalizing content can be automatically detected, we need a closer approximation to human understanding.互联网的出现增强了暴力极端主义机构的成功运作。伊斯兰国（ISIS）等恐怖主义机构利用互联网将其企图传递的信息投射给全球受众。针对网络恐怖主义宣传的大多数研究和实践都使用人工编码员来对内容进行分类，这引起了有关工作倦怠、精神压力、编码数据可信度的严重忧虑。近期，技术平台和研究者已开始使用自动分类程序来检验网络内容。然而，考虑到有关将人工编码和机器编码进行比较、以及将二者的不同之处放入情境中加以理解的研究并不充足，自动程序的健全性存在疑问。针对一项包含100个与ISIS相关的非索引网页的样本，本文比较了三种文本分析程序和人工编码分别得出的结果。作者发现，三种程序精确地识别出了普遍话题（例如圣战等），然而却基本没有识别出微妙的概念（孤狼恐怖袭击）。研究结果表明，标准化程序这一简单措施无法赶上人类思维理解，因此也无法处理极端化内容。在极端化内容能被自动检测出之前，（自动程序）需要更接近人类思维理解。.La llegada de Internet ha aumentado, sin darse cuenta, el funcionamiento y el éxito de las organizaciones extremistas violentas. Las organizaciones terroristas como el Estado Islámico de Irak y Siria (EI) utilizan el Internet para proyectar sus mensajes a una audiencia mundial. La mayoría de las investigaciones y prácticas sobre propaganda terrorista basada en la web utilizan codificadores humanos para clasificar el contenido, lo que plantea serias preocupaciones como el agotamiento, el estrés mental y la confiabilidad de los datos codificados. Más recientemente, las plataformas de tecnología y los investigadores han empezado a examinar el contenido en línea a través del uso de procedimientos de clasificación automatizadas. Sin embargo, hay preguntas acerca de qué tan robustos son los procedimientos automáticos, dada la insuficiente investigación que compare y contextualice la diferencia entre la codificación humana y la automática. Este artículo compara el resultado de tres paquetes de análisis de texto con el de los codificadores humanos en una muestra de 100 páginas web no indexadas asociadas con ISIS. Hallamos que los temas prevalentes (por ejemplo: guerra santa) son exitosamente detectados por los tres paquetes, mientras que los conceptos más matizados (ataques de lobo solitario) no lo son. Nuestros hallazgos sugieren que los métodos ingenuos de aplicaciones estándar no se acercan a la comprensión humana, y por ende al consumo, del contenido radicalizador. Antes de que el contenido radicalizador pueda ser detectado automáticamente, necesitamos una aproximación más cercana a la comprensión humana.