Saltar al contenido

Un bot de pánico golpea a Amazon Mechanical Turk

julio 2, 2021


A medida que más investigadores usaron MTurk, también descubrieron formas de mitigar muchas de estas preocupaciones. Ipeirotis tiene encontrado que la población de Turker es tan representativa como los estudiantes universitarios para las poblaciones de encuestas, y los datos podrían ser tan confiables siempre que las personas tomen las precauciones adecuadas al diseñar sus estudios. En cuanto al trabajo de bots, los expertos dicen que los investigadores pueden evitar problemas configurando sus encuestas con parámetros estrictos y diseñando tareas que son difíciles de automatizar.

“La mayoría de la gente es, a estas alturas, lo suficientemente inteligente como para lidiar con el ruido que proviene de los trabajadores que no prestan atención o de los bots”, dice Ipeirotis. En particular, Bai y muchos de los investigadores que informaron un aumento en los datos incorrectos este verano estaban usando Captcha y controles de atención, como aconsejan los expertos, aunque Miele y algunos investigadores del grupo de Facebook sugieren que tal vez sus calificaciones de los participantes podrían haber sido más sólidas.

Kathryn Johnson, profesora de psicología en la Universidad Estatal de Arizona, pasó la semana pasada revisando sus datos para ver si lo que Bai informó en su blog era cierto para su investigación. «Por lo general, tengo un estudio de MTurker al mes», dice.

Encontró las mismas dos cosas preocupantes en sus estudios más recientes de MTurk: ubicaciones GPS repetidas y respuestas sin sentido a preguntas abiertas. Pero los datos de ubicación, ya sea una dirección IP o GPS, no son por sí mismos un indicador confiable de comportamiento fraudulento, dijeron a WIRED cuatro expertos en bots y MTurk diferentes. Entonces, si eso es lo único sospechoso que los investigadores ven en sus resultados, no deberían preocuparse.

Las respuestas sin sentido son más significativas. Un grupo de investigadores le dijo a Bai que habían repetido casos de encuestados que respondían «agradable» o «bueno» a preguntas abiertas para las que esas palabras no tenían sentido.

«Hay extensiones de navegador que llenan formularios con respuestas aleatorias, así que estoy seguro de que algunas [what they are seeing] es esto ”, dice LaPlante, pero se apresura a notar que también podrían ser personas que no responden las encuestas con cuidado. Las malas respuestas repetidas podrían ser que los turcos copien y peguen rápidamente para que puedan completar más encuestas y ganar más dinero. También podría significar que personas con escasos conocimientos de inglés están respondiendo las encuestas, señala Miele.

Pero, ¿qué tan grande es el problema de los bots?

Aunque Amazon explícitamente no permite a los bots que completen trabajos en Mechanical Turk, la compañía no es muy comunicativa sobre el gran problema que tienen en la plataforma. Quizás sea porque no han necesitado serlo. A diferencia de Twitter, que a la luz de sus conocidas infestaciones de bots ha tenido que expresar su opinión sobre su expulsión, la posibilidad de bots en MTurk sorprendió a muchas personas como noticia esta semana.

Amazon también dificulta un poco la configuración de cuentas múltiples o falsas, al requerir que los trabajadores proporcionen información fiscal válida. Pero eso no impide que una persona verificada complemente su propio trabajo MTurk con un sistema automatizado. Sería mucho más fácil configurar un script en su cuenta para completar un montón de trabajos mientras duerme o va a su otro trabajo, por ejemplo.

“Cuando la mayoría de nosotros pensamos en bots, pensamos en grandes redes de delincuentes, pero un bot es solo una herramienta de automatización. Una persona podría usarlo para decir, en lugar de que yo gane $ 5 al día en Amazon Turk, lo usaré para ganar $ 20 al día. No es necesariamente nefasto o maligno, pero hay un área gris ”, dice Reid Tatoris, vicepresidente de promoción y marketing de productos en Distil Networks, que detecta y protege a los clientes de ataques automatizados y bots. «Pero definitivamente no está en cumplimiento», agregó.

En respuesta a las preocupaciones sobre los bots de esta semana, un representante de Amazon le dijo a WIRED que la compañía suspende o despide a cualquier persona que se encuentre completando tareas de MTurk por medios automatizados. “Tenemos mecanismos tanto automatizados como manuales para detectar el fraude y el uso indebido del servicio por parte de los bots, y siempre estamos mejorando estos mecanismos a medida que descubrimos nuevas formas de abuso”, dijo el representante.

Amazon no dijo si ha habido un aumento en el comportamiento automatizado en MTurk recientemente, ni la compañía discutirá ejemplos específicos de bots o cuentas.



Source link

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *