¿Pueden los humanos detectar texto usando AI Chatbot GPT?

Geralt/Pixabay

El surgimiento del poderoso lenguaje hablado Inteligencia artificial Los chatbots (IA) como el Transformador preentrenado generativo (GPT) de OpenAI refuerzan la necesidad de distinguir el texto real del texto falso. Nuevo revisado estudiar evalúa qué tan bien los humanos pueden detectar el texto generado por el chatbot GPT OpenAI utilizando escenarios más realistas que la investigación existente.

En febrero de 2023, investigadores de la Facultad de Ingeniería y Ciencias Aplicadas de la Universidad de Pensilvania presentaron su investigación en 37^mil Asociación para la promoción de los artificiales. Inteligencia conferencias

«neural los modelos de lenguaje (LM) son capaces de generar texto con un sonido cada vez más natural», escribió el autor principal Chris Callison-Burch, profesor asociado de informática y ciencias de la información (CIS), con un equipo que incluye a Liam Dugan, Daphne Ippolito, Arun Kirubarajan y Sherry Ella a. «Existe una creciente preocupación de que los atacantes puedan intentar pasar el texto generado automáticamente como genuino».

Los investigadores señalan el riesgo de fraude potencial y la difusión de información errónea a través de artículos de noticias falsos generados por inteligencia artificial y reseñas fraudulentas de productos y servicios.

«Este daño inevitablemente se volverá más común a medida que los modelos de lenguaje sean mejores y más baratos de implementar», escribieron los investigadores.

Los educadores, estudiantes y profesionales utilizan cada vez más texto generado por IA a partir de modelos de lenguaje extenso (LLM).

Un nuevo estudio publicado el miércoles por Walton Family Foundation encontró que la mayoría de los maestros y muchos estudiantes ya están usando ChatGPT. Una encuesta de marzo de 2023 de maestros de K-12 y estudiantes de 12 a 17 años encontró que el 51 por ciento de los maestros informaron usar ChatGPT y el 33 por ciento de los estudiantes ya lo usaban en la escuela.

Los profesionales están comenzando a usar ChatGPT para el trabajo. Una encuesta de enero de 2023 a 4500 profesionales realizada por Fishbowl, un red social para profesionales, que Glassdoor adquirió en 2021, muestra que el 27 por ciento ya usa ChatGPT para ayudar con las tareas laborales y mejorar adopción tarifas en marketing, publicidady sectores tecnológicos. Los entrevistados incluyen profesionales que trabajan en Google, Twitter, Amazon, Meta, IBM, Edelman, McKinsey, JP Morgan, Nike y miles de otras empresas.

«A medida que prolifera el texto producido por grandes modelos de lenguaje, se vuelve vital comprender cómo las personas interactúan con dicho texto y si pueden saber cuándo el texto que están leyendo no proviene de un escritor humano», escriben los investigadores.

Un nuevo estudio prueba la capacidad humana para reconocer texto de IA

Para responder a esta pregunta, el equipo adoptó un enfoque único. En lugar de probar si los humanos podían detectar si un pasaje completo fue generado por la IA de aprendizaje automático, los investigadores adoptaron un enfoque más matizado. Más de 240 participantes del estudio eran estudiantes de último año o graduados que tomaban un curso de IA en Universidad de Pennsylvania.

«En este artículo, estudiamos un entorno más realista en el que el texto comienza escrito por un ser humano y continúa con la generación utilizando modelos de lenguaje neuronal de última generación», dijeron los científicos.

Para lograr la detección del punto de transición, los investigadores buscaron medir la capacidad humana en una tarea de detección de límites en lugar de una clasificación. De esta forma, los investigadores podrían evaluar simultáneamente el desempeño de diferentes sistemas generativos, así como cuantificar los riesgos del modelo de IA.

Los científicos recolectaron anotaciones humanas usando techo (Texto real o falso), una herramienta creada por Dugan, Ippolito, Kirubarajan y Birch para medir la detección humana de IA texto que fue presentado en Actas de la Conferencia de 2020 sobre procesamiento empírico del lenguaje natural: demostraciones sistemáticas. RoFT está diseñado como un juego en el que a los jugadores se les muestra una oración a la vez y ganan puntos por adivinar cuándo el texto fue creado por una máquina en lugar de escrito por un humano, luego eligen una razón por la que tomaron esa decisión.

RoFT utiliza datos de 1,8 millones de artículos publicados New York Times durante 1987-2007, 963 discursos de los presidentes de los Estados Unidos entre 1789 y 2015, historias cortas de Reddit Writing Prompts y recetas del conjunto de datos Recipe1M+, y los modelos de aprendizaje automático GPT2, GPT2-XL y CTRL AI.

«Además de proporcionar datos valiosos para el análisis de detectabilidad, nuestro estudio es el primer intento a gran escala de utilizar una plataforma gamificada para el análisis de detectabilidad del texto generado», escriben los investigadores.

En más de 7800 rondas de juego diferentes, los científicos recopilaron más de 42 000 anotaciones, que luego se filtraron para crear un conjunto de datos final que consta de más de 21 000 anotaciones y 7000 extensiones.

«Descubrimos que los jugadores se desempeñaron significativamente mejor que el azar en la tarea de detección de límites, seleccionando la oración límite correctamente el 23,4 por ciento de las veces (la probabilidad fue del 10 por ciento)”, informaron los investigadores. «Para rondas con al menos una oración generada, los jugadores eligieron la oración generada como oración límite el 72.3 por ciento de las veces».

Los investigadores han encontrado que hay una gran diferencia en el nivel de habilidad de los jugadores y esta precisión se puede aumentar con el tiempo con instrucciones adicionales y créditos adicionales proporcionales a su desempeño en el juego. Leer el manual de referencia, que contenía sugerencias y ejemplos, era la función más predecible para el anotador.

«Demostramos que, aunque los anotadores a menudo luchan con esta tarea, existe una variación considerable en las habilidades de los anotadores y que, con los incentivos adecuados, los anotadores pueden mejorar esta tarea con el tiempo», concluyeron los investigadores.

Copyright © 2023 Cami Rosso. Reservados todos los derechos.