¿Son confiables los detectores de textos IA? Vivimos en una era en la que la tecnología ha crecido a pasos agigantados y en donde la Inteligencia Artificial (IA) ha logrado un gran protagonismo. No en vano ya muchos la llaman “la era de la IA”. El impacto que han tenido los modelos de lenguaje como ChatGPT y BERT ha sido inmenso, con la creación de nuevas herramientas basadas en esta tecnología.
Una de estas herramientas son los detectores de textos IA, creados bajo la misma tecnología que quieren detectar y para cubrir una necesidad que se está convirtiendo en un gran problema: diferenciar los textos creados por humanos de los creados por IA. Pero… ¿qué tan eficientes son?
ChatGPT y los detectores de textos IA
Sabemos que los famosos chats de IA son muy convenientes para muchas tareas. Te pueden ayudar a investigar el tema que prefieras, generar contenido de acuerdo a las preguntas hechas e incluso te permiten programar. Sin embargo, hay ocasiones en las que el uso de la IA no parece ser conveniente.
Por ejemplo, en el sector educativo existe la preocupación de que se estén entregando trabajos creados por IA. Y algo parecido está pasando en el sector de la redacción y creación de textos. Por ello es necesario saber diferenciar cuándo un texto es generado por IA y cuando es generado por humanos.
ChatGPT desarrollado por OpenAI es capaz de generar contenido similar al creado por humanos. Sin embargo, estos textos tienen ligeras diferencias que pueden permitir distinguirlo. Por ejemplo:
- Puede dar respuestas incorrectas.
- Algunas de estas respuestas pueden ser poco relevantes.
- En algunos casos es poco coherente o de escasa profundidad.
- Tiene limitaciones en cuanto a la información actualizada.
- Algunas veces ofrece expresiones fuera de contexto.
Además, muchas veces sus textos son planos y carentes de emoción y esto puede ser detectado por un humano. En este contexto comenzaron a salir a la luz algunas herramientas que prometen la detección de contenido IA. Incluso una de ellas ha sido potenciada por la misma empresa OpenAI, consciente del problema que ha generado la masificación de esta tecnología.
¿Qué tan fiables son los detectores de textos IA?
Aunque algunas de estas herramientas son más precisas que otras, ninguna es 100% infalible. Se han hecho estudios y pruebas en diferentes idiomas, los cuales han arrojado mayor precisión en la detección de textos en inglés.
Hay que recordar que todas estas herramientas basadas en tecnología IA están hechas originalmente en idioma inglés. Su procesamiento de datos y la generación de contenido es en inglés y luego este contenido es traducido al idioma de la pregunta de forma automática. Es lógico pensar que los patrones de escritura de una IA sean más fáciles de detectar en este idioma que en cualquier otro.
Compilatio publicó un estudio llevado a cabo por ellos mismos en donde su propia herramienta obtiene un 89,6 % de confiabilidad en la diferenciación de textos IA y humanos en idioma inglés. Este estudio está basado en el análisis de 125 textos en inglés de no más de 2500 caracteres.
Aunque parece un muy buen número, esto significa que la mejor de estas herramientas aún mantiene un error de más del 10 % para reconocer contenidos en inglés. Es de suponer que este porcentaje de error aumente con el cambio de idioma.
Además, existe cierto riesgo de sesgo debido a que el estudio fue realizado por la misma empresa. Para salir de dudas, hemos hecho nuestras propias pruebas con algunas de estas herramientas en idioma español, incluyendo a Compilatio. Veamos.
Primera prueba: Identificación de un texto creado por humanos
Para nuestra primera prueba hemos seleccionado un texto de nuestro propio blog: Conoce mi mundo como madre de un niño con autismo. Las herramientas que probaremos son las siguientes:
- Copyleaks AI detector.
- GLTR.
- GPTZero.
- Compilatio.
Sabemos que aún estos detectores de textos IA no son del todo precisos, sin embargo, queremos evaluar su comportamiento con el mismo texto.
1. Content At Scale AI detector
Para usar Content At Scale AI detector basta con colocar el texto a analizar en la herramienta y darle clic al botón “Buscar contenido con IA”. El contenido puede tener entre 200 y 25.000 caracteres. El texto que queremos analizar tiene un poco más de 2.000 palabras, así que podremos analizar todo el contenido íntegramente.
La herramienta nos indica que el texto analizado tiene un 100 % de probabilidad de que haya sido generado por humanos. Ha detectado bien.
2. Copyleaks AI detector
Copyleaks AI detector tiene el mismo procedimiento para utilizar la plataforma. Solo debes copiar y pegar el texto que quieres analizar y darle clic al botón “Check”. Este sitio no indica límites de palabras o caracteres para realizar el análisis así que copiamos y pegamos todo el texto.
Como nos muestra la imagen, el detector indica que el texto tiene un 98,3 % de probabilidades de haber sido creado por una IA. Grave error.
3. GLTR
GLTR son las siglas de “Giant Language model Test Room” y basa su análisis en la “predicción de la palabra siguiente” para verificar si el texto fue creado o no por IA. Asigna una escala de colores a cada palabra donde el verde indica palabras generadas por IA y el naranja y morado son palabras generadas por humanos.
Para usar la herramienta solo debes copiar y pegar el texto a verificar y darle clic al botón “Analizar”.
Como nos muestra el histograma, la herramienta indica que la mayor parte del texto tiene una alta probabilidad de haber sido generada por IA. Significa que también erró en la detección.
4. GPTZero
GPTZero tiene la fama de ser uno de los detectores de textos IA con más usuarios en el mundo. La mecánica para usar esta plataforma es muy parecida a las anteriores herramientas; copia y pega el texto seleccionado para analizar, aceptas los “Términos del servicio” y dale clic al botón “Get Results”.
La plataforma no indica límites en cuanto a la cantidad de palabras, así que copiamos y pegamos todo el texto. Rápidamente nos ha mostrado un mensaje donde indica que el texto ha sido escrito por un humano. Más abajo nos muestra una puntuación que indica el grado de perplejidad o aleatoriedad del texto. Acertó en la detección.
5. Compilatio
Compilatio tiene un límite máximo de 2000 caracteres por análisis, sin embargo, puedes usar la herramienta las veces que quieras. Usamos la plataforma con los primeros 6000 caracteres de nuestro texto en 3 análisis separados. Solo colocamos la cantidad de palabras aproximada para 2000 caracteres y le damos clic al botón “Start detection”
Los resultados ofrecidos por la plataforma indicaban que el texto es creado por humanos en un 97 %, 77 % y 98 % de fiabilidad respectivamente. Acertó en la detección.
Resumen de pruebas con texto creado por humanos
De las 5 plataformas utilizadas, 3 nos indicaron que el texto es hecho por humano mientras que las otras 2 indicaron que el contenido era de IA.
- Content At Scale AI detector. ✅
- Copyleaks AI detector. ❌
- GLTR. ❌
- GPTZero. ✅
- Compilatio. ✅
Ahora pasamos a realizar las mismas pruebas en todos estos detectores de textos IA, pero con un texto creado por inteligencia artificial.
Segunda prueba: Identificación de un texto creado por IA
Para esta prueba usaremos un texto generado por ChatGPT que hemos solicitado de forma aleatoria y la hemos publicado en Google Sites. Lo puedes ver en el siguiente enlace: https://sites.google.com/view/lideresymarcas/inicio.
Usaremos este contenido en cada uno de los detectores de textos IA para comprobar si son capaces de identificarlo correctamente.
1. Content At Scale AI detector
Al ser un contenido corto de un poco más de 250 palabras, no hay problema en usarlo todo en esta plataforma. Agregamos el texto y le dimos clic a “Buscar contenido con IA”. El resultado es el siguiente.
La herramienta nos indica que el texto analizado tiene un 100 % de probabilidad de que haya sido generado por humanos, siendo generado por IA. Falló en la detección.
2. Copyleaks AI detector
Usamos Copyleaks AI detector con el texto IA y esto fue lo que arrojó:
Como nos muestra la imagen, el detector indica que el texto tiene un 99,9 % de probabilidades de ser creado por una IA. Pero el texto humano también lo identificó como IA. Aunque en esta prueba acertó, falló en la anterior.
3. GLTR
En el turno de probar GLTR, la plataforma presenta el siguiente resultado:
Como nos muestra el histograma, la herramienta indica que la mayor parte del texto tiene una alta probabilidad de haber sido generada por IA. Sin embargo, esta herramienta también identificó como IA al texto humano. Acertó esta prueba, pero falló la anterior.
4. GPTZero
Ahora probaremos GPTZero con el texto IA. Cargamos el texto y le damos clic a “Get results”. Este es el resultado:
La plataforma nos ha mostrado un mensaje donde indica que el texto ha sido escrito por un humano. Otro error. Aunque en la primera prueba estuvo acertada, en esta falló.
5. Compilatio
Con Compilatio hacemos el mismo procedimiento y este es el resultado:
La plataforma indica que el texto se creó por IA con un 98 % de fiabilidad, acertando en las dos pruebas.
Resumen de pruebas con texto creado por IA de detectores de textos IA
De los 5 detectores de textos IA utilizados, 3 nos indicaron que el texto se hizo con IA mientras que los otros 2 indicaron que el contenido era de humanos.
- Content At Scale AI detector. ❌
- Copyleaks AI detector. ✅
- GLTR. ✅
- GPTZero. ❌
- Compilatio. ✅
De las 5 plataformas probadas, solo Compilatio pudo detectar correctamente tanto el texto humano como el texto IA. Y aunque sabemos que es una prueba muy corta para comprobar su precisión, ya tenemos una base de confianza para seguir analizando a la herramienta que detectó correctamente los dos textos.
Considerando esta prueba y las pruebas realizadas por la misma Compilatio a las que hicimos referencia inicialmente, podemos seleccionar esta herramienta para seguir realizando comprobaciones.
Más pruebas realizadas a Compilatio
Ahora profundizaremos las pruebas a Compilatio. Evaluaremos la herramienta con 5 textos generados por IA y 5 textos generados por humanos. Comenzaremos con los textos IA, puedes ver el texto en el link y el resultado de la prueba en la imagen:
- https://sites.google.com/view/etiquetasia/inicio: 83 % IA. ✅
- https://sites.google.com/view/dosmadrid/inicio: 98 % IA. ✅
La herramienta acertó en todas las pruebas realizadas con textos IA. Incluso indicando en varias de ellas una probabilidad de un 99 %.
Ahora probaremos con 5 textos humanos:
- https://www.amazon.com/Antolog%C3%ADa-coraz%C3%B3n-Spanish-Mibelis-Ramos-ebook/dp/B09TMHV6JZ: 99 % humano. ✅
- https://redactoresalfa.com/2021/02/25/como-postularte-para-trabajar-en-redactores-alfa/: 99 % humano. ✅
- Comentario en artículo https://redactoresalfa.com/2021/02/25/como-postularte-para-trabajar-en-redactores-alfa/: 99 % humano. ✅
- Otro comentario en el post https://redactoresalfa.com/2021/02/25/como-postularte-para-trabajar-en-redactores-alfa/: 99 % humano. ✅
- https://redactoresalfa.com/2020/11/11/bienvenidos-a-nuestro-equipo-nuevos-redactores-alfa/: 98 % humano. ✅
La herramienta acertó en todas las pruebas realizadas con textos humanos. Incluso indicando en la mayoría de ellas una probabilidad de un 99 %.
Análisis final de uno de los mejores detectores de textos IA
De los 10 textos analizados por Compilatio, acertó en los 10 con una probabilidad de 99 % en la mayoría de las pruebas. Como ya lo mencionamos en el inicio del post, estos detectores de textos IA no son del todo infalibles, pero pueden servir para detectar un comportamiento marcado o una tendencia en varios textos analizados.
Compilatio indica en su propio sitio web que esta no es la versión final de su servicio y que estará actualizándose para ofrecer mejores resultados. Incluso consideran que podrán detectar partes escritas por IA en un texto creado de forma mezclada, algo difícil de lograr por los momentos pero que ya sabemos que están trabajando en ello.
Cómo usamos estas herramientas en Redactores Alfa
En Redactores Alfa contamos con un equipo multidisciplinario de más de 80 profesionales que redactan para nosotros. Ofrecer al cliente un producto 100% confiable, original y humano es prioridad.
Sabemos que Google penaliza los sitios con contenidos de relleno o creados con IA. Una vez perdido el posicionamiento por dichas razones, todo habrá acabado. Nunca arriesgaríamos la web de uno de nuestros clientes con contenidos que no sea de la más alta calidad.
Por años, este ha sido nuestro sello distintivo y nos esforzamos cada día porque lo siga siendo. Es por ello que cada uno de nuestros trabajos pasan por un proceso de control de calidad en el que correctores experimentados verifican que el texto sea:
- Original. (El texto se revisa con herramientas fiables de antiplagio).
- Humano. (Verificamos los textos con Compilatio).*
- Correcto. (Usamos fuentes confiables y verificables en nuestra investigación).
- Atractivo y persuasivo. (Nuestros redactores tienen verdadera vocación y son artistas de la palabra).
- Con SEO. (si se requiere).
- Relevante. (Evitamos a toda costa el contenido de relleno o sin relevancia).
Conclusiones
En definitiva, las herramientas de detección de contenido IA llegaron para resolver ese gran problema de la diferenciación de textos entre IA y humano. Y aunque algunas de ellas presentan una notable fiabilidad, puede que aún no sean tan precisas como quisiéramos. LO cierto, es que sí han arrojado gran luz y sirven de guía práctica y bastante confiable.
Es muy cierto que la evolución de la inteligencia artificial ha permitido que las máquinas aprendan a escribir de manera cada vez más sofisticada y natural, pero todavía existen limitaciones en cuanto a la transmisión de emociones, opiniones y matices. Además, la IA tiene dificultades para entender las sutilezas y los matices de la comunicación humana, y no puede utilizar la intuición y la experiencia humana para inferir el significado de un texto. Aunque un texto creado por un ser humano pueda parecer generado por una IA, todavía hay una gran diferencia entre el lenguaje humano y el generado por una máquina.
Estas herramientas han demostrado ser sumamente útiles para identificar patrones y tendencias en grandes cantidades de texto, aunque deben usarse teniendo en cuenta sus limitaciones. Todavía hay mucho camino por recorrer; camino por el que se necesitará seguir adaptando estas herramientas a las nuevas tecnologías y a los nuevos requerimientos. Sin embargo, no dudamos, que las metas de estos creadores de detectores de IA tendrán un éxito completo… en breve.
Preguntas frecuentes acerca de detectores de textos IA
Un detector de textos IA es un programa capaz de diferenciar si un contenido se creó por un humano o se generó con cualquiera de las herramientas IA de la actualidad. En este post hemos probado 5 de ellas.
Puedes usar alguna de las herramientas de detección utilizadas en nuestras pruebas. Compilatio es la que mejores resultados ha ofrecido.
Algunas detectores de IA son más confiables que otros. El que ha mostrado mayor fiabilidad hasta la fecha es Compilatio con un nivel cercano al 89 %.
Entendemos que la herramienta no es 100% infalible, pero por ser la mejor herramienta hasta ahora probada, nos permite identificar cualquier comportamiento marcado o una tendencia en cualquiera de nuestros redactores y actuar a la brevedad. Y es que aquí pesan mucho las probabilidades y entendemos que, si un profesional recurrentemente presenta contenidos como sugeridos con IA, hay algo a corregir.
Por Diego Díaz
Un comentario
Simply desire to say your article is as surprising The clearness in your post is simply excellent and i could assume you are an expert on this subject Fine with your permission let me to grab your feed to keep up to date with forthcoming post Thanks a million and please carry on the gratifying work