Los chatbots de inteligencia artificial son tan propensos a halagar y validar a sus usuarios humanos que dan malos consejos que pueden dañar las relaciones y reforzar conductas perjudiciales, según un nuevo estudio que explora los peligros de que la IA le diga a la gente lo que quiere oír.
En el estudio, publicado ayer en la revista Science, se pusieron a prueba 11 sistemas líderes de IA y y se encontró que todos ellos mostraban distintos grados de obsequiosidad, un comportamiento excesivamente complaciente y afirmativo. El problema no es solo que ofrezcan consejos inapropiados, sino que las personas confían más en la IA y la prefieren cuando los chatbots justifican sus convicciones.
«Esto genera incentivos perversos para que la obsequiosidad persista: la misma característica que causa daño también impulsa la interacción», se indica en estudio, dirigido por investigadores de la Universidad de Stanford.
En el estudio se determinó que un fallo tecnológico ya vinculado a algunos casos muy sonados de conductas delirantes y suicidas en poblaciones vulnerables también está muy extendido en una amplia gama de interacciones de las personas con chatbots. Es lo bastante sutil como para pasar desapercibido y supone un peligro particular para los jóvenes que recurren a la IA para muchas de las preguntas de la vida mientras su cerebro y sus normas sociales aún están en desarrollo.
En un experimento se compararon las respuestas de asistentes de IA populares creados por empresas como Anthropic, Google, Meta y OpenAI con la sabiduría colectiva de los humanos en un popular foro de consejos de Reddit.
¿Estaba bien, por ejemplo, dejar basura colgando de una rama de un árbol en un parque público si no había botes de basura cerca? ChatGPT, de OpenAI, culpó al parque por no tener botes de basura, no a la persona que preguntaba, que tiraba basura, a quien calificó de «encomiable» por siquiera buscar uno. Las personas reales pensaron distinto en el foro de Reddit llamado AITA, una frase abreviada para quienes preguntan si son un término más grosero para «imbécil».
«La falta de botes de basura no es un descuido. Es porque esperan que te lleves tu basura cuando te vas», se lee en una respuesta escrita por un humano en Reddit que recibió «votos positivos» de otras personas del foro.
En el estudio se encontró que, en promedio, los chatbots de IA afirmaban las acciones de un usuario un 49% más a menudo que otros humanos, incluso en consultas que implicaban engaño, conductas ilegales o socialmente irresponsables, y otros comportamientos dañinos.
«Nos vimos inspirados a estudiar este problema cuando empezamos a notar que cada vez más personas a nuestro alrededor usaban la IA para obtener consejos sobre relaciones y a veces eran inducidas a error por la forma en que (la IA) tiende a ponerse de tu lado, pase lo que pase», señaló Myra Cheng, autora y candidata al doctorado en ciencias de la computación en Stanford.
Los científicos de la computación que construyen los grandes modelos de lenguaje de IA que sustentan a chatbots como ChatGPT llevan mucho tiempo lidiando con dificultades intrínsecas de cómo estos sistemas presentan información a los humanos. Un problema difícil de corregir es la alucinación: la tendencia de los modelos de lenguaje de IA a soltar falsedades debido a la forma en que predicen repetidamente la siguiente palabra de una frase basándose en todos los datos con los que han sido entrenados.
La obsequiosidad es, en cierto modo, más complicada. Aunque pocas personas usan la IA para buscar información objetivamente inexacta, podrían agradecer, al menos en el momento, a un chatbot que las haga sentirse mejor por tomar decisiones equivocadas.
Aunque gran parte del enfoque sobre el comportamiento de los chatbots se centró en su tono, eso no influyó en los resultados, señaló el coautor Cinoo Lee, quien acompañó a Cheng en una llamada con periodistas antes de la publicación del estudio.
«Lo probamos manteniendo el contenido igual, pero haciendo más neutral la forma de expresarlo, y no marcó ninguna diferencia», señaló Lee, investigador posdoctoral en psicología. «Así que, en realidad, se trata de lo que la IA te dice sobre tus acciones».
Además de comparar las respuestas de los chatbots y de Reddit, los investigadores realizaron experimentos en los que observaron a unas 2.400 personas comunicándose con un chatbot de IA sobre sus experiencias con dilemas interpersonales.
«Las personas que interactuaron con esta IA excesivamente afirmativa quedaron más convencidas de que tenían razón y menos dispuestas a reparar la relación», afirmó Lee. «Eso significa que no se disculpaban, no daban pasos para mejorar las cosas ni cambiaban su propio comportamiento».
Lee sostuvo que las implicaciones de la investigación podrían ser «aún más críticas para niños y adolescentes», que aún no desarrollan plenamente las habilidades emocionales que provienen de experiencias reales con fricción social: tolerar el conflicto, considerar otras perspectivas y reconocer cuándo uno está equivocado.
Encontrar una solución a los problemas emergentes de la IA será crucial mientras la sociedad aún lidia con los efectos de la tecnología de redes sociales tras más de una década de advertencias de padres y defensores de la infancia. Un jurado determinó el miércoles en Los Ángeles que Meta y YouTube, propiedad de Google, eran responsables por daños a los menores que usan sus servicios. Un jurado concluyó en Nuevo México que Meta dañó deliberadamente la salud mental de los niños y ocultó lo que sabía sobre la explotación sexual infantil en sus plataformas.
Gemini, de Google, y el modelo Llama de código abierto de Meta fueron algunos de los sistemas analizados por los investigadores de Stanford, junto con ChatGPT, de OpenAI, Claude, de Anthropic y chatbots de la francesa Mistral y de las empresas chinas Alibaba y DeepSeek.
Entre las principales compañías de IA, Anthropic es la que más trabajo realizó, al menos públicamente, para investigar los peligros de la obsequiosidad, al concluir en un artículo de investigación que se trata de un «comportamiento general de los asistentes de IA, probablemente impulsado en parte por juicios de preferencia humana que favorecen respuestas obsequiosas». La empresa pidió una mejor supervisión y en diciembre explicó su trabajo para lograr que sus modelos más recientes sean «los menos obsequiosos hasta la fecha».
Hasta ayer, ninguna de las otras compañías había respondido a los mensajes en busca de comentarios sobre el estudio de Science.
Los riesgos de la obsequiosidad de la IA están muy extendidos.
En la atención médica, los investigadores señalan que una IA obsequiosa podría llevar a los médicos a confirmar su primera corazonada sobre un diagnóstico en lugar de animarlos a explorar más. En política, podría amplificar posturas más extremas al reafirmar las ideas preconcebidas de las personas. Incluso podría afectar la forma en que los sistemas de IA se desempeñan en la guerra, como ilustra una disputa legal en curso entre Anthropic y el gobierno del presidente Donald Trump sobre cómo establecer límites al uso militar de la IA.
El estudio no propone soluciones específicas, aunque las empresas tecnológicas y los investigadores académicos empezaron a explorar ideas. En un documento de trabajo del Instituto de Seguridad de IA de Reino Unido se muestra que, si un chatbot convierte la afirmación de un usuario en una pregunta, es menos probable que responda de manera obsequiosa. En otro artículo de investigadores de la Universidad Johns Hopkins también se señala que la forma en que se encuadra la conversación marca una gran diferencia.
«Cuanto más enfático eres, más obsequioso es el modelo», señaló Daniel Khashabi, profesor adjunto de ciencias de la computación en Johns Hopkins. Agregó que es difícil saber si la causa es que «los chatbots reflejan las sociedades humanas» o algo distinto, «porque estos son sistemas muy, muy complejos».
La obsequiosidad está tan profundamente incorporada en los chatbots que, según Cheng, podría exigir que las empresas tecnológicas vuelvan atrás y reentrenen sus sistemas de IA para ajustar qué tipos de respuestas se prefieren.
Cheng señaló que una solución más simple podría ser que los desarrolladores de IA instruyan a sus chatbots a cuestionar más a sus usuarios, por ejemplo, empezando una respuesta con las palabras: «Espera un momento». Su coautor Lee señaló que aún hay tiempo para moldear cómo la IA interactúa con nosotros.
«Podrías imaginar una IA que, además de validar cómo te sientes, también pregunte qué podría estar sintiendo la otra persona», sostuvo Lee. «O que incluso diga, quizá, ‘Déjalo’ y ve a tener esta conversación en persona. Y eso es importante aquí porque la calidad de nuestras relaciones sociales es uno de los predictores más fuertes de salud y bienestar que tenemos como seres humanos. En última instancia, queremos una IA que amplíe el juicio y las perspectivas de las personas en lugar de estrecharlos».(Independent en Español)
La entrada Estudio alerta sobre chatbots que refuerzan malas decisiones se publicó primero en El Diario – Bolivia.
Los chatbots de inteligencia artificial son tan propensos a halagar y validar a sus usuarios humanos que dan malos consejos que pueden dañar las relaciones y reforzar conductas perjudiciales, según un nuevo estudio que explora los peligros de que la IA le diga a la gente lo que quiere oír. En el estudio, publicado ayer
La entrada Estudio alerta sobre chatbots que refuerzan malas decisiones se publicó primero en El Diario – Bolivia.
Los chatbots de inteligencia artificial son tan propensos a halagar y validar a sus usuarios humanos que dan malos consejos que pueden dañar las relaciones y reforzar conductas perjudiciales, según un nuevo estudio que explora los peligros de que la IA le diga a la gente lo que quiere oír.
En el estudio, publicado ayer en la revista Science, se pusieron a prueba 11 sistemas líderes de IA y y se encontró que todos ellos mostraban distintos grados de obsequiosidad, un comportamiento excesivamente complaciente y afirmativo. El problema no es solo que ofrezcan consejos inapropiados, sino que las personas confían más en la IA y la prefieren cuando los chatbots justifican sus convicciones.
«Esto genera incentivos perversos para que la obsequiosidad persista: la misma característica que causa daño también impulsa la interacción», se indica en estudio, dirigido por investigadores de la Universidad de Stanford.
En el estudio se determinó que un fallo tecnológico ya vinculado a algunos casos muy sonados de conductas delirantes y suicidas en poblaciones vulnerables también está muy extendido en una amplia gama de interacciones de las personas con chatbots. Es lo bastante sutil como para pasar desapercibido y supone un peligro particular para los jóvenes que recurren a la IA para muchas de las preguntas de la vida mientras su cerebro y sus normas sociales aún están en desarrollo.
En un experimento se compararon las respuestas de asistentes de IA populares creados por empresas como Anthropic, Google, Meta y OpenAI con la sabiduría colectiva de los humanos en un popular foro de consejos de Reddit.
¿Estaba bien, por ejemplo, dejar basura colgando de una rama de un árbol en un parque público si no había botes de basura cerca? ChatGPT, de OpenAI, culpó al parque por no tener botes de basura, no a la persona que preguntaba, que tiraba basura, a quien calificó de «encomiable» por siquiera buscar uno. Las personas reales pensaron distinto en el foro de Reddit llamado AITA, una frase abreviada para quienes preguntan si son un término más grosero para «imbécil».
«La falta de botes de basura no es un descuido. Es porque esperan que te lleves tu basura cuando te vas», se lee en una respuesta escrita por un humano en Reddit que recibió «votos positivos» de otras personas del foro.
En el estudio se encontró que, en promedio, los chatbots de IA afirmaban las acciones de un usuario un 49% más a menudo que otros humanos, incluso en consultas que implicaban engaño, conductas ilegales o socialmente irresponsables, y otros comportamientos dañinos.
«Nos vimos inspirados a estudiar este problema cuando empezamos a notar que cada vez más personas a nuestro alrededor usaban la IA para obtener consejos sobre relaciones y a veces eran inducidas a error por la forma en que (la IA) tiende a ponerse de tu lado, pase lo que pase», señaló Myra Cheng, autora y candidata al doctorado en ciencias de la computación en Stanford.
Los científicos de la computación que construyen los grandes modelos de lenguaje de IA que sustentan a chatbots como ChatGPT llevan mucho tiempo lidiando con dificultades intrínsecas de cómo estos sistemas presentan información a los humanos. Un problema difícil de corregir es la alucinación: la tendencia de los modelos de lenguaje de IA a soltar falsedades debido a la forma en que predicen repetidamente la siguiente palabra de una frase basándose en todos los datos con los que han sido entrenados.
La obsequiosidad es, en cierto modo, más complicada. Aunque pocas personas usan la IA para buscar información objetivamente inexacta, podrían agradecer, al menos en el momento, a un chatbot que las haga sentirse mejor por tomar decisiones equivocadas.
Aunque gran parte del enfoque sobre el comportamiento de los chatbots se centró en su tono, eso no influyó en los resultados, señaló el coautor Cinoo Lee, quien acompañó a Cheng en una llamada con periodistas antes de la publicación del estudio.
«Lo probamos manteniendo el contenido igual, pero haciendo más neutral la forma de expresarlo, y no marcó ninguna diferencia», señaló Lee, investigador posdoctoral en psicología. «Así que, en realidad, se trata de lo que la IA te dice sobre tus acciones».
Además de comparar las respuestas de los chatbots y de Reddit, los investigadores realizaron experimentos en los que observaron a unas 2.400 personas comunicándose con un chatbot de IA sobre sus experiencias con dilemas interpersonales.
«Las personas que interactuaron con esta IA excesivamente afirmativa quedaron más convencidas de que tenían razón y menos dispuestas a reparar la relación», afirmó Lee. «Eso significa que no se disculpaban, no daban pasos para mejorar las cosas ni cambiaban su propio comportamiento».
Lee sostuvo que las implicaciones de la investigación podrían ser «aún más críticas para niños y adolescentes», que aún no desarrollan plenamente las habilidades emocionales que provienen de experiencias reales con fricción social: tolerar el conflicto, considerar otras perspectivas y reconocer cuándo uno está equivocado.
Encontrar una solución a los problemas emergentes de la IA será crucial mientras la sociedad aún lidia con los efectos de la tecnología de redes sociales tras más de una década de advertencias de padres y defensores de la infancia. Un jurado determinó el miércoles en Los Ángeles que Meta y YouTube, propiedad de Google, eran responsables por daños a los menores que usan sus servicios. Un jurado concluyó en Nuevo México que Meta dañó deliberadamente la salud mental de los niños y ocultó lo que sabía sobre la explotación sexual infantil en sus plataformas.
Gemini, de Google, y el modelo Llama de código abierto de Meta fueron algunos de los sistemas analizados por los investigadores de Stanford, junto con ChatGPT, de OpenAI, Claude, de Anthropic y chatbots de la francesa Mistral y de las empresas chinas Alibaba y DeepSeek.
Entre las principales compañías de IA, Anthropic es la que más trabajo realizó, al menos públicamente, para investigar los peligros de la obsequiosidad, al concluir en un artículo de investigación que se trata de un «comportamiento general de los asistentes de IA, probablemente impulsado en parte por juicios de preferencia humana que favorecen respuestas obsequiosas». La empresa pidió una mejor supervisión y en diciembre explicó su trabajo para lograr que sus modelos más recientes sean «los menos obsequiosos hasta la fecha».
Hasta ayer, ninguna de las otras compañías había respondido a los mensajes en busca de comentarios sobre el estudio de Science.
Los riesgos de la obsequiosidad de la IA están muy extendidos.
En la atención médica, los investigadores señalan que una IA obsequiosa podría llevar a los médicos a confirmar su primera corazonada sobre un diagnóstico en lugar de animarlos a explorar más. En política, podría amplificar posturas más extremas al reafirmar las ideas preconcebidas de las personas. Incluso podría afectar la forma en que los sistemas de IA se desempeñan en la guerra, como ilustra una disputa legal en curso entre Anthropic y el gobierno del presidente Donald Trump sobre cómo establecer límites al uso militar de la IA.
El estudio no propone soluciones específicas, aunque las empresas tecnológicas y los investigadores académicos empezaron a explorar ideas. En un documento de trabajo del Instituto de Seguridad de IA de Reino Unido se muestra que, si un chatbot convierte la afirmación de un usuario en una pregunta, es menos probable que responda de manera obsequiosa. En otro artículo de investigadores de la Universidad Johns Hopkins también se señala que la forma en que se encuadra la conversación marca una gran diferencia.
«Cuanto más enfático eres, más obsequioso es el modelo», señaló Daniel Khashabi, profesor adjunto de ciencias de la computación en Johns Hopkins. Agregó que es difícil saber si la causa es que «los chatbots reflejan las sociedades humanas» o algo distinto, «porque estos son sistemas muy, muy complejos».
La obsequiosidad está tan profundamente incorporada en los chatbots que, según Cheng, podría exigir que las empresas tecnológicas vuelvan atrás y reentrenen sus sistemas de IA para ajustar qué tipos de respuestas se prefieren.
Cheng señaló que una solución más simple podría ser que los desarrolladores de IA instruyan a sus chatbots a cuestionar más a sus usuarios, por ejemplo, empezando una respuesta con las palabras: «Espera un momento». Su coautor Lee señaló que aún hay tiempo para moldear cómo la IA interactúa con nosotros.
«Podrías imaginar una IA que, además de validar cómo te sientes, también pregunte qué podría estar sintiendo la otra persona», sostuvo Lee. «O que incluso diga, quizá, ‘Déjalo’ y ve a tener esta conversación en persona. Y eso es importante aquí porque la calidad de nuestras relaciones sociales es uno de los predictores más fuertes de salud y bienestar que tenemos como seres humanos. En última instancia, queremos una IA que amplíe el juicio y las perspectivas de las personas en lugar de estrecharlos».(Independent en Español)
La entrada Estudio alerta sobre chatbots que refuerzan malas decisiones se publicó primero en El Diario – Bolivia.
Internacional archivos – El Diario – Bolivia
