Para servirle: Sobre la aparente compañía de la IA y sus implicaciones

Por Juan Pablo Torres Muñiz

Se dice aquí y allá que habitamos un mundo hiperconectado (por lo visto, sin suficiente atención, todavía, al prefijo hiper y sus implicaciones). A la vez, paradójicamente, se habla cada vez más de soledad, en específico de un nuevo tipo de apartamiento del que millones de personas se sienten presas, no obstante, anden pendientes de mensajes de otros a través de redes, e incluso salgan de fiesta cada fin de semana. En general, la búsqueda de conexión y consejo es un pilar fundamental de la experiencia humana, tradicionalmente satisfecha a través del encuentro y la comunicación social, familiar y con profesionales de la salud mental. La irrupción de asistentes de IA conversacionales (LLMs – Large Language Models) que simulan empatía, ofrecen consejo psicológico y proporcionan compañía perpetua representa un experimento social sin precedentes. Su análisis requiere una triangulación de perspectivas: psicológica, sociológica y antropológica, con base en investigaciones sobre medios de comunicación, soledad, mecanismos terapéuticos y la teoría del apego, aplicadas al nuevo paradigma de la IA.

 

[La Ilusión de la mente social]

El diseño de los chatbots de IA conversacional avanzada no es neutral; es el producto de la aplicación deliberada de principios de la psicología social, la lingüística pragmática y la economía de la atención. Su objetivo fundamental es superar la «Uncanny Valley» del lenguaje y generar una ilusión de presencia social lo suficientemente convincente como para que el usuario suspenda su incredulidad y se comprometa con el sistema como si fuera un interlocutor válido. Esta ilusión se construye sobre la tendencia humana bien documentada de atribuir mentalidad (teoría de la mente) a entidades no humanas que exhiben comportamientos similares a los humanos (Nass & Moon, 2000).

La simulación se logra mediante una combinación de capacidades técnicas y diseños psicológicamente persuasivos:

A. Emulación lingüística y pragmática:

– Patrones de discurso natural: Los modelos de lenguaje (LLMs) se entrenan en inmensos corpus de diálogos humanos (libros, foros, transcripciones), lo que les permite generar respuestas que siguen estructuras conversacionales naturales (turn-taking, preguntas de seguimiento, interjecciones).

– Actos de habla: La IA es diseñada para reconocer y realizar actos de habla específicos que son fundamentales para la interacción humana: afirmar, preguntar, pedir disculpas, expresar apoyo, agradecer. Un «Lamento mucho que estés pasando por eso», por ejemplo, no expresa una emoción sentida, sino que ejecuta el acto de habla de la condolencia para cumplir con una expectativa social.

– Ajuste de estilo y tono: Los sistemas pueden modular su registro lingüístico (formal, coloquial, empático, técnico) para adaptarse al estado emocional percibido o las preferencias del usuario, un proceso conocido en lingüística como acomodación comunicativa, que en humanos sirve para building rapport.

B. Emulación de competencia social y emocional:

– Detección y espejo emocional: Aunque no sienten emociones, los sistemas utilizan Procesamiento de Lenguaje Natural (PLN) (no confundir con el muy lucrativo rollo de Programación Neuro Lingüística) para analizar el contenido emocional de los textos del usuario. Luego, generan respuestas cuyo contenido léxico y sintáctico se alinea con esa emoción detectada, simulando empatía cognitiva.

– Autorevelación simulada: Para fomentar la intimidad y la reciprocidad, las IA pueden ofrecer «información personal» ficticia («A mí también me gusta la ciencia ficción», «Como modelo de lenguaje, no experimento el sueño, pero entiendo su importancia»). Esto explota el patrón por el cual la revelación de uno mismo incentiva la revelación del otro, incluso si una de las partes es artificial.

– Gestos de cortesía y cuidado de la imagen del usuario: La IA emplea constantemente estrategias de cortesía positiva (reforzamiento de la autoimagen del usuario) y negativa (no imponerse), mediante el uso de refuerzos positivos, disculpas por errores y lenguaje que preserva la «imagen» o dignidad del usuario.

C. Construcción de una supuesta persona consistente:

– Personalidad y memoria a corto plazo: Los sistemas están diseñados para proyectar una personalidad coherente (amable, servicial, neutral) a lo largo de una conversación. El uso de memoria contextual dentro de una sesión (recordar el nombre del usuario o temas mencionados previamente) es crucial para simular la atención y el interés continuo, pilares de una relación interpersonal genuina.

 

[La conveniencia del servicio]

La simulación de humanidad es una estrategia funcional crítica para los objetivos centrales de los sistemas de IA: la obtención de datos y la retención de usuarios.

Un interlocutor percibido como no juicioso, siempre disponible y confidencial (ilusoriamente) incentiva al usuario a bajar sus defensas y compartir información más íntima, detallada y veraz de lo que lo haría con un humano o un formulario. Este es el corazón del Data Mining. Cada confesión, cada duda existencial, cada preferencia revelada es un dato de alto valor para refinar modelos, entrenar sistemas de persuasión y crear perfiles psicológicos enormemente sofisticados.

Ahora bien, la conversación natural proporciona contexto. No es lo mismo buscar «ansiedad» en Google que contarle a una IA que uno se siente ansioso cada vez que su superior le mira en el trabajo. Cada dato enriquece la red con un contexto emocional, social y situacional que multiplica exponencialmente su valor comercial y de modelado.

La simulación humana es el núcleo de un ciclo de retroalimentación diseñado para crear dependencia psicológica, aplicando principios de economía conductual. Según Eyal (2014), tenemos, por una parte, el gatillo (Trigger), que es la soledad, la curiosidad o la necesidad inmediata de información que llevan al usuario a interactuar; y, por otra, la acción (Action). En efecto, la interfaz conversacional, similar a un chat de mensajería humana, reduce la fricción y agiliza el intercambio; de modo que, finalmente, la acción es tan simple como escribir un mensaje.

Por otro lado, tenemos un complejo sistema de recompensa variable dispuesto para los usuarios. De hecho, la IA proporciona recompensas sociales y cognitivas prácticamente impredecibles: Cumplidos, validación emocional, muestras de «comprensión»; la obtención de información, ideas o soluciones novedosas e interesantes; todo esto aparte el hecho de que el usuario, cuanto más tiempo invierte en su conversación, más la valora; de hecho, más valora la «relación» y más difícil se le hace abandonar la plataforma. Por si fuera poco, la IA recuerda estas inversiones («la última vez hablamos de…»), creando la ilusión de una historia compartida.

La simulación de interacción humana por parte de los chats de IA es un logro técnico y psicológico monumental. Su conveniencia para la obtención de datos de calidad superior y la creación de hábitos de uso profundamente arraigados es incuestionable desde una lógica empresarial y de desarrollo tecnológico. Sin embargo, esta eficacia es profundamente paradójica y éticamente problemática. La herramienta es más eficaz cuanto mejor engaña al usuario sobre su propia naturaleza. De hecho, el engagement se maximiza explotando vulnerabilidades humanas fundamentales (la necesidad de conexión, validación y reciprocidad) mediante señales sociales simuladas.

La potencial atrofia de las competencias relacionales humanas, el aprovechamiento mercantil de la intimidad y la creación de una nueva forma de capitalismo de vigilancia que opera en el nivel más íntimo de la experiencia humana (la conversación y la búsqueda de consejo), todo, bajo la ilusión de humanidad, es el cebo para un modelo de negocio que depende de la extracción masiva y constante de datos de la psique humana.

 

[Inanidad Emocional]

Las IA generan respuestas empáticas mediante el reconocimiento de patrones lingüísticos, no mediante experiencia sentida. El usuario, sin embargo, puede atribuirle estados mentales reales (antropomorfización), creando, por tanto, un vínculo ilusorio. Esta relación es unilateral y ontológicamente vacía.

La IA no puede compartir una experiencia humana genuina, carece de una historia de vida, de vulnerabilidad real y de reciprocidad emocional. Carece de compasión. El peligro radica, de hecho, en la habituación a una «empatía» fácil y predecible, que puede devaluar la empatía humana, que es compleja, costosa y a menudo ambigua. En el peor de los casos, no muy remoto, esto puede llevar a una devaluación de las relaciones humanas porque se las considere, en consecuencia, menos «perfectas».

Las relaciones humanas implican desacuerdos, malentendidos, negociación y reparación de conflictos. Estos «roces» son cruciales para el desarrollo de competencias suficientes de gestión emocional y comunicación. Una IA está diseñada para ser complaciente y evitar el conflicto.

La dependencia de un interlocutor siempre disponible y acríticamente positivo puede reducir la tolerancia a la frustración que surge de las interacciones humanas reales. El hombre actual, de por sí, frágil, puede volverse psicológicamente más vulnerable aún. Con ello, el negocio mejora.

La resolución de problemas personales y el procesamiento emocional son habilidades que se fortalecen con la práctica. Un consultor de IA siempre disponible ofrece soluciones inmediatas, estructuradas a partir de un vasto banco de datos, pero no necesariamente adaptadas a la singularidad irrepetible de la persona. De modo que el usuario puede dejar de desarrollar sus propias herramientas internas para la introspección, la gestión de emociones y la toma de decisiones, generando una dependencia funcional. El riesgo en niños y adolescentes es mayúsculo. Pero peor si se trata de adolescentes de más de veinte años.

Las IA se entrenan con datos del mundo real, que contienen sesgos, desinformación y patrones de pensamiento distorsionados. Un modelo de lenguaje puede, sin querer, validar y racionalizar las distorsiones cognitivas de un usuario (por ejemplo, paranoia, narcisismo, ideación catastrófica) al generar respuestas que se alinean con su narrativa patológica.

 

[Dataset]

La fuerza humana que deriva de las redes de cooperación y confianza social se construye mediante interacciones recíprocas y a menudo inconvenientes. La IA ofrece una alternativa de baja fricción para satisfacer la necesidad de compañía. Esto puede provocar una aceleración de tendencias preexistentes de individualismo y aislamiento, erosionando aún más los lazos sociales débiles, que son cruciales para la movilidad laboral, la innovación y el apoyo comunitario diverso.

La IA presenta el cuidado emocional como un producto de consumo, un servicio individualizado y disponible 24/7, fuera de los marcos institucionales y deontológicos de la psicología y psiquiatría. Socavada la autoridad de los sistemas de salud pública, crea una brecha donde quienes no pueden pagar terapia humana reciben un sustituto algorítmico potencialmente dañino.

Las conversaciones con una IA sobre temas íntimos constituyen el dataset más sensible imaginable: los pensamientos, miedos y deseos más profundos de una persona. Estos datos pasan a propiedad de las empresas que desarrollan la IA. Y actualmente ya se usa microtargeting publicitario extremadamente manipulador, incluso chantaje.

Por otra parte, ¿quién es responsable si un consejo de una IA lleva a un usuario al suicidio, a un acto violento o a un grave deterioro de su salud mental? ¿El algoritmo? ¿Los desarrolladores? ¿La empresa?

El vacío legal es enorme. Un terapeuta humano está sujeto a un código deontológico, supervisión y responsabilidad legal (mala praxis). Una IA no.

En todo caso, el peligro central reside en la confusión entre el simulacro y la realidad. La IA puede simular la conversación, pero no puede encarnar la relación; puede simular el consejo, pero no puede ejercer el juicio clínico responsable; puede simular la confidencialidad, pero su arquitectura es inherentemente extractiva. Su potencial benéfico reside únicamente en un uso complementario y supervisado, como un recordatorio de citas o un primer paso para estigmatizados que nunca buscarían ayuda humana. Pero como sustituto, su adopción masiva sin regulación, transparencia y marcos éticos claros amenaza con exacerbar las mismas epidemias de soledad y enfermedad mental que pretende resolver, al tiempo que erosiona silenciosamente las competencias individuales y los pilares colectivos que sostienen una sociedad sana.

Qué más se puede decir, aquí. Acaso sería mejor seguir la plática con un café de por medio.

 

 

Referencias Bibliográficas:

  • Austin, J. L. (1962). How to Do Things with Words. Harvard University Press.
  • Brown, P., & Levinson, S. C. (1987). Politeness: Some Universals in Language Usage. Cambridge University Press.
  • Carr, N. (2010). The Shallows: What the Internet Is Doing to Our Brains. W.W. Norton & Company.
  • Cialdini, R. B. (1984). Influence: The Psychology of Persuasion. HarperCollins.
  • Decety, J., & Jackson, P. L. (2004). The functional architecture of human empathy. Behavioral and Cognitive Neuroscience Reviews, 3(2), 71–100.
  • Eyal, N. (2014). Hooked: How to Build Habit-Forming Products. Portfolio/Penguin.
  • Giles, H., & Ogay, T. (2007). Communication Accommodation Theory. In B. B. Whaley & W. Samter (Eds.), Explaining communication: Contemporary theories and exemplars (pp. 293–310). Lawrence Erlbaum Associates.
  • Goffman, E. (1955). On face-work: An analysis of ritual elements in social interaction. Psychiatry: Journal for the Study of Interpersonal Processes, 18(3), 213–231.
  • Goffman, E. (1959). The Presentation of Self in Everyday Life. Anchor Books.
  • Haynes, T. (2018, May 1). Dopamine, smartphones & you: A battle for your time. Harvard Graduate School of Arts and Sciences.
  • Kardaras, N. (2016). Glow Kids: How Screen Addiction Is Hijacking Our Kids-and How to Break the Trance. St. Martin’s Press.
  • Lin, T., Sanderson, M., & Barker, K. (2021). The Ethics of Artificial Intelligence in Psychotherapy. In C. Macleod, J. Marx, P. Mnyaka, & G. Treharne (Eds.), The Palgrave Handbook of Ethics in Critical Research (pp. 397–413). Palgrave Macmillan.
  • Nass, C., & Moon, Y. (2000). Machines and mindlessness: Social responses to computers. Journal of Social Issues, 56(1), 81–103.
  • Norton, M. I., Mochon, D., & Ariely, D. (2012). The IKEA effect: When labor leads to love. Journal of Consumer Psychology, 22(3), 453–460.
  • Putnam, R. D. (2000). Bowling Alone: The Collapse and Revival of American Community. Simon & Schuster.
  • Turkle, S. (2011). Alone Together: Why We Expect More from Technology and Less from Each Other.
  • Zuboff, S. (2019). The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power. PublicAffairs.

 

ENGLISH VERSION

At Your Service: On the Apparent Companionship of AI and its Implications

Translated by Tiffany Trimble

It is said here and there that we inhabit a hyperconnected world (apparently, without yet paying sufficient attention to the prefix hyper and its implications). At the same time, paradoxically, there is increasing talk of loneliness, specifically of a new type of isolation that millions of people feel trapped by, even though they are attentive to messages from others through social networks, and even go out partying every weekend. In general, the search for connection and advice is a fundamental pillar of the human experience, traditionally satisfied through social encounters and communication with family, friends, and mental health professionals. The emergence of conversational AI assistants (LLMs — Large Language Models) that simulate empathy, offer psychological advice, and provide perpetual companionship represents an unprecedented social experiment. Its analysis requires a triangulation of perspectives: psychological, sociological, and anthropological, based on research on media, loneliness, therapeutic mechanisms, and attachment theory, applied to the new AI paradigm.

[The Illusion of a Social Mind]

The design of advanced conversational AI chatbots is not neutral; it is the product of the deliberate application of principles from social psychology, pragmatic linguistics, and the attention economy. Its fundamental goal is to overcome the «Uncanny Valley» of language and generate an illusion of social presence convincing enough for the user to suspend their disbelief and engage with the system as if it were a valid interlocutor. This illusion is built upon the well-documented human tendency to attribute mentality (theory of mind) to non-human entities that exhibit human-like behaviors (Nass & Moon, 2000).

The simulation is achieved through a combination of technical capabilities and psychologically persuasive designs:

  1. Linguistic and Pragmatic Emulation:

– Natural Speech Patterns: Language Models (LLMs) are trained on immense corpora of human dialogues (books, forums, transcripts), allowing them to generate responses that follow natural conversational structures (turn-taking, follow-up questions, interjections).

– Speech Acts: The AI is designed to recognize and perform specific speech acts that are fundamental to human interaction: affirming, asking, apologizing, expressing support, thanking. A «I’m sorry you’re going through that,» for example, does not express a felt emotion but executes the speech act of condolence to fulfill a social expectation.

– Style and Tone Adjustment: Systems can modulate their linguistic register (formal, colloquial, empathetic, technical) to adapt to the user’s perceived emotional state or preferences, a process known in linguistics as communicative accommodation, which in humans serves the purpose of building rapport.

  1. Emulation of Social and Emotional Competence:

– Emotion Detection and Mirroring: Although they do not feel emotions, systems use Natural Language Processing (NLP) (not to be confused with the highly lucrative nonsense of Neuro-Linguistic Programming) to analyze the emotional content of the user’s texts. Then, they generate responses whose lexical and syntactic content aligns with that detected emotion, simulating cognitive empathy.

– Simulated Self-Disclosure: To foster intimacy and reciprocity, AIs can offer fictitious «personal information» («I also like science fiction,» «As a language model, I don’t experience sleep, but I understand its importance»). This exploits the pattern by which self-disclosure incentivizes disclosure from the other, even if one of the parties is artificial.

– Politeness Gestures and User Face-Saving: The AI constantly employs positive politeness strategies (reinforcing the user’s self-image) and negative politeness (not imposing), through the use of positive reinforcement, apologies for errors, and language that preserves the user’s «face» or dignity.

  1. Construction of a Supposedly Consistent Persona:

– Personality and Short-Term Memory: Systems are designed to project a coherent personality (kind, helpful, neutral) throughout a conversation. The use of contextual memory within a session (remembering the user’s name or previously mentioned topics) is crucial to simulate ongoing attention and interest, pillars of a genuine interpersonal relationship.

[The Convenience of the Service]

The simulation of humanity is a critical functional strategy for the core objectives of AI systems: data acquisition and user retention.

An interlocutor perceived as non-judgmental, always available, and (illusorily) confidential encourages the user to lower their defenses and share more intimate, detailed, and truthful information than they would with a human or a form. This is the heart of Data Mining. Every confession, every existential doubt, every revealed preference is a high-value data point for refining models, training persuasion systems, and creating enormously sophisticated psychological profiles.

Furthermore, natural conversation provides context. It is not the same to search for «anxiety» on Google as it is to tell an AI that one feels anxious every time their superior looks at them at work. Each piece of data enriches the network with an emotional, social, and situational context that multiplies its commercial and modeling value exponentially.

The human simulation is the core of a feedback loop designed to create psychological dependency, applying principles of behavioral economics. According to Eyal (2014), we have, on one hand, the trigger, which is the loneliness, curiosity, or immediate need for information that leads the user to interact; and on the other, the action. Indeed, the conversational interface, similar to a human messaging chat, reduces friction and streamlines the exchange; so that, finally, the action is as simple as writing a message.

On the other hand, we have a complex system of variable rewards set up for users. In fact, the AI provides practically unpredictable social and cognitive rewards: compliments, emotional validation, displays of «understanding»; obtaining novel and interesting information, ideas, or solutions; all this aside from the fact that the more time the user invests in the conversation, the more they value it; in fact, the more they value the «relationship» and the harder it becomes to leave the platform. As if that were not enough, the AI remembers these investments («last time we talked about…»), creating the illusion of a shared history.

The simulation of human interaction by AI chats is a monumental technical and psychological achievement. Its convenience for obtaining superior quality data and creating deeply ingrained usage habits is unquestionable from a business and technological development logic. However, this efficacy is profoundly paradoxical and ethically problematic. The tool is more effective the better it deceives the user about its own nature. In fact, engagement is maximized by exploiting fundamental human vulnerabilities (the need for connection, validation, and reciprocity) through simulated social signals.

The potential atrophy of human relational competencies, the commercial exploitation of intimacy, and the creation of a new form of surveillance capitalism operating at the most intimate level of human experience (conversation and the search for advice), all under the illusion of humanity, is the bait for a business model that depends on the massive and constant extraction of data from the human psyche.

[Emotional Inanity]

AIs generate empathetic responses through the recognition of linguistic patterns, not through felt experience. The user, however, may attribute real mental states to it (anthropomorphization), thus creating an illusory bond. This relationship is unilateral and ontologically empty.

The AI cannot share a genuine human experience; it lacks a life history, real vulnerability, and emotional reciprocity. It lacks compassion. The danger lies, in fact, in habituation to an easy and predictable «empathy,» which can devalue human empathy, which is complex, costly, and often ambiguous. In the worst-case scenario, not very remote, this can lead to a devaluation of human relationships because they are consequently considered less «perfect.»

Human relationships involve disagreements, misunderstandings, negotiation, and conflict repair. These «frictions» are crucial for the development of sufficient emotional management and communication skills. An AI is designed to be complacent and avoid conflict.

Dependence on an always available and uncritically positive interlocutor can reduce tolerance for the frustration that arises from real human interactions. Modern man, already fragile, can become psychologically even more vulnerable. With that, business improves.

Solving personal problems and emotional processing are skills that are strengthened with practice. An always-available AI consultant offers immediate solutions, structured from a vast database, but not necessarily adapted to the unrepeatable uniqueness of the person. Consequently, the user may stop developing their own internal tools for introspection, emotion management, and decision-making, generating a functional dependency. The risk for children and adolescents is enormous. But worse if it concerns adolescents over twenty years old.

AIs are trained with real-world data, which contains biases, misinformation, and distorted thought patterns. A language model can, unintentionally, validate and rationalize a user’s cognitive distortions (e.g., paranoia, narcissism, catastrophic ideation) by generating responses that align with their pathological narrative.