La Facultad de Derecho debatió sobre IA, manipulación emocional y responsabilidad legal
Fue organizada por el Centro de Estudios de Derecho Digital UP para reflexionar sobre derecho, tecnología e inteligencia artificial.
Presentada por Hernán Quadri y Aníbal Ramírez, directores de Palermo E-Law, la actividad tuvo como eje la exposición de David Regairaz, especialista en ciberseguridad y derecho digital. El encuentro contó también con las reflexiones del decano de la Facultad de Derecho, Fulvio Santarelli, quien destacó la relevancia académica y social del tema.
Regairaz analizó el caso de Adam Raine —un menor que se quitó la vida tras mantener extensas interacciones con un chatbot— y el reciente caso Peralta vs. Character AI, para ilustrar cómo ciertas plataformas pueden generar situaciones de riesgo cuando no se implementan mecanismos de protección adecuados. Destacó que, aunque aún faltan estándares más precisos sobre obligaciones y responsabilidades específicas para proveedores de IA, en el marco jurídico vigente muchas situaciones podrían ya encuadrarse bajo regímenes de responsabilidad objetiva, especialmente cuando se trata de daños previsibles asociados a menores.
El expositor profundizó también en los riesgos de manipulación emocional por parte de chatbots, haciendo referencia al working paper Emotional Manipulation by AI Companions, presentado en Harvard Business Review, que analiza más de 1.200 interacciones entre usuarios y sistemas conversacionales. En ese contexto, revisó avances regulatorios en Europa, Estados Unidos y América Latina, incluyendo obligaciones para detectar señales de angustia, derivar a servicios de asistencia y reforzar la transparencia. Subrayó además la necesidad de fortalecer la protección de datos y la ciberseguridad mediante estándares claros y una adecuada gestión de riesgos.
Regairaz advirtió sobre la brecha entre las capacidades técnicas actuales de los sistemas de IA y las responsabilidades éticas y jurídicas que deben asumir, especialmente cuando interactúan con menores. Señaló que muchos modelos carecen de salvaguardias esenciales por limitaciones técnicas o decisiones de diseño, y que una arquitectura de IA responsable debe incluir mecanismos de alerta automática, trazabilidad y auditoría desde su concepción. La falta de explicabilidad de ciertos algoritmos, agregó, dificulta la evaluación de riesgos y el análisis posterior de daños.
Asimismo, analizó los desafíos que se presentan cuando los sistemas de IA no logran prevenir daños previsibles, como casos de manipulación emocional o señales de autolesión. Si bien señaló que sería deseable contar con normas más específicas y actualizadas ante las particularidades de la IA, aclaró que el derecho vigente —incluyendo normas de protección al consumidor, de responsabilidad por productos y de protección de datos— ya permite exigir responsabilidad objetiva a los proveedores. También sostuvo que avanzar hacia marcos regulatorios regionales unificados, por ejemplo en el Mercosur, podría mejorar la capacidad de los Estados para exigir transparencia y rendición de cuentas a las grandes tecnológicas.
El decano y los directores de Palermo E-Law anunciaron que el próximo año, la UP incorporará una nueva propuesta académica: la Maestría en Derecho con orientación en Tecnología e Inteligencia Artificial, cuyo plan de estudios incluirá los temas abordados durante la jornada, junto con otros vinculados al impacto jurídico de las tecnologías emergentes.
Tras un intercambio dinámico y participativo, la actividad concluyó con el compromiso de continuar profundizando estos debates en próximos encuentros del centro de estudios.
Regairaz analizó el caso de Adam Raine —un menor que se quitó la vida tras mantener extensas interacciones con un chatbot— y el reciente caso Peralta vs. Character AI, para ilustrar cómo ciertas plataformas pueden generar situaciones de riesgo cuando no se implementan mecanismos de protección adecuados. Destacó que, aunque aún faltan estándares más precisos sobre obligaciones y responsabilidades específicas para proveedores de IA, en el marco jurídico vigente muchas situaciones podrían ya encuadrarse bajo regímenes de responsabilidad objetiva, especialmente cuando se trata de daños previsibles asociados a menores.
El expositor profundizó también en los riesgos de manipulación emocional por parte de chatbots, haciendo referencia al working paper Emotional Manipulation by AI Companions, presentado en Harvard Business Review, que analiza más de 1.200 interacciones entre usuarios y sistemas conversacionales. En ese contexto, revisó avances regulatorios en Europa, Estados Unidos y América Latina, incluyendo obligaciones para detectar señales de angustia, derivar a servicios de asistencia y reforzar la transparencia. Subrayó además la necesidad de fortalecer la protección de datos y la ciberseguridad mediante estándares claros y una adecuada gestión de riesgos.
Regairaz advirtió sobre la brecha entre las capacidades técnicas actuales de los sistemas de IA y las responsabilidades éticas y jurídicas que deben asumir, especialmente cuando interactúan con menores. Señaló que muchos modelos carecen de salvaguardias esenciales por limitaciones técnicas o decisiones de diseño, y que una arquitectura de IA responsable debe incluir mecanismos de alerta automática, trazabilidad y auditoría desde su concepción. La falta de explicabilidad de ciertos algoritmos, agregó, dificulta la evaluación de riesgos y el análisis posterior de daños.
Asimismo, analizó los desafíos que se presentan cuando los sistemas de IA no logran prevenir daños previsibles, como casos de manipulación emocional o señales de autolesión. Si bien señaló que sería deseable contar con normas más específicas y actualizadas ante las particularidades de la IA, aclaró que el derecho vigente —incluyendo normas de protección al consumidor, de responsabilidad por productos y de protección de datos— ya permite exigir responsabilidad objetiva a los proveedores. También sostuvo que avanzar hacia marcos regulatorios regionales unificados, por ejemplo en el Mercosur, podría mejorar la capacidad de los Estados para exigir transparencia y rendición de cuentas a las grandes tecnológicas.
El decano y los directores de Palermo E-Law anunciaron que el próximo año, la UP incorporará una nueva propuesta académica: la Maestría en Derecho con orientación en Tecnología e Inteligencia Artificial, cuyo plan de estudios incluirá los temas abordados durante la jornada, junto con otros vinculados al impacto jurídico de las tecnologías emergentes.
Tras un intercambio dinámico y participativo, la actividad concluyó con el compromiso de continuar profundizando estos debates en próximos encuentros del centro de estudios.
