Logo de la Asociación por los Derechos Civiles < Volver

Autor: Matías Chamorro

Inteligencia Artificial, ChatGPT y racismo

Matías Chamorro | 25/04/2023

Inteligencia Artificial, ChatGPT y racismo

Desde su despegue en la década de los noventa a la actualidad, la inteligencia artificial (IA) se ha convertido en una herramienta con una significativa presencia en la vida cotidiana, con aplicaciones que van desde la atención médica hasta las inversiones y finanzas. Sin embargo, a medida que la IA se vuelve más sofisticada, también se va haciendo evidente que está distante de ser neutral, reproduciendo o amplificando los prejuicios y sesgos presentes en la sociedad como, por ejemplo, el racismo y la discriminación.

A pesar de los avances en la tecnología de IA, los sistemas automatizados a menudo muestran sesgos raciales alarmantes. Por caso, la herramienta ChatGPT – que desde su nacimiento hace cuatro meses lleva cosechados más de 100 millones de usuarios únicos- se ha comprobado que es capaz de presentar en ocasiones resultados sexistas, raciales o intolerantes. Esto obedece en parte a que los algoritmos de IA son entrenados empleando grandes volúmenes de información histórica, que muchas veces reflejan sesgos y discriminación presentes en la sociedad. Ha habido reportes de usuarios de ChatGTP que señalan casos en los que cuando al bot se le solicitaba que escriba, en función de sexo y raza, un código para evaluar si alguien podría ser un buen científico, el bot sugería solo hombres blancos.  “Si se están entrenando modelos con datos que reflejan prejuicios sociales y contenido tóxico, será difícil evitar que ese contenido aprendido se filtre”, reflexionó en una nota de la revista Motherboard, semanas atrás, Yacine Jernite, responsable de Aprendizaje Automático y Sociedad de la comunidad de AI Hugging Face.

Al mismo tiempo, la escasez de diversidad en el desarrollo y entrenamiento de los sistemas de IA también contribuye a los sesgos raciales. Los equipos de desarrollo de tecnología en ocasiones carecen de representación de grupos minoritarios, lo que lleva a la falta de perspectivas y experiencias diversas en la creación de estos sistemas. 

Como resultado, los algoritmos pueden exhibir sesgos implícitos que perpetúan la discriminación racial. Por ejemplo, se han registrado casos en el que los usados en la contratación de personal, la evaluación crediticia y la justicia penal han estado bajo la lupa por mostrar sesgos raciales y, colaborar así, a la discriminación sistemática de algunas minorías.

Ante este panorama, con una dinámica impensada, de escenarios próximos aún tampoco contemplados siquiera en las teorías más avanzadas sobre el tema, se convierte en materia urgente el no perder de vista el aspecto del racismo y discriminación en la tecnología artificial. Entre algunas de las recomendaciones sobre la materia, se encuentran:

Aumentar la diversidad en el desarrollo de IA: es fundamental garantizar y promover que los equipos de desarrolladores y desarrolladoras de IA sean diversos y representativos de la sociedad, incorporando personas de distintos orígenes étnicos y culturales. Esto colaboraría a detectar y abordar sesgos implícitos en la creación de algoritmos, y asegurar que se contemplen múltiples perspectivas en la creación de sistemas de inteligencia artificial.

Evaluaciones de sesgos: los algoritmos de IA deben ser sometidos a auditorías y pruebas rigurosas para identificar posibles sesgos raciales y discriminatorios. Es decir, revisar y analizar la calidad de los datos de entrenamientos utilizados, así como seguir al detalle la performance de los sistemas en casos reales para identificar y abordar sesgos emergentes.

● Transparencia y responsabilidad: las organizaciones que desarrollan y emplean sistemas de IA tienen que ser transparentes en su funcionamiento e informar cualquier sesgo detectado y las mitigaciones implementadas para abordarlo. Además, deben responsabilizarse de corregir los sesgos en sus sistemas y rendir cuentas por cualquier discriminación ejecutada por la IA.

Concientización: Es central informar y educar a los desarrolladores de IA, a los profesionales del sector tecnológico y al público en general sobre los eventuales sesgos raciales en la IA y su impacto en la sociedad.

Regulación y políticas: Es preciso buscar una regulación basada en estándares de derechos humanos.

 “No podemos seguir reaccionando tardíamente a los efectos de la IA, ni permitir que se use de manera ilimitada, sin fronteras ni supervisión, para enfrentarnos luego a sus casi inevitables consecuencias sobre los derechos humanos. La capacidad de la IA para servir a la población es innegable, pero también lo es su capacidad de contribuir a violaciones de derechos humanos en gran escala, de manera casi indetectable.  Es necesario adoptar urgentemente medidas para imponer límites basados en los derechos humanos a la utilización de la IA por el bien de todos”, señaló en 2021 la por entonces Alta Comisionada Michelle Bachelet. 

Es preciso discutir sobre eventuales regulaciones en pos de implementar políticas públicas claras que contemplen especialmente el aspecto del racismo y la discriminación en la IA, determinando, por ejemplo, mecanismos de supervisión y control que garanticen la equidad en el desarrollo y uso de la inteligencia artificial.

En síntesis, la discriminación racial en la IA es una problemática que demanda especial atención, considerando que los sesgos en los sistemas de IA pueden perpetuar la exclusión de ciertos grupos raciales, lo que resulta en mayor desigualdad en diversos ámbitos de la sociedad.  Una disparidad que alarma a intelectuales como el escritor e historiador israelí Yuval Noah Harari, quien  junto con Tristan Harris y Aza Raskin, con ojo atento a los peligros de la tecnología IA,  se preguntaban en un reciente artículo conjunto: “¿Qué significaría para nosotros vivir en un mundo donde gran porcentaje de las historias, melodías, imágenes, leyes, políticas y herramientas fueron moldeadas por una inteligencia no humana, que sabe cómo explotar con eficiencia sobrehumana todas las debilidades, los sesgos y las adicciones de los seres humanos, con quienes además sabe establecer relaciones íntimas? En juegos como el ajedrez, por ejemplo, ningún ser humano puede aspirar a vencer a una computadora. ¿Y si pasara lo mismo en el arte, la política o la religión?”.

¿Querés conocer el trabajo de la Asociación por los Derechos Civiles (ADC) en materia de análisis y debate acerca de la inteligencia artificial? Hacé clic acá y lee las notas sobre el tema en nuestra web. 

More