Ethical and Psychological Privacy Implications in the Use of Artificial Intelligence as a Support Tool in Judicial Decision-Making

Authors

  • Sonia López Rendón Politécnico Grancolombiano University Institution
  • Karol Daniela Campos Molina Politécnico Grancolombiano University Institution
  • Jéssica Lorena Pinto Talero Politécnico Grancolombiano University Institution
  • Andrés Camilo Rueda Martínez Politécnico Grancolombiano University Institution

DOI:

https://doi.org/10.18041/0124-0102/a.42.12115

Keywords:

psychological privacy, artificial intelligence, fundamental rights, ethics

Abstract

This qualitative study, with an exploratory- descriptive approach, determines the growing incorporation of AI systems to make judicial decisions and the implications that such implementation entails in two dimensions: ethics and psychological privacy of the subjects, in the algorithmized decision of the implementation of algorithms directly related to decisions of one type or another is a fact that raises difficulties to safeguard grounds such as informational self-determination and protection of personal data subject to the cognitive and affective processes of people in judicial processes or other issues. Psychological privacy is analyzed from the point of view of neuro-rights, defined as the safeguarding of thought, affectivity or any mental process in the face of the predictive-classifying capacity of AI. The results show that tools such as Prisma, PretorIA and facial recognition systems, recently incorporated into the Colombian judicial system, present specific weaknesses in terms of algorithmic biases, opacity in the way psychological information is processed, absence of regulatory frameworks and the like. The comparative analysis with international works shows the existence of the same patterns that affect mental privacy, especially linked to a profiling of the behavior or intentions of the subjects without knowing it or transparency and information.

Downloads

Download data is not yet available.

Author Biographies

  • Sonia López Rendón, Politécnico Grancolombiano University Institution

    PhD in Law. Lecturer and coordinator of the Humanoides Research Group at Politécnico Grancolombiano University Institution

  • Karol Daniela Campos Molina, Politécnico Grancolombiano University Institution

    Research seedbed student at Politécnico Grancolombiano University Institution

  • Jéssica Lorena Pinto Talero, Politécnico Grancolombiano University Institution

    Research seedbed student at Politécnico Grancolombiano University Institution

  • Andrés Camilo Rueda Martínez, Politécnico Grancolombiano University Institution

    Research seedbed student at Politécnico Grancolombiano University Institution

References

Álvarez, M. (28 de julio de 2023). Usos de la inteligencia artificial en los negocios.

Triario. https://www.triario.co/blog/inteligencia-artificial-negocios

Amnistía Internacional. (27 de julio de 2021). Hong Kong: La primera sentencia condenatoria en aplicación de la Ley de Seguridad Nacional es el “principio del fin” de la libertad de expresión. https://www.amnesty.org/es/latest/press-release/2021/07/first-nsl-conviction-beginning-of-the-end-freedom-of-expression/

Angwin, J., Larson, J., Mattu, S., & Kirchner, L. (2016). Machine bias: There’s software used across the country to predict future criminals. And it’s biased against blacks. ProPublica, 23, 77-91. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing

Beijing Internet Court. (09 de mayo de 2019). Mediation procedures. https://english.bjinternetcourt.gov.cn/2019-05/09/c_149.htm

Beijing Internet Court. (12 de octubre de 2021). Organization. https://english.bjinternetcourt.gov.cn/2021-10/12/c_27.htm

Berryhill, J, Heang, K., Clogher, R., y McBride, K. (2020). Hola, Mundo: La inteligencia artificial y su uso en el sector público. OCDE. https://www.oecd.org/gov/innovative-government/hola-mundo-la-inteligencia-artificial-y-su-uso-en-el-sector-publico.pdf

Calatayud, J. (2020). Spain. Algorithm watch. https://automatingsociety.algorithmwatch.org/report2020/spain/

Cámara de Representantes de Colombia. (2023). Ponencia primer debate proyecto de ley 200 de 2023: Inteligencia artificial. https://www.camara.gov.co/sites/default/files/2023-11/PONENCIA%201ER%20DEBATE%20PL%20200-23C%20INT%20ARTIFICIAL.pdf

Carvajal, S. (1 de abril de 2023). Derecho e inteligencia artificial (IA) en las decisiones judiciales. https://www.asuntoslegales.com.co/consultorio/derecho-e-inteligencia-artificial-ia-en-las-decisiones-judiciales-3583103

Cárdenas, R. (2021). ¿Jueces robots? Inteligencia artificial y derecho. Revista

Justicia & Derecho, 4(2), 1–10. https://doi.org/10.32457/rjyd.v4i2.1345

Chander, A. (2017). The racist algorithm. Mich. L. Rev., 115, 1023. https://repository.law.umich.edu/cgi/viewcontent.cgi?referer=&httpsredir=1&article=1657&context=mlr

Comisión de Derechos Humanos. (1948). Declaración Universal de Derechos Humanos. https://www.un.org/es/about-us/universal-declaration-of-human-rights

Confilegal. (13 de octubre de 2019). China y Estonia desarrollan «jueces virtuales» basados en Inteligencia Artificial para resolver demandas de cantidad. https://confilegal.com/20191013-china-y-estonia-desarrollan-jueces-virtuales-basados-en-inteligencia-artificial-para-resolver-demandas-de-cantidad/

Corte Constitucional de Colombia. (2012). Sentencia C-592 de 2012. https://www.corteconstitucional.gov.co/RELATORIA/2012/C-592-12.htm

Corte Constitucional de Colombia. (2019). Sentencia SU420 de 2019. https://www.corteconstitucional.gov.co/relatoria/2019/SU420-19.htm

Corte Constitucional de Colombia. (15 de diciembre de 2020). PRETORIA, sistema inteligente de la Corte Constitucional para apoyar la selección de tutelas, es premiada como mejor herramienta de modernización en materia de justicia por la CEJ. https://www.corteconstitucional.gov.co/noticia.php?PRETORIA,-sistema-inteligente-de-la-Corte-Constitucional-para-apoyar-la-selección-de-tutelas,-es-premiada-como-mejor-herramienta-de-modernización-en-materia-de-justicia-por-la-CEJ-9031

Corte Constitucional de Colombia. (27 de junio de 2020). PRETORIA, un ejemplo de incorporación de tecnologías de punta en el sector justicia. Corte Constitucional de Colombia. https://www.corteconstitucional.gov.co/noticia.php?PRETORIA,-un-ejemplo-de-incorporación-de-tecnologías-de-punta-en-el-sector-justicia-8970

Diario Constitucional. (29 de enero de 2023). Tribunales chinos utilizan asistentes con inteligencia artificial para dictar resoluciones. https://www.diarioconstitucional.cl/2023/01/29/tribunales-chinos-utilizan-asistentes-con-inteligencia-artificial-para-dictar-resoluciones/

Du, G. (6 de octubre de 2019). Cómo el Tribunal de Internet de Beijing desarrolla y ejecuta

su sistema de TI: Dentro de los Tribunales de Internet de China Serie -04.

China Justice Observer. https://es.chinajusticeobserver.com/a/how-the-beijing-internet-court-develops-and-runs-its-it-system

Estévez, E., Linares, S., & Fillottrani, P. (2020). Prometea: Transformando la administración de justicia con herramientas de inteligencia artificial. Banco Interamericano de Desarrollo. https://ri.conicet.gov.ar/handle/11336/183777

Ercilla, J. (2020). Tribunales virtuales y procedimiento online: solución de contingencia ante pandemias o evolución necesaria. Revista De Trabajo Y Seguridad Social. CEF, (446), 109–141. https://doi.org/10.51302/rtss.2020.1072

Ferrante, E. (2021). Inteligencia artificial y sesgos algorítmicos ¿Por qué deberían importarnos? Nueva sociedad, (294), 27-36. https://biblat.unam.mx/es/revista/nueva-sociedad/articulo/inteligencia-artificial-y-sesgos-algoritmicos-por-que-deberian-importarnos

Ferrovial. (2023). ¿Qué son los algoritmos? https://www.ferrovial.com/es/stem/algoritmos/#:~:text=En%20inform%C3%A1tica%2C%20se%20llaman%20algoritmos,seguir%20para%20alcanzar%20un%20objetivo

Fonseca, M. (28 de diciembre de 2023). Colombia avanza en la regulación de Inteligencia Artificial. Asuntos Legales. https://www.asuntoslegales.com.co/consultorio/colombia-avanza-en-la-regulacion-de-inteligencia-artificial-3773836

Furini, M., Mirri, S., Montangero, M., & Prandi, C. (2020). Privacy perception when using smartphone applications. Mobile Networks and Applications, 25, 1055-1061. https://link.springer.com/article/10.1007/s11036-020-01529-z

Guío, A., Tamayo, E., & Gómez, P. (2021). Marco ético para la inteligencia artificial en Colombia. MINCIENCIAS. https://minciencias.gov.co/sites/default/files/marco-etico-ia-colombia-2021.pdf

Guerrero Martínez, R. (2020). Derechos humanos de cuarta generación y las tecnologías de la información y de la comunicación. DF Debate, 12(48), 12 25. http://historico.cedhj.org.mx/revista%20DF%20Debate/articulos/revista_No12/ADEBATE-12-art8.pdf

Gutiérrez, J. (21 de agosto de 2020). Retos éticos de la inteligencia artificial en el proceso judicial. ResearchGate. https://www.researchgate.net/publication/343797970_Retos_eticos_de_la_inteligencia_artificial_en_el_proceso_judicial

Halling, M. (12 de junio de 2023). Artificial intelligence and international criminal law. EJIL: Talk! https://www.ejiltalk.org/artificial-intelligence-and-international-criminal-law/

Hermosilla, O. (2023). La indemnidad mental: nueva dimensión del derecho fundamental a la intimidad de las personas trabajadoras. Hacia el reconocimiento de Neuroderechos como Derechos básicos del ser humano. Revista Crítica de Relaciones de Trabajo, Laborum, (6), 61-77. https://revista.laborum.es/index.php/revreltra/article/view/714

Hernández, R., Fernández, C., & BAPTISTA, P. (2006). Metodología de la Investigación 4ª ed. Méjico, DF.

Hernández, R., Fernández, C., & Baptista, P. (2014). Metodología de la investigación (Vol. 6, pp. 102-256). méxico: mcGraw-Hill.

IBM. (s.f.). Blockchain. IBM. https://www.ibm.com/es-es/topics/blockchai

Jakubowska, E, Mahmoudi., M y Maryam, H. (21 de abril de 2023). La vigilancia mediante reconocimiento facial retrospectivo oculta abusos contra los derechos humanos. Amnistía Internacional. https://www.es.amnesty.org/en-que-estamos/blog/historia/articulo/la-vigilancia-mediante-reconocimiento-facial-retrospectivo-oculta-abusos-contra-los-derechos-humanos/

Junio Marketing. (S.f.). Conoce Su Secreto: IA y Marketing Emocional En Negocios Exitosos. https://juniomarketing.com/conoce-su-secreto-ia-y-marketing-emocional-en-negocios-exitosos/

Liberatore, F, Quijano-Sánchez, L., & Camacho-Collados, M. (2019). Aplicaciones de la ciencia de datos en el ámbito policial: VeriPol como herramienta de apoyo a la investigación. Número especial 4 euros. L. Enf't Rsch. Toro. , 89. https://heinonline.org/HOL/LandingPage?handle=hein.journals/elerb4000&div=13&id=&page=

Lipton, Z (2018). El mito de la interpretabilidad del modelo: en el aprendizaje automático, el concepto de interpretabilidad es importante y resbaladizo. Cola, 16 (3), 31-57. https://dl.acm.org/doi/pdf/10.1145/3236386.3241340

Kusch, P. (2019). Ley 20.886 sobre tramitación electrónica y el documento electrónico como prueba en juicio [Tesis de grado]. Universidad de Chile. https://repositorio.uchile.cl/handle/2250/168129

Manzanares, R. (2022). Nuevas tecnologías y prueba en el proceso penal. Especial incidencia en Inteligencia Artificial. Derecho Digital e Innovación. Revista de Derecho Digital e Innovación, (11), 2. https://dialnet.unirioja.es/servlet/articulo?codigo=8402093

Medina, O y Gómez, L. (16 de julio de 2020). “Watson”, el investigador inteligente

con el que la Fiscalía busca cerrarle el paso al crimen. El País.

https://www.elpais.com.co/judicial/watson-el-investigador-inteligente-con-el-que-la-fiscalia-busca-cerrarle-el-paso-al-crimen.html

Méndez, L y Sánchez, R. (24 de abril de 2023). Inteligencia artificial y el futuro del derecho. Nexos. https://eljuegodelacorte.nexos.com.mx/inteligencia-artificial-y-el-futuro-del-derecho/

Minaggia, M. (2023). La inteligencia artificial en el derecho penal: la utilización de algoritmos predictivos. Revista del Ministerio Público de la Defensa, 20(278), 297-315. https://repositorio.mpd.gov.ar/jspui/bitstream/123456789/4810/3/Minaggia%20%282023%2c%20278-297%29.pdf

Mittelstadt, B. (2019). Principles alone cannot guarantee ethical AI. Nature Machine Intelligence, 1(11), 501-507. https://doi.org/10.1038/s42256-019-0114-4

Mozur, P. (2018). Inside China’s dystopian dreams: A.I., shame and lots of cameras. The New York Times. https://www.nytimes.com/2018/07/08/business/china-surveillance-technology.html

Naciones Unidas. (15 de septiembre de 2021). Los riesgos de la inteligencia artificial

para la privacidad exigen medidas urgentes. https://www.ohchr.org/es/press-releases/2021/09/artificial-intelligence-risks-privacy-demand-urgent-action-bachelet

Nissenbaum, H. (2004). Privacy as contextual integrity. Washington Law Review, 79(1), 119-158. https://digitalcommons.law.uw.edu/wlr/vol79/iss1/10/

Noble, S. (2018). Algorithms of oppression: How search engines reinforce racism. New York University Press. https://psycnet.apa.org/record/2018-08016-000

Otero, C. (2022). China utiliza jueces robot para dictar sentencias en varios tipos de delitos menores. Meristation. https://as.com/meristation/2022/03/19/betech/1647672219_333452.html

Oswald, M., Grace, J., Urwin, S., & Barnes, G. C. (2022). Algorithmic risk

assessment policing models: Lessons from the Durham HART model and

‘Experimental’ proportionality. Information & Communications Technology

Law, 31(2), 223-250.

https://www.tandfonline.com/doi/full/10.1080/13600834.2018.1458455

Organización de los Estados de América. (1969). Convención Americana sobre los Derechos Humanos. https://www.oas.org/dil/esp/1969_Convenci%C3%B3n_Americana_sobre_Derechos_Humanos.pdf

Orias, R. (2022). Informe de avance: Principios Interamericanos en materia de Neurociencias. Neurotecnologías y Derechos Humanos. Organización de los Estados Unidos. https://www.oas.org/es/sla/cji/docs/CJI-doc_662-22_ESP.pdf

Pérez, E. (12 de enero de 2023). DoNotPay será la primera IA en defender a un acusado como abogado. La Justicia no lo ve con buenos ojos. XACATA. https://www.xataka.com/legislacion-y-derechos/donotpay-sera-primera-ia-defender-a-acusado-como-abogado-justicia-no-ve-buenos-ojos

Presno, M. (2023). Derechos fundamentales e inteligencia artificial. Marcial Pons. https://books.google.es/books?hl=es&lr=&id=InTLEAAAQBAJ&oi=fnd&pg=PA9&dq=Amenazas+a+la+privacidad+mental++La+privacidad+mental+est%C3%A1+siendo+amenazada+por+el+desarrollo+de+nuevas+tecnolog%C3%ADas,+como+la+inteligencia+artificial.+Los+algoritmos+de+IA+pueden+utilizarse+para+recopilar+y+analizar+datos+mentales,+como+las+expresiones+faciales,+el+tono+de+voz+y+los+patrones+de+actividad+cerebral.+Esto+podr%C3%ADa+utilizarse+para+inferir+pensamientos,+sentimientos+y+otros+atributos+psicol%C3%B3gicos+de+las+personas,+sin+su+conocimiento+ni+consentimiento.&ots=djYhGst0_l&sig=qu5noOfUfFesWOAw0h8SCZqY1zs#v=onepage&q&f=false

Porcelli, A. (2020). La inteligencia artificial y la robótica: sus dilemas sociales, éticos

y jurídicos. Derecho global. Estudios sobre derecho y justicia, 6(16), 49-105. http://www.derechoglobal.cucsh.udg.mx/index.php/DG/article/view/286

Redacción DEF. (6 de agosto de 2022). Video: Vigilancia extrema en China, ¿en qué consisten los polémicos sistemas de control ciudadana? Infobae. https://www.infobae.com/def/2022/08/06/video-vigilancia-extrema-en-china-en-que-consisten-los-polemicos-sistemas-de-control-ciudadana/

Richardson, R., Schultz, J., & Crawford, K. (2019). Dirty data, bad predictions: How

civil rights violations impact police data, predictive policing systems, and

justice. New York University Law Review, 94(15), 192-233.

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3333423

Rincón, A. (2023). Interpretaciones de los profesionales de la salud sobre el uso de la inteligencia artificial (IA) como tecnología de impacto a la salud pública, análisis desde las ciencias cognitivas. [Tesis de maestría]. Universidad El Bosque. https://repositorio.unbosque.edu.co/bitstream/handle/20.500.12495/10909/Trabajo%20de%20grado%20-Interpretaciones%20profesionales%20de%20la%20salud%20uso%20de%20IA%20%281%29.pdf?sequence=1&isAllowed=y

Rodriguez, A. (25 de abril de 2023). Inteligencia Artificial en la Toma de Decisiones Judiciales. Ferrere. https://www.ferrere.com/es/novedades/inteligencia-artificial-en-la-toma-de-decisiones-judiciales/

Rodríguez, P. (17 de octubre de 2019). Yo vivo con el sistema de crédito social chino y creo que los medios occidentales lo han contado mal. Xataka.

https://www.xataka.com/privacidad/yo-vivo-china-no-conozco-a-nadie-que-tenga-sistema-credito-social

Salazar, V. (2019). Racionalización de la detención preventiva en Colombia mediante instrumentos de evaluación del riesgo: un análisis a la herramienta PRiSMA. [Tesis de pregrado]. Universidad Externado. https://bdigital.uexternado.edu.co/server/api/core/bitstreams/6dabb0d0-87b3-4e9b-8532-efd800b107e4/content

Sánchez, L. (2019). El sistema de Hard-Law y Soft-Law en relación con la defensa de los derechos fundamentales, la igualdad y la no discriminación | The Hard-Law and Soft-Law system regarding the defence of fundamental rights, equality and non-discrimination. Cuadernos Electrónicos De Filosofía Del Derecho, (39), 468–488. https://turia.uv.es/index.php/CEFD/article/view/14293

Senado de la República de Colombia. (2023). Proyecto de ley 091 de 2023: Inteligencia artificial. https://leyes.senado.gov.co/proyectos/images/documentos/Textos%20Radicados/proyectos%20de%20ley/2023%20-%202024/PL%20091-23%20Inteligencia%20Artificial.pdf

The Technolawgist. (13 de diciembre de 2019). China, el monstruo mundial en inteligencia

Artificial que utiliza cientos de jueces robot.

https://www.thetechnolawgist.com/2019/12/13/china-el-monstruo-mundial-en-inteligencia-artificial-que-utiliza-cientos-de-jueces-robot/

UNESCO. (23 de noviembre 2021). Recomendación sobre la ética de la inteligencia artificial. https://www.unesco.org/es/legal-affairs/recommendation-ethics-artificial-intelligence

Valentin, G. (2023). Algunos apuntes para el diseño de bases normativas mínimas sobre la utilización de la inteligencia artificial en los sistemas de justicia. Revista Uruguaya de Derecho Procesal, (1-2), 65-82. https://revistas.fcu.com.uy/index.php/rudp/article/view/4319

Verma, S. (2019). Weapons of math destruction: how big data increases inequality and threatens democracy. Vikalpa, 44(2), 97-98. https://journals.sagepub.com/doi/full/10.1177/0256090919853933

Vervloesem, K. (2020). How Dutch activists got an invasive fraud detection

algorithm banned. AlgorithmWatch.

https://automatingsociety.algorithmwatch.org/report2020/netherlands/netherlands-story/

Yeung, K. (2018). Algorithmic regulation: A critical interrogation. Regulation &

Governance, 12(4), 505-523. https://doi.org/10.1111/rego.12158

Zhabina, A. (20 de enero de 2023). How China's AI is automating the legal system. DW News. https://www.dw.com/en/how-chinas-ai-is-automating-the-legal-system/a-64465988

Zuboff, S. (2023). The age of surveillance capitalism. In Social theory re-wired (pp. 203-213). Routledge. https://www.academia.edu/43229446/Shoshana_Zuboff_The_Age_of_Surveillance_Capitalism_The_Fight_for_a_Human_Future_at_the_New_Frontier_of_Power

Downloads

Published

2024-01-22

Issue

Section

Artículos de investigación científica y tecnológica