Como investigadores estamos cegados por el interés de generar evidencia. En el afán por implementar el proyecto perfecto y conseguir el dato ideal, desconocemos los impactos que nuestras investigaciones tienen en los sujetos o procesos relacionados al proyecto.

Durante las últimas dos décadas los métodos experimentales han ganado protagonismo en los procesos de innovación pública. Como si estuviéramos en un laboratorio, argumentamos que podemos utilizar algunas herramientas (en particular la asignación aleatoria a tratamientos o RCT por sus siglas en inglés) para medir el efecto de nuestras intervenciones.  Los randomistas (1), como se les conoce por el uso de la aleatorización, han probado que los RCTs sirven para aislar y medir el efecto que tienen programas para combatir la pobreza (2). Pero estos avances académicos han venido acompañados de retos éticos relacionados al uso de los RCTs como metodología de innovación. Podemos hablar de dos retos relacionados a por qué y cuándo aleatorizar.

• Le puede interesar: En defensa de la vida, el agua y las voces ciudadanas

Antes de continuar quiero aclarar a qué me refiero cuando hablo de un RCT. La manera más fácil de entender la metodología es pensar en un ensayo de control clínico para un medicamento. Tenemos un grupo de pacientes, que para todos sus efectos son iguales, y decidimos dividirlos al azar en dos grupos. A un grupo le damos la medicina que queremos evaluar y al otro grupo no le damos nada. Si la medicina que dimos fue lo único que cambió entre los dos grupos, podemos asumir que el efecto promedio, es decir, la mejora de la mayoría de los pacientes tratados tiene que darse gracias a esa intervención. Debido a las estadísticas detrás del método y la asignación aleatoria podemos suponer que “lo único que cambia” es la intervención, o medicina en este caso, y por ello podemos medir el impacto que tiene.

Un RCT permite evaluar el efecto de casi cualquier tipo de intervención, excepto quizás los riesgos de usar un paracaídas defectuoso. Como la herramienta no nos limita, podríamos utilizarla para determinar quiénes entre los participantes pueden acceder al servicio de acueducto o un cupo en un colegio

Suena raro ¿No? Lamentablemente no es tan extraño. Por ejemplo, en agosto pasado se generó un debate entre economistas por una investigación que asignaba al azar a algunos hogares a cortes de agua si se constituían en mora en el pago del servicio (3) ¿Cuál sería la motivación para utilizar un RCT con poblaciones vulnerables o en contextos donde la aleatorización puede privar a un individuo de un bien esencial? Presentaré dos ejemplos de incentivos que podrían motivar la elección de la metodología, sin argumentar que esto fue lo que sucedió en ese caso.

Factores clave

Los RCTs se han convertido en la herramienta predilecta para medir el efecto de los programas. Pero los RCTs no son la única herramienta para medir el impacto y no deberían ser preferidos por ser fáciles de implementar. La elección del método de investigación debería responder a las necesidades de la investigación y no a qué tan fácil es adelantar el estudio. Una aproximación ética a la experimentación nos obligaría a ser críticos cuando diseñamos soluciones innovadoras asegurando que la metodología que elegimos es realmente útil para responder a la pregunta que estamos haciendo y no simplemente la manera más fácil de medir el impacto.

Otra razón para preferir un RCT está ligada al sesgo de publicación, que afecta particularmente a los investigadores junior. Por ejemplo, en economía, el número de RCTs parece no haber aumentado en las revistas más importantes, pero sí se evidencia un incremento en la aceptación de ponencias que utilizan esta metodología en conferencias que atraen a los investigadores al comienzo de su carrera (4).  Aunque los datos no son definitivos, parecería que los RCTs serían privilegiados por los investigadores pensando que su uso le dará más oportunidades a su investigación de ser expuesta y compartida.

• Para leer: Un escudo contra la estigmatización

En estos dos escenarios, el investigador termina por no elegir la herramienta con base en la pregunta que quiere responder, sino en los incentivos que existen alrededor de la producción y validación de su investigación.

Los investigadores también debemos detenernos y pensar por fuera de nuestra actividad, reconociendo los efectos que estos procesos tienen. Un ejemplo recurrente está relacionado con responder cuestionarios. Estos instrumentos permiten generar los datos que necesitamos y parecerían no ser muy intrusivos. Olvidamos que esa hora que el participante dedicó al estudio pudo ser dedicada a otras actividades más valiosas e importantes para él o ella.

También se puede dar el caso donde una intervención podía ser innocua en cierto contexto, pero problemática en otro. Pensemos, por ejemplo, en un RCT que está evaluando cómo mensajes de texto pueden cambiar la percepción que tienen individuos sobre el Estado. Esta intervención que a primera vista podría ser inofensiva; podría, durante un ciclo electoral, ser éticamente cuestionable y problemática si termina sesgando a los electores a votar de una u otra manera o si termina socavando el derecho al voto de algunos participantes. Por ello, el dilema ético de cuándo utilizar un RCT también implica reconocer las cargas que estamos poniendo en cabeza de los participantes y las consecuencias secundarias que nuestras intervenciones generan.

Invitación

He presentado retos éticos asociados a la innovación pública basada en un RCT, pero no pretendo desvirtuar el valor de estos. De hecho, en el Laboratorio de Innovación de la Procuraduría los usamos constantemente. Pero quiero invitar a quienes lean este escrito, a cuestionar las herramientas que utilizamos en los procesos de innovación pública. Los RCTs, como cualquier otra herramienta, suelen estar sesgados por nuestras propias falencias.

Debido a que en el centro de los RCTs están los individuos y que nuestros experimentos tienen consecuencias, debemos ser críticos antes de implementarlos. Debemos preguntar si nuestra investigación es pertinente y necesaria, si puede generar riesgos para los participantes, si es demasiado intrusiva, o si existen alternativas metodológicas que responden mejor a nuestras preguntas.

También debemos reconocer que algunas intervenciones son muy riesgosas o generan disparidades entre los participantes del experimento y no se justifican por la necesidad de generar evidencia. Esta reflexión sobre la ética detrás de las innovaciones que aplicamos, y el reconocimiento de nuestros sesgos cuando queremos generar evidencia, debería ser el punto de partida de los procesos de innovación pública. Quizás dejemos preguntas sin contestar, pero, por lo menos tendremos la certeza de que las innovaciones públicas que aplicamos no afectarán a los individuos o socavarán los procesos de generación de valor público.

1. Término acuñado por la palabra “randomization” en inglés.
2. Entre otros se destacan entre los randomistas los ganadores del Nobel de Economía en 2019: Abhijit Banerjee, Esther Duflo y Michael Kremer. Para conocer más sobre sus hallazgos ver entre otros: Banerjee & Duflo Repensando la pobreza, 2011; Good Economics for Hard Times, 2019; Karlan & Appel, More than good intentions, 2012.
3. Por temas de espacio no daré todos los detalles del debate, pero la discusión concluyó con el retiro temporal de la investigación (https://www.nber.org/papers/w27569)  y una sentida explicación de los autores sobre los cuestionamientos éticos que se hacían al experimento (https://drive.google.com/file/d/1nVGR4qlhWt2EcNiy6d02By3e4kptVSer/view).
4. Banerjee, Duflo & Kremer, 2016 https://scholar.harvard.edu/files/kremer/files/the-influence-of-rcts-on-developmental-economics-research-and-development-policy.pdf