Los datos a menudo se pueden utilizar para contar muchas historias.

Fuente: blende12/Pixabay

La mayoría de la gente cree que vivir en una gran ciudad es más peligroso que vivir en los suburbios o en el campo. Después de todo, él es violento. criminalidad tiende a ser mucho mayor en las zonas urbanas (Anderson, 2022), y eso incluye el asesinato. Entonces, si su objetivo principal es reducir su riesgo de muerte por homicidio, es mejor mantenerse alejado de la vida de la ciudad.

Pero esta no es la única forma de cuantificar cuán peligrosos son los diferentes asentamientos. Zorro (2022) demostrado recientemente utilizando datos de 1999 a 2020^[1]. Cuando se analizan solo los homicidios, las grandes áreas metropolitanas son más peligrosas que las áreas no metropolitanas. Pero una vez que se tienen en cuenta los accidentes de tráfico como la causa de muerte que acompaña al homicidio, las áreas fuera del metro se vuelven mucho más peligrosas en general (alrededor de un 80 % más peligrosas que la ciudad de Nueva York específicamente, y un 35 % más peligrosas que las principales áreas metropolitanas en general).^[2].

Los resultados vuelven a cambiar cuando amplía la causa de muerte para incluir «causas externas» (p. ej., envenenamiento accidental, complicaciones quirúrgicas). De acuerdo con esta medida, las áreas no metropolitanas tienen un riesgo 102 % mayor que la ciudad de Nueva York y un riesgo 29 % mayor que las grandes áreas metropolitanas en su conjunto. Entonces, vive en una gran ciudad. Realmente más peligroso que otros asentamientos? La conclusión que saque variará según los riesgos que incluya.

Di el ejemplo anterior para no alentar a las personas a mudarse a las grandes ciudades.^[3]. Mi ejemplo se usó para resaltar cómo las conclusiones que sacamos a menudo se ven influenciadas por las elecciones que hacemos, desde qué datos usamos hasta cómo los recopilamos para los análisis específicos que realizamos. Y, al menos en este ejemplo, los datos de la misma fuente (Fox usó datos de los CDC) pueden usarse para argumentar que las grandes áreas metropolitanas son más peligrosas y menos peligrosas que las áreas no metropolitanas.

Para que no creas que se trata de un caso aislado, este problema puede darse en muchas otras situaciones. Ejemplo, Mortal (2020) y Cartledge (2021) ambos muestran, utilizando tipos muy diferentes de dominios de investigación, que la forma en que los analistas toman decisiones sobre el proceso de análisis a menudo determina los resultados que obtienen. Así que este no es un problema aislado.

De todo esto quiero hacer el siguiente punto datos o evidencia rara vez es de naturaleza verdaderamente objetiva. mucho humano Toma de decisiones depende de qué datos recopilar, cómo agregarlos y analizarlos y, posteriormente, qué conclusiones sacar de ellos.

Tomemos por ejemplo la determinación de qué ciudad es la más peligrosa. Ya he mostrado cómo la determinación de los más peligrosos sobre la base de los homicidios arroja una conclusión muy diferente a la de los más peligrosos cuando se consideran los homicidios y las muertes en el transporte. entonces que hay El más peligroso ya está abierto a la interpretación subjetiva.

El peligro debe ser operacionalizado (definido de tal manera que permita la comparación relativa o absoluta de las opciones) para que sea de alguna utilidad para las conclusiones que probablemente se vean influenciadas por los tomadores de decisiones. contexto psicologico (actitudes, creencias, prejuicio, y experiencia previa del tomador de decisiones). Es probable que una variedad de sesgos entren en juego como parte del contexto psicológico sesgos motivacionales (cuál es el motivo de la decisión) a prejuicios de valor (peso dado a diferentes resultados). Estos sesgos pueden cambiar todo el proceso de toma de decisiones.

Por ejemplo, suponga que el alcalde de un área metropolitana grande (metro A) pronto será reelegido. En este escenario, el total de homicidios y muertes relacionados con el tráfico se compara favorablemente con otras áreas metropolitanas comparables (metro B y C), mostrando un riesgo agregado más bajo en el metro A que en B y C. La campaña de la alcaldía puede ver esto como evidencia de que el alcalde éxito y concluir que la evidencia apoya la reelección del alcalde. En última instancia, usando esta operacionalización, el metro A es Menos más peligroso que los subterráneos B y C. Pero también hay un incentivo obvio para insistir en este mensaje porque retrata al alcalde bajo una luz favorable.

Sin embargo, supongamos que el desempeño general es generalmente mejor para el metro A, pero esto se debe en gran medida al riesgo significativamente menor de muertes relacionadas con el tránsito en comparación con B y C. Resulta que el metro A tiene una tasa de homicidios mucho más alta que B o C. El oponente del alcalde aprovecha esta información para argumentar la conclusión contraria, que el metro A más más peligroso que B o C, y señala la diferencia en las tasas de homicidios como evidencia de la necesidad de un cambio de alcalde.

Técnicamente, debido a las diferencias en cómo implementaron peligro, tanto el titular como el retador serían correctos. Si esta cuestión fuera el factor decisivo en la elección, la victoria del candidato se reduciría a qué resultado es más relevante para los votantes: el peligro general o el peligro causado por el asesinato en sí.^[4].

Figura 1. Modelo general input-throughput-output

Fuente: Atentamente

Aunque este ejemplo es ficticio, muestra cómo las conclusiones pueden variar dependiendo de muchos factores. Podemos representar esto usando un modelo general de entrada, rendimiento y salida (Figura 1), donde las entradas se refieren a qué datos se usan, el rendimiento se refiere a cómo sopesamos esos datos y las estrategias específicas que usamos para tomar decisiones, y el resultado es la decisión en sí. Cambiar las entradas puede cambiar la decisión final (por ejemplo, considerar solo X puede conducir a una elección de decisión, pero considerar X e Y puede conducir a otra elección de decisión), al igual que cambiar el rendimiento (usar la estrategia de decisión A puede conducir a una elección de decisión , pero el uso de la estrategia de toma de decisiones B puede conducir a una elección de decisión diferente).

Esta es la razón principal Kolskii (2012) argumentó que todos los datos son contextuales. Los datos a menudo brindan poca información a menos que podamos comprender cómo tanto los datos de entrada como el rendimiento afectaron las conclusiones extraídas de esos datos.

Por lo tanto, la próxima vez que alguien afirme que «la evidencia es clara de que X» (o algo similar), pregúntese si el contexto (es decir, la entrada y el ancho de banda) utilizado para agregar X es razonable o si el contexto fue especialmente seleccionado para sumar X (a diferencia de Y o Z). Esto puede cambiar su decisión de aceptar o rechazar X.

Entonces, cuando decidas qué localidad es más peligrosa o por qué alcalde votar, recuerda que los datos que estás usando para sacar esas conclusiones se basan en un contexto específico, un contexto que puede ser más subjetivo de lo que entiendes.