La verdad, no sé por dónde empezar.
Mi opinión es que las investigaciones científicas actuales se tendrían que centrar (ya hay líneas con ese propósito, pero no todos) en el no-hacer:
https://en.wikipedia.org/wiki/Falsifiability
Dado que 1 prueba en contra de algo tumba 1000 a favor, y esta simple sentencia a mí me costó de entender (¡me cuesta!) y cuando la divulgas al público hasta un catedrático puede estar en contra si eso no va con sus intereses o ataca cosas que tiene muy arreladas en lo que él cree que son axiomas o cuestiones induscutibles o incriticables. Nassim Nicholas Taleb en su libro “Cisne Negro” lo explica con una conversación que tuvo con un colega mientras andaban por un camino donde en un momento dado tenían que cruzar la carretera y su analogía del cisne negro (1 negro desmonta la hipótesis “todos los cisnes son blancos”) era con un coche rojo (“no hay coches rojos”). Cuando pasó un coche blanco, el compañero de Nassim exclamó:
-¡Mira mira Nassim! No-cisne negro
Lo comentaba como algo gracioso, y creo que tardé como 20 minutos (leo andando y quería comprender el significado de la frase, así que puse mi punto de libro a esa página y le di al coco como casi nunca he hecho) en pillarlo. Cuando expones la confirmación de tu hipótesis al revés de lo que dirías (“coche blanco”, “coche negro”) ves que refuerzas la que has anunciado al principio; ver “más pruebas de que no hay coches rojos”. Pero si lo cambias por no-coche-rojo, te das cuenta de tu gilipollez y que seguramente habrá o infinitos casos así (si no existen coches rojos) o infinitos – 1 (menor posibilidad, que sólo haya 1) o [infinitos – (casos que contradigan tu hipótesis)]. Entonces, ¿por qué acumular evidencia positiva si lo mejor es ir a desmontar tu principio y si resiste pues dejarlo pero siempre con escepticismo para re-evaluarlo cuando sea?
Es aquí donde uno en el ámbito sanitario (medicina, nutrición, fisioterapia, deporte…) ya le chirrían cosas cuando uno va a ponencias de nivel nacional (España) y oye a “expertos” (o autodenominados o por otras personas) diciendo que “el Danacol funciona dado que si uno busca en Pubmed hay más de 200 entradas científicas sobre sus beneficios en la salud”. Aquí uno ya detecta que le están vendiendo la moto. ¿Qué perjuicios hay? ¿Hay incertidumbres sobre qué sucede en el organismo con esos niveles aumentados de fitoesteroles? ¿Esas entradas son en humanos con estudios doble ciego aleatorios? ¿Por quién están financiados?
Lo que os comento de la ponencia es un caso real:
http://midietacojea.com/2015/01/28/patrocinar-o-no-patrocinar-he-ahi-la-cuestion/
Y la que esgrimió esa frase tan cateta fue alguien con conflictos de interés con Danone. ¿Puede tener razón aún así? Sí, los conflictos de interés son correlaciones que no muestran causalidad, pero como en cada mamoneo de esta índole (alimentaria, farmacéutica, médica, psiquiátrica…) hay intereses detrás siempre; uno tiene que encender la alarma y estar atento tanto a lo que dice ese estudio / propuesta / mensaje, como lo que no dice y mirar todo lo demás. Aunque el primero comulgue con su idea de la “realidad” y demás.
En medicina tanto en España como fueran hay casos de “no-hacer” interesantes:
http://www.nogracias.eu/2015/02/08/el-documento-hacer-de-la-seram-una-oportunidad-perdida-por-luisa-lores/
http://www.choosingwisely.org/resources/ => la choosing wisely list es una guía de no-hacer por los profesionales que curran en diferentes ámbitos y mediante su conocimiento + experiencia proponen una lista de lo que no creen coste-eficiente hacer, lo que puede causar sobrediagnóstico, etc… es muy seguida en su país (creo que UK) y se mea en toda la evidencia sesgada aportada por la “ciencia” tan objetiva que cree la mayoría de las personas. No sé quién dijo que al final la creencia en los datos que te presentan se basa en la confianza, y claramente vas a tener el piloto crítico siempre encendido cuando una empresa que vende antidepresivos te quiera convencer de las bondades de su producto. Pero la controversia igualmente existe, y unos dirán que se fían de los datos y no de personas, y otros que sólo de personas altruistas. Yo me mantengo en un punto medio, teniendo claro que leer estudios sobre la gripe y qué es más efectivo para tratarla también se comprende tratando a pacientes, no en tu escritorio leyendo sin “mancharte las manos”. De eso pecan muchos biocentristas / amantes del imperialismo biológico y su “la genética lo salvará todo”
Con ese ejemplo introductorio quiero vehiculizar los claroscuros de la evidencia científica que siempre se alza como un ente que mueve pero no puede ser movido, y dado que llevaré unos años algo obsesionado con ello, os compartiré lo que me ha hecho dudar sobre el uso del sistema, que no el sistema el sí (como dice Ben Goldacre, “que el rotor número 14 del avión tenga un fallo no quiere decir que las alfombras vuelen”. Es lo mejor que hay por ahora y nos salva de hacer el cazurro muchas veces, pero existen fallos llevados a la práctica y hay que acabar con ellos si queremos ser decentes a nivel moral y ético).
Publication bias: para no rallaros con datos y tablas, mi consejo es que miréis en youtube todo lo de John Ioannidis (y al cuarto o quinto video ya os sonarán diapositivas y os quedaréis más con la copla general). Aparte, como he dicho, está la importancia de publicar los resultados negativos:
http://pharmagossip.blogspot.com.es/2009/06/negative-studies.html
Mediante estudios empíricos se ha conseguido un índice que se repite again and again, el famoso 50%.
-Tabris, ¿qué es eso?
Son los estudios que no se publican. Tanto en biomedicina como en otros campos uno tiene que registrar su estudio con sus características y demás en clinicaltrials.gov (si quiere estar en esa base de datos) para tener un número asignado (“NCTXXXXXX” normalmente). Después, cuando acaba el estudio (por finalización natural o por interrupción por causas ajenas) puedes asignar esa variable única a tu publicación, que puede ser open access (con sus claroscuros que explicaré más adelante) pagando, open access gratuito (arxiv.org), otras revistas científicas con peer review o no, mediante pago o no… las posibilidades son infinitas gracias a que quien administra el asunto normalmente obtiene beneficios enseguida y muy altos (Elsevier). Un investigador tiene que publicar para obtener notoriedad en su campo (las veces que publicas artículos y las veces que te citan se usa en un algoritmo para medir tu “popularidad”), y se aprovechan de ello. Es muy resumido y existen más problemas (publicar varias veces con diferentes estudios el número asignado para ello, dando a entender que ese tratamiento es muy efectivo cuando lo que se ha hecho es manipular el sesgo de disponibilidad: te llega de diferentes sitios que ese tratamiento funciona pero sólo lo ha demostrado una vez). Para el sesgo de disponibilidad y otros sesgos / heurísticas recomiendo leer a Daniel Kahneman, pero de forma superficial se puede usar la wikipedia
-¿Qué problema existe con ello? Si algo no se publica pues no era interesante o los investigadores decidieron que no era relevante
Primero que todo es relevante. Segundo que normalmente lo que se esconde son resultados negativos, y si no sabemos los no-efectos de algo (fármaco, tratamiento…) estamos dando palos de ciego recomendando éstos sólo por sus positive outcomes (lo que ha “funcionado”, otro tema puntiagudo). Por lo tanto, mediante la búsqueda de estudios tenemos ya de entrada una idea distorsionada de cualquier cosa (dieta mediterránea, meditación en depresión, tratamiento oncológico en ancianos con tumores malignos…). Sobrevaloramos lo que nos cuentan como positivo, infravaloramos lo negativo (sin efecto relevante). Aparte, ya se ha dicho de hacer una revista científica de resultados negativos para dar la importancia merecida a éstos. Aunque sólo ha sido en el campo de la biotecnología en las plantas si mi memoria no me falla. Y no es el pensamiento general
¿Qué se ha sugerido? Pre-registro del estudio con condiciones inalterables, presentar la raw data (datos crudos de lo que los investigadores han usado dado que no están obligados a mostrarlos o compartirlos), sería buena idea grabarse en el laboratorio y enseñar cómo se avanza y qué técnicas usan (la idea que menos fans tiene porque se apela a motivos de privacidad para no hacerlo), premiar a los investigadores con otros incentivos (no quien más publica, si no quien más ayuda a la comunidad, quien tiene los estudios más replicables, etc…). Estos problemas no son baladí, porque causan que aproximaciones en países desarrollados (para erradicar un parásito) comparando la efectividad de una cápsula de vitamina A o un fármaco que les proteja de estas infecciones se diga “pues era que sí pero después en el reanálisis resulta que no”, con el consiguiente gasto (si la financiación era pública) y muertes innecesarias:
http://www.buzzfeed.com/bengoldacre/deworming-trials
Otras metainvestigaciones (se les etiqueta como “estudios bibliométricos”, el estudio de nuestro conocimiento para conocer cómo y de qué manera conocemos) han encontrado hallazgos de que los estudios positivos publicados están patrocinados comercialmente o farmacológicamente, y los estudios negativos no publicados son de financiación pública (gasto que se pierde de forma totalmente voluntaria mediante elección de no perder ventas o sumar pruebas de no-efectividad a algo):
http://www.nogracias.eu/2014/05/19/fallo-de-la-mbe/
http://www.nogracias.eu/2013/03/22/la-manipulacion-de-la-evidencia-cientifica/
Por ahora está la campaña All Trials:
http://www.alltrials.net/
Pero hay algunos escépticos entre los cuales me identifico, que creen que eso no va a cambiar mucha cosa dado que los criterios de publicación puede ser manipulados rollo ver mis datos si me lo pides y sólo en una fecha concreta y durante un tiempo etc etc… y aparte en ella se han adherido lo peor de lo peor (Big Pharma) y opino que es para hacer un lavado de cara y decir “ei que nos preocupamos”. Y un huevo izquierdo. Tiene que ser por imposición y parar este desbalance. Normalmente el publication bias se define con el ejemplo de si te quedarías una casa habiendo visto sólo la mitad de las habitaciones. Y si fueras un agente inmobiliario y sólo tuvieras que enseñar la mitad que tú quisieras, ¿qué eligirías? ¿Y cómo lo presentarías? Creo que lo vais pillando. Tejemanejes everywhere.
P-valor: la cuestión más maniatada de toda la historia. El texto está cogiendo un tamaño exagerado y os pondré los 2 enlaces que tratan el tema con un nivel magistral:
https://www.sciencenews.org/blog/context/science-heroic-tragic-statistical-flaw?mode=blog&context=117
https://www.sciencenews.org/blog/context/top-10-ways-save-science-its-statistical-self
Y mejor dejarnos de rodeos xD. Cuando tú quieres demostrar algo (“tal medicina rula”, “pascual tratamiento mejora a mis pacientes”) montas una hipótesis nula negativa => “no hay diferencias entre grupo control y grupo tratado”.
Haces el estudio, apuntas los datos, y los comparas con herramientas matemáticas y esperas al p-valor (en principio gold standard y casi único parámetro de validación de efectividad de cualquier propuesta). La medida de relevancia se ha establecido por consenso (si no se dice lo contrario) en debajo de 0’05. Como se mide en tanto por 1, por debajo de 0’05 significa que hay más de un 95% de confianza de que el resultado no sea espurio (queda una diferencia de 5 / 100, que es 1 / 20). Uno puede elevar el p-valor de relevancia hacia 99’99% (0,001) si lo desea, pero te dejarías tratamientos válidos que no demostraran ese nivel de robustez en datos. La cosa está en poner una red para atrapar los peces que valen la pena y dejar escapar los que no, teniendo pocos peces malos (“falsos positivos”) y dejando escapar el mínimo de peces buenos (“falsos negativos”).
PROBLEMAS: a lo rápido también:
En investigación científica se llama “p-hacking”: re-reanalizar los datos hasta que salte un p-valor por debajo de 0’05 o hacer “data torturing”, que en este caso es intentar redondear los datos hacia donde nos interese (quitar una persona con respuesta extrema, re-analizar, si no nos sirve volverla a insertar y mirar en otro sitio, volver a analizar…). Hay diferentes estrategias, y unas son más evidentes de que hagan saltar las alarmas que otras. Hay libros y ensayos de algunos autores declarando que torturaban datos y cómo lo hacían. Es más fácil en ciencias “soft” (psiquiatría, psicología, nutrición, medicina…) que en hard science (matemáticas, física) aunque ninguna se salva (pero hay más incidencia en unas que en otras).
Aparte (aunque el tema es más filosófico) tenemos 2 problemas:
http://blogs.plos.org/publichealth/2015/06/24/p-values/
Algo positivo a nivel de significancia estadística (p-valor < 0’05) no quiere decir que sea clínicamente relevante (que el paciente ni lo note), y que algo no tenga relevancia estadística no quiere decir que uno no tenga que hacerlo si lo desea (dar un paseo por la montaña, tomar homeopatía, rezar). No hay que supeditarse a una herramienta de análisis matemático, aunque viene bien esa parte de la medicina basada en la evidencia para quitarnos de actividades dudosas (sangría en época de Hipócrates) o que no pasan unos filtros mínimos. Pero que algo pase esta franja no quiere decir que funcione. No quiere ni decir que no sea una farsa orquestrada mediante colusión (que no colisión) de intereses. Ejemplo que traducí en No Gracias:
http://www.nogracias.eu/2015/07/06/mala-medicina-en-el-diagnostico-y-tratamiento-de-la-osteoporosis/
Osteoporosis. Se mide la densidad ósea en cualquier hospital y se dan bifosfonatos como tratamiento principal recomendado, y no sirve de nada. Aparte, encima salió hace poco (con lo que meteré caña a mis profesores al volver de vacaciones jiji) que el suplementar con calcio y vitamina D a gente anciana no causa menos caídas ni previene el deterioro óseo:
http://www.bmj.com/content/bmj/351/bmj.h3170.full.pdf
Pasaron todos los p-valor esos estudios, se implementaron las prácticas como suplementos, “consensos de expertos” (me parto y me mondo con éstos), se apoyaron entre todos, se citaron… y resulta que erraron de forma fatal y ha habido gente sobretratada, muerta (suplementos de calcio aumentan riesgo accidente cardiovascular / arritmia) y se ha traspasado dinero público (hospitales con esa fuente de financiación) a privado. Como el caso tan famoso del Tamiflu:
http://blogs.telegraph.co.uk/news/tomchiversscience/100267236/the-tamiflu-scandal-will-be-repeated-and-people-will-die-unless-drug-companies-release-all-their-data/
http://www.theguardian.com/business/2014/apr/10/tamiflu-saga-drug-trials-big-pharma
Puf 2274 palabras ya xD. Muy tostón. Propongo que me preguntéis acerca de qué queréis que os hable sobre estos temas (sólo he mencionado 2 y me ha ocupado una barbaridad el texto) y si tengo una opinión formada + enlaces os lo pongo, y si no lo busco y así aprendo.
Aclaración: sí, podría decirse que soy un “pharma’s cold” (muy contrario a usar fármacos, sólo si no hay otra opción y la persona morirá si no) que rechaza el tratamiento farmacológico a no ser que vea evidencias muy duras (cada uno usa ese adjetivo con una imagen mental asociada). Pero no soy un negacionista ni en contra del cambio ni alguien anticuado (creo que los alimentos transgénicos por ejemplo sufren una estigmatización sin sentido por la mayoría de la población) ni un abrazador de árboles para curar el cáncer. Creo que la metodología científica falla por diferentes sitios (peer review, journals ganando chorromillones y guardando los datos para sí, KEL [Key Opinion Leaders] dictando la agenda política y social sobre un tema en concreto…) y me gusta debatir sobre ello, pero es imposible tanto en internet (menos en círculos minoritarios muy específicos donde hasta a mí, un completo ignorante me dieron voz y respetaron mis planteamientos) como cara a cara como mínimo en este país. No, en la universidad tampoco te escuchan y te tratan de magufo. Una profesora me dijo “los buenos científicos no adolecen de sesgos cognitivos”. No he vuelto a hablar con ella y no creo que lo vuelva a hacer. No se puede ser tan ignorante, me dieron ganas de abofetearla.
Así que estoy abierto a preguntas. Y si tenéis material, cuestiones que no tenéis tiempo de analizar y me las queréis facilitar, dudas… estaré encantadísimo. Creo que no imagináis cuánto xD.
Sobre si el tema es tan malo como se pinta: creo que es más grave que se tenga constancia empírica y que no se haga nada. Podremos vivir con estas falacias intelectuales vigentes hoy en día, pero la cosa es que casi todo kiski les gira la cara y quienes alzan la voz son sistemáticamente silenciados, puteados, ninguneados…
Demostró el sobrediagnóstico en cáncer de mama y las asociaciones que dependían de esas pruebas para financiarse le llamaron “statistical masturbator”. Esas personas no están fusiladas por su falta de ética, conflictos de interés y demás siendo los principales facilitadores de todo este tinglado. Cuando lo razonable es decir:
-Ahá, tienes pruebas. Vamos a mirarlas a ver si estamos equivocados
El “negarlo todo hasta que sea innegable y después decir que quizás sí la cagamos” es de política, no de ciencias. Pero la ciencia per se hace tiempo que se politizó.
Nada más. Saludos.
