De El Pinacle Al Pit

Amb disculpes a Ghost.

Així, això va passar.

Breu història: Brian Wansink és professor de Cornell. La seva obra ha estat estudiada per la seva inexactitud. He fet algunes petites contribucions personals a aquest escrutini. D’altres n’han fet molts més. Les incoherències descobertes inclouen mitjans i desviacions estàndard que no poden existir, distribucions de dades que no poden existir (o només existeixen en condicions lúdiques), mides de mostres repetidament estranyes, autolagiat, anomalies estadístiques, perdiu, perera, etc.

Si no t’interessa les meta-ciències o les estadístiques forenses o no em segueixes a Twitter, potser no hauràs sentit res al respecte.

Perquè si no t'importa, és avorrit. I hi ha números. Tants números.

El que fins ara no sabíem era com es feia la botifarra. D'on provenen aquestes incoherències? Què representen? No em dedico massa temps a qüestions com aquesta, perquè, com he dit abans, no tinc cap mandat de cerca ni bola de cristall.

Ara, a aquest gran volum d’exactituds i confusions, aquest article pot aportar una mica de coneixement del procés de recerca, no només dels resultats de la investigació que ja hem tractat.

Bàsicament, ara podem veure dins de la fàbrica d’embotits i és tan bonica com una pintura Bosch d’un còlon perforat. Sabíem que les botifarres eren dolentes, però ara també podem dir per què. És a causa que hi ha cavalls vells i pneumàtics per a bicicletes i intermediaris d'escombraries a l'estiu de Bangkok.

S’hi parlarà molt d’això, així que faré tres punts aquí als quals pot ser que altres persones no s’hi apropin.

(1) Spare Me The Routine Goof Well-Meaning

Una cita d’aquest article que no cridarà la mateixa atenció que els altres (com ara "torturar dades", per exemple ... és una cita que hi haurà uns quants quilòmetres) és d’un estudiant graduat que va passar temps al laboratori de Wansink.

Aquesta és una opinió madura i empàtica, però fa pensar en alguna cosa que em molesta les dents: que tot aquest procés d'investigació és el trist resultat d'un tipus de recerca ícarica que us pot ser útil. "Simplement intenta ajudar, cap, honest. Ho sento per l’horrorosa letania de les coses. Estic fent el millor per ajudar la gent. "

Guai. Estic segur que ets un sant. El fet continua essent quan es fa una investigació terrible amb la millor voluntat del món, encara és molt part del problema. En molts sentits, ets més perillós que un bastard complet que pot pervertir el procés d’investigació de maneres més directes i menys honestes.

Per què? Per què és un problema "ajudar" així?

És egoista. Prioritzeu les vostres pròpies opinions sobre les opinions d’observacions controlades. Estàs dient que ets més intel·ligent que les dades. I, per extensió, és més ben situat per dictar la realitat que les altres persones que aporten les seves dades que s’analitzen minuciosament a través d’un pla d’investigació que no és “batre-ho fins que no s’aconsegueixi ensopit cruent”. Literalment estàs dient que "no importa el que trobem, ja sé el que la gent necessita".

També és egoista, ja que publicar molta investigació horrible és normalment inequívocament bo per a la seva carrera professional i sense embuts amb la ciència.

Té una monumentalitat curta. No puc esborrar completament aquí, sense descens a la bogeria, quantes bones idees subjectes a experiments realitzats amb cura no han pogut treballar en nutrició, ciències dels aliments, dietètica, etc. Si creus que és més intel·ligent que les dades, ignora les vint-i-tres. set-passos endavant-vint-i-sis-passos enrere, que és la frustrant naturalesa de TOTS ELS TOTS de la investigació comportamental. Si creieu que la naturalesa relliscosa de totes les altres investigacions no us és aplicable, bé, sou un massiu ruc.

Permet una escapada molt cínica. Si teniu un zel del costat dels justos ("Sóc partidari dels nens que mengen verdures! Jo recolzo les passejades al parc!"), La gent és molt més propensa a la vostra aplicació quan hi hagi un canvi de fase en el continu excremental / ventilatori (* ) i la vostra recerca està sotmesa a escrutini.

Fet a consciència, es tracta d'una posició cínica sorprenentment. Els científics descendeixen com un huracà de la categoria 5 ple de ganivets sobre investigacions cuites sobre llàntics contra la vacunació i cabres sobre combustibles fòssils. No passarà el mateix si escriviu un article anomenat 'Abraçades, fruites fresques o abraçades i fruites fresques? Millorar les vides dels nens perquè és agradable o quatre plans per inserir verdures en els pobres. El millor dels propòsits és un llit meravellós perquè creixin les flors de la incompetència total que s’esquerda en sinapsi, i una escapada útil a l’aixafar-se a mà quan les flors criden i es converteixen en pols necrotiques.

(2) Narracions. Narracions arreu.

Tantes vegades en aquesta història veiem el paper de la narrativa. On és la bona història? Què ven? Què gaudirà la gent? Què farà més clara aquesta història?

Anem al voltant i al voltant d'aquesta qüestió: quin paper hauria de jugar una bona història en la comunicació de la ciència? És necessari? El podem portar massa lluny?

La meva resposta a això és generalment: normalment no tenim prou material per explicar una història. Els bons programes d’investigació fan preguntes relacionades i enfocades fins que la informació que puguis narrar acabi sorgint. En aquests dies, però, cada conjunt de dades té una història meravellosa per explicar. I, en situacions com l’actual, es podria fer que es tingui una bona història antiga amb l’aplicació prèvia d’uns quants centenars de llocs estratègicament colpejats pel cul.

Si voleu explicar històries, bé. Compreu un Moleskine i un barret molest, asseureu-vos a una cafeteria que busqueu pensatiu, escriviu nits, gaudiu de menjar Top Ramen i seguiu JK Rowling a Twitter. Existeixen milers de llocs al món per a contadors de contes. Busqueu-ne un i elimineu els models de regressió amb aromes de canyella a diversos nivells.

(3) Has fallat en xuclar ... I això fa por

Si faig un estudi científic en què es registren 20 variables, i només en informe les tres que han funcionat, és molt difícil que algú se n'assabenti.

Ningú verifica el meu treball inicial, ningú no comprova. En general, ningú no veurà tot el meu conjunt de dades complet i sense elaborar. Si estic posicionat entre grups de recerca, maneig la meva pròpia recollida de dades, etc., tant millor.

Ah, i si de vegades em pregunten si el meu informe d’estudi és exacte, sempre puc dir que sí. No hi ha cap càrrega de prova ni cap cosa similar. Simplement puc afirmar.

Si s’impugna, només puc produir les dades per a les tres variables d’interès. Les 17 variables que no vaig informar es treuen al darrere i es treuen.

El més destacable d’aquest cas és (A) que un periodista tingués la presència de la ment i la tenacitat per obtenir proves reals sobre les males pràctiques de laboratori, cosa que mai vaig poder fer i que podria ser sense precedents i (B) l’evidència de terribles inexactituds a la les dades reportades van precedir aquesta.

Bàsicament, tot i aprofitant totes les meravelloses maneres “creatives” d’aconseguir la investigació per semblar bé, aquestes persones van fer una feina tan dolenta que algú va notar. Aquests treballs, literalment, van fallar en les males pràctiques de recerca. Recordeu les patates quàntiques, on es parlava simultàniament una parella de grups que tenia 23, 25 o 26 membres? Quin tipus de cotxe de pallasso conduïu quan no es pot afegir?

Preparat per la part terrorífica?

Què significa això de les persones que puguin afegir?

Quants grups de recerca estan fent alguna cosa semblant, però informen amb precisió de les dades que han elaborat per tal de fer una bona història?

Sabem com trobar-los? La Bandera Negra els pot trobar?

La resposta és que no, no podem. La investigació de Dishonest va informar amb precisió és la massa de gel que cau per sota d'aquesta punta visible. No ho podem veure, només podem deduir-ho realment. La manera de solucionar això és un canvi en l’entorn acadèmic i la pràctica de publicació, i no sortir i combinar més articles publicats per a cabres i coses.

Vaig dir fa uns dies que tota aquesta saga infinita d'investigació, aquest Silmarillion de bollocks, encara mantenia sense cap quantitat la capacitat de sorprendre'm.

I aquí estem de nou, i sorprès que estic.

(*) Quan la merda colpeja el ventilador. És tard. Gaudiu-me.