Satunnaisesti löysin uutis- ja informaatiovirrassa artikkelin Nature Scientific Reports -lehdessä. Se tarjoaa tietoja 1500 tutkijan tutkimuksesta tutkimustulosten uusittavuudesta. Jos aikaisemmin tätä ongelmaa nostettiin biologista ja lääketieteellistä tutkimusta varten, toisaalta se on selitettävissä (väärät korrelaatiot, tutkittavien järjestelmien yleinen monimutkaisuus, joskus syytetään jopa tieteellisiä ohjelmistoja), toisaalta sillä on fenomenologinen luonne (esimerkiksi hiirillä on taipumus käyttäytyä eri tavalla tutkijoiden kanssa eri sukupuolet (1 ja 2)).
Kaikki luonnontieteet, kuten fysiikka ja tekniikka, kemia, ekologia, eivät kuitenkaan kaikki ole sujuvia. Vaikuttaa siltä, että nämä aivan tieteenalat perustuvat "ehdottomasti" toistettaviin kokeisiin, jotka suoritetaan maksimaalisesti kontrolloiduissa olosuhteissa, ja valitettavasti hämmästyttävä - sanan kaikessa merkityksessä - kyselyn tulos: Jopa 70% tutkijoista on törmännyt toistamattomiin kokeisiin ja muiden tutkijaryhmien saamiin tuloksiin., MUTTA myös julkaistujen tieteellisten teosten kirjoittajat / tekijät!
Kunnioittaako jokainen hiekkalaatikko suotaan?
Vaikka 52% vastaajista huomauttaa toistettavuuden kriisistä tieteessä, alle 31% pitää julkaistua tietoa perusteellisesti väärin ja suurin osa ilmoitti luottavansa julkaistuun työhön edelleen.
Kysymys: Onko tulosten toistettavuuden kriisi?
Tietenkin, sinun ei pitäisi hakkeroida olkapäätä ja lykätä kaikkea tiedettä sinänsä vain tämän tutkimuksen perusteella: puolet vastaajista oli edelleen tiedemiehiä, jotka liittyivät tavalla tai toisella biologisiin tieteenaloihin. Kuten kirjoittajat huomauttavat, fysiikassa ja kemiassa toistettavuuden ja luottamus saavutettuihin tuloksiin on paljon korkeampi (katso alla oleva kaavio), mutta ei silti 100%. Mutta lääketieteessä asiat ovat erittäin huonoja verrattuna muihin.
Mainosvideo:
Anekdootti tulee mieleen:
Englannin Bristolin yliopiston biologinen psykologi Marcus Munafo on pitkään kiinnostunut tieteellisten tietojen toistettavuudesta. Muistaen opiskelijapäiviensä päivät hän sanoo:
Kysymys: Kuinka monta alasi julkaistua teosta on toistettavissa?
Leveys- ja pituusasteon syvyys
Kuvittele, että olet tiedemies. Löydät mielenkiintoisen artikkelin, mutta tuloksia / kokeita ei voida tuottaa laboratoriossa. On loogista kirjoittaa tästä alkuperäisen artikkelin kirjoittajille, kysyä neuvoja ja kysyä selventäviä kysymyksiä. Tutkimuksen mukaan alle 20% on tehnyt tämän milloin tahansa tieteellisen uransa aikana!
Tutkimuksen kirjoittajat huomauttavat, että sellaiset yhteydet ja keskustelut ovat ehkä tutkijoille itselleen liian vaikeita, koska ne paljastavat heidän epäpätevyytensä ja epäjohdonmukaisuutensa tietyissä kysymyksissä tai paljastavat liian monia yksityiskohtia nykyisestä projektista.
Lisäksi ehdoton vähemmistö tiedemiehiä yritti julkaista toistamattomien tulosten kieltäytymisen samalla kun vastustivat toimittajat ja arvioijat, jotka vaativat vähentämään vertailuja alkuperäiseen tutkimukseen. Onko ihme, että mahdollisuus ilmoittaa tieteellisten tulosten toistamattomuus on noin 50%.
Ensimmäinen kysymys: Oletko yrittänyt toistaa kokeen tulokset?
Toinen kysymys: Oletko yrittänyt lähettää yritystäsi toistaa tulokset?
Ehkä sitten vähintään laboratoriossa suorittaa uusittavuustesti? Surullisinta on, että kolmasosa vastaajista ei ole koskaan edes ajatellut menetelmien luomista tietojen toistettavuuden tarkistamiseksi. Vain 40% ilmoitti käyttävänsä säännöllisesti tällaista tekniikkaa.
K: Oletko koskaan kehittänyt erityisiä tekniikoita / teknisiä prosesseja tulosten toistettavuuden parantamiseksi?
Toinen esimerkki, Yhdistyneestä kuningaskunnasta peräisin oleva biokemisti, joka ei halunnut paljastaa nimeään, sanoo, että yritys toistaa ja toistaa laboratorioprojektinsa työ yksinkertaisesti kaksinkertaistaa aika- ja materiaalikustannukset antamatta tai lisäämättä mitään uutta teokseen. Lisätarkastuksia tehdään vain innovatiivisille hankkeille ja epätavallisille tuloksille.
Ja tietenkin, iankaikkiset venäläiset kysymykset, jotka alkoivat kiduttaa ulkomaisia kollegoita: kuka on syyllinen ja mitä tehdä?
Kuka on syyllinen?
Työn kirjoittajat havaitsivat kolme pääongelmaa tulosten toistettavuudessa:
- Ylämiesten painostus saada teos julkaistaan ajoissa
- Valikoiva raportointi (ilmeisesti se tarkoittaa joidenkin tietojen tukahduttamista, mikä "pilaa" koko kuvan)
- Riittämätön tietoanalyysi (mukaan lukien tilastollinen)
Kysymys: Mitkä tekijät ovat vastuussa toistamattomista tieteellisistä tuloksista?
Vastaukset (ylhäältä alas): –Näyteraportointi –Bossin paine –Hajaanalyysi / tilastot - Kokeen riittämätön toistettavuus laboratoriossa - Riittämätön valvonta - Metodologian tai koodin puute - Sisäinen koesuunnittelu - Raakadatan puute ensisijaisesta laboratoriosta - Huijaus - Riittämätön tarkastus asiantuntijoilta / arvioijilta –Onemistamisyritykset
Mitä tehdä?
1500 tutkituista yli 1000 asiantuntijaa kannatti tilastotietojen parantamista tietojen keräämisessä ja käsittelyssä, esimiesten suorittaman valvonnan laadun parantamista ja kokeiden tiukempaa suunnittelua.
K: Mitkä tekijät auttavat parantamaan uusittavuutta?
Vastaukset (ylhäältä alas): - Tilastojen parempi ymmärtäminen - Tiukempi valvonta - Parempi kokeellinen suunnittelu - Koulutus - Sisäinen laboratoriotutkimus - Parannetut käytännön taidot - Muodollisen tiedon ristiintarkistuksen kannustaminen - Laboratorioiden välinen arviointi - Lisää aikaa projektinhallinnalle - Tieteellisten lehtien standardien lisääminen - Lisää aikaa työskennellä laboratoriotietojen kanssa
Johtopäätös ja henkilökohtainen kokemus
Ensinnäkin, jopa minulle, tiedemiehenä, tulokset ovat huikeita, vaikka olen jo tottunut tietyssä määrin tulosten tuottamattomuuteen. Tämä käy erityisen selvästi esille kiinalaisten ja intialaisten tekemissä teoksissa ilman kolmansien osapuolien suorittamaa "tarkastusta" amerikkalaisten / eurooppalaisten professorien muodossa. On hyvä, että ongelma tunnistettiin ja pohdittiin ratkaisua (ratkaisuja). Hiljennän hiljaa Venäjän tieteestä äskettäisen skandaalin yhteydessä, vaikka monet tekevätkin rehellisesti.
Toiseksi artikkelissa ei oteta huomioon (tai pikemminkin ei oteta huomioon) tieteellisten mittareiden ja vertaisarvioitujen tieteellisten aikakauslehtien merkitystä tutkimustulosten tuottamattomuuden ongelman syntyessä ja kehittymisessä. Pyrkiessään julkaisujen nopeuteen ja taajuuteen (lue, viittausindeksien kasvu) laatu heikkenee voimakkaasti eikä tulosten tarkistamiselle ole aikaa.
Kuten sanotaan, kaikki hahmot ovat kuvitteellisia, mutta perustuvat todellisiin tapahtumiin. Jotenkin yhdellä opiskelijalla oli mahdollisuus tarkistaa artikkeli, koska jokaisella professorilla ei ole aikaa ja energiaa lukea artikkeleita harkiten, joten kerätään 2-3–4 opiskelijan ja lääkärin mielipide, josta arvostelu muodostuu. Kirjoitettiin arvostelu, joka osoitti tulosten tuottamattomuuden artikkelissa kuvatun menetelmän mukaisesti. Tämä osoitettiin professorille selvästi. Mutta jotta pilata suhde "kollegoihin" - onnistutaan loppujen lopuksi kaikkeen - arvostelu "korjattiin". Ja sellaisia artikkeleita on julkaistu 2 tai 3.
Se osoittaa olevan noidankehä. Tutkija lähettää artikkelin lehden päätoimittajalle, jossa hän ilmoittaa "halutut" ja mikä tärkeintä "ei-toivotut" arvioijat, toisin sanoen jättäen vain positiivisesti omistautuneet kirjailijaryhmään. He tarkistavat teoksen, mutta eivät voi”paskaa kommentteihin” ja yrittävät valita kahdesta pahuudesta pienemmän - tämä on luettelo kysymyksistä, joihin on vastattava, ja julkaisemme sitten artikkelin.
Toinen esimerkki, josta Nature-lehden toimittaja puhui vain kuukausi sitten, on Grazelin aurinkopaneelit. Koska tiedeyhteisö on erittäin kiinnostunut tästä aiheesta (koska he haluavat silti artikkelin luonnossa!), Toimittajien oli luotava erityinen kyselylomake, jossa vaaditaan ilmoittamaan paljon parametreja, toimittamaan laitteiden kalibroinnit, sertifikaatit jne. Vahvistaakseen, että tehokkuuden mittausmenetelmä paneelit ovat joidenkin yleisten periaatteiden ja standardien mukaisia.
Ja kolmanneksi, kun kuulet jälleen kerran ihmerokotuksesta, joka valloittaa kaiken ja kaikki, uudesta tarinassa hameessa olevista työpaikoista, uusista akkuista tai GMO: ien tai älypuhelimien säteilyn vaaroista / eduista, etenkin jos sitä edistävät journalismin keltaiset kirjoittajat, ole sitten ymmärtäväinen ja älä hyppää johtopäätöksiin. Odota, että muut tutkijaryhmät vahvistavat tulokset, taulukon ja tietonäytteiden kertymisen.