Posouzení neurovědy — technické poznámky · 3
Druhá poznámka končila úhledným příběhem. Naivní dotaz na „PET“ vrátil onkologii; přidali jsme oborový filtr; počet klesl ze 124 436 na 21 942 a v čele seznamu se objevilo neurozobrazování. Filtr přidán, znečištění pryč. Příběh je pravdivý. Číslo ho ale nedokládá.
Co se ve skutečnosti změnilo
Když jsme psali soubor s metadaty druhého snímku — soubor, do něhož se doslovně zapisuje každá adresa dotazu — museli jsme ty adresy číst vedle sebe. Mezi snímkem A0 a snímkem A1 nebyly hledané řetězce stejné. U PET se z "PET imaging" stalo "PET". U fMRI se z "BOLD signal" stalo "BOLD". U EEG přibylo "event-related potential". Tři z pěti dotazů se změnily ve stejné chvíli jako filtr. Pracovní dokument říkal: „stejné termíny, navíc filtr“. Nebyla to pravda — a mýlil se tím směrem, který dělal výsledek čistším, než byl.
Pokles ze 124 436 na 21 942 je tedy společný účinek dvou zásahů: širšího řetězce, který počet zvedá, a oborového filtru, který ho snižuje. Kolik přispěl který, nevíme. Jediné, co ta dvojice čísel nemůže nést, je věta, kterou jsme pod ni napsali.
Proč o tom psát
Protože je to nejmenší možný případ vzoru, k jehož odhalování je celé posouzení stavěno — a stal se nám první den. Výsledek, uvedená příčina a neuvedená druhá příčina, kterou záznam neukázal, dokud ho někdo nezapsal celý. Nikdo nic neskrýval. Řetězce se mezi běhy vylepšily, protože první běh ukázal, že jsou slabé; vylepšení se jen nedostalo do věty, která druhý běh popisuje. Tak vzniká většina takových věcí — ne podvodem, ale popisem, který zaostává za postupem.
V testování to má jméno: sada dvou změn a jeden test. Když se test překlopí, nevíte, která změna ho překlopila. Pravidlo zní: jedna změna na jedno ověření, a když si nemůžete dovolit je řadit za sebou, faktorový plán. Pravidlo jsme znali. Nepoužili jsme ho, protože druhá změna se nejevila jako změna — jevila se jako oprava.
Co to zachytilo
Ne nová analýza. Kancelářský krok. Pravidlo posouzení, že každý snímek odchází se souborem metadat s přesnými adresami, je tu proto, aby si čtenář mohl dotaz spustit znovu. Vedlejší účinek je, že autor se na ty adresy musí podívat. Rozdíl byl vidět v prvních deseti znacích za search:. Záznam vedený kvůli čtenáři se ukázal být kontrolou, kterou potřeboval autor.
Stejnou cestou vyplavala druhá chyba. Filtr byl popsán tak, že zahrnuje „Experimental & Cognitive Psychology“. Sloupec s podoborem v samotném datovém souboru ukazuje, že kód, který jsme použili, 3204, je „Developmental and Educational Psychology“; ten, který jsme mínili, 3205, ve filtru nikdy nebyl. Řádky snímku odporovaly popisu snímku — a záznamem jsou řádky.
Co bude dál
Nic se nemaže ani nepřepisuje. V pracovním dokumentu zůstává chybná věta přeškrtnutá a vedle ní datovaná oprava, protože oprava patří k dokladům o tom, jak práce probíhala. Příští snímek je navržen tak, aby oba účinky oddělil: staré řetězce pod novým filtrem, nové řetězce bez filtru a nové řetězce pod filtrem, který konečně obsahuje podobor, který jsme mínili. Čtyři soubory, čtyři otisky. Teprve pak se napíše jakákoli věta o tom, „co filtr odstranil“.
Posouzení má stálé pravidlo, že se nesmí dopouštět chyb, které hledá. Tato poznámka ukazuje, co to pravidlo v praxi stojí: veřejnou opravu čísla, o které se zatím nikdo mimo projekt neopřel. Teď je to levné. Je to táž chyba, v jiném měřítku, která obor stojí důvěru, když se najde v práci citované třitisíckrát.
Příští poznámka: dva rejstříky, jedna otázka — jak moc se OpenAlex a Semantic Scholar neshodují a co s tím.