Posouzení neurovědy — technické poznámky · 1

Začínáme několikaměsíční posouzení toho, co neurozobrazování může a nemůže podložit. Samotné studie vyjdou, až budou hotové a dvakrát zkontrolované. Tahle řada zaznamenává technické problémy, na které cestou narazíme, protože jsou poučné samy o sobě — a protože čtenář, který chce výsledek zkontrolovat, musí vědět, jak které číslo vzniklo.

Problém

Prvním krokem je seznam nejcitovanějších prací o funkční magnetické rezonanci, EEG, MEG, PET a blízkém infračerveném zobrazování. „Nejcitovanější“ zní jako fakt. Je to měření, a jako každé měření má přístroj, výběrový rámec a drift.

Přijatá rozhodnutí

  • Jen otevřené rejstříky. OpenAlex a Semantic Scholar, oba s veřejným rozhraním. Uzavřené rejstříky (Web of Science, Scopus) by daly čísla, která si nikdo mimo předplácející instituci nemůže zopakovat. Opakovatelnost je tu důležitější než pokrytí.
  • Dva rejstříky, vedené odděleně. Neshodují se — jiné pokrytí, jiné párování odkazů, jiné zacházení s preprinty. U každého řádku zapisujeme oba počty a neprůměrujeme je. Neshoda je údaj.
  • Každý dotaz uložený s datem. Počty citací se mění denně. Počet bez data pořízení není číslo. Surová odpověď se zapíše do datovaného souboru, který se nikdy neupravuje; nové spuštění vytvoří nový soubor.
  • Pozornost není doklad. Přehledový článek sbírá citace, aniž by přidal měření. Práce může být hodně citovaná proto, že je špatně. Citační pořadí je tedy jen seznam kandidátů. Skutečná práce je další vrstva: u každého pojmu, o který se obor opírá, které práce ho zavedly, které pro něj dodávají data, zda ty práce sdílejí laboratoř nebo datový soubor, a které práce se citují, jako by ho podpíraly. To je graf závislostí a jako graf bude i zveřejněn.

Analogie s testováním

Kdo někdy auditoval testovací sadu, pozná tvar. Zelená tabule říká, kolik testů prošlo, ne co pokrývaly. Pro tohle jsme si v vlastní práci postavili kontrolu pokrytí algebrou relací: které požadavky jsou nosné, a přitom je nekryje žádný nezávislý test. Graf podpory pojmů je táž kontrola použitá na vědeckou literaturu. Otázka je stejná — na čem to všechno stojí, a je to samo otestované?

Příští poznámka: co rejstřík doopravdy vrátí na dotaz „fMRI“ a proč byl první dotaz špatně.