Perché un Methodological Review Board?

• Bassa potenza statistica + bassa probabilità di baseline = difficile distinguere veri positivi da falsi positivi

Combinato con (da Wikipedia):

• Solo, siloed investigator limited to small sample sizes
• No preregistration of hypotheses being tested
• Post-hoc cherry picking of hypotheses with best P values
• Only requiring P < .05
• No replication
• No data sharing

Science - OSC 2015

Szucs and Ioannidis (2017)

Policy reforms?

• Ripetute indicazioni che pratiche Open Science e trasparenza dovrebbero essere valorizzate nel reclutamento, perfino su espressione della Commissione Europea^{[1, 2, 3, 4]}
• Temi “Open Science” ampiamente presenti al 1° Congresso CNR su Integrità Ricerca (es. data transparency suggerita tra metodi necessari per valutazione di ricerca e ricercatori in un mondo accademico globalizzato e caotico; cf. E. Bucci su AI-fraud)
• VQR in IRIS prevedeva campi “Open Access” (almeno AAM obbligata per ricerca finanziata da bandi pubblici) + “Open Science (dati FAIR^{[5, 6]})”

“Se non ci decidiamo a cambiare, qualcuno ci costringerà a farlo in un modo che non ci piacerà” (semicit.)

Opinions on Open Science?

The Times They Are A-Changin’

Hardwicke et al. (2024) results

Why a Methodological Review Board?

Why a Methodological Review Board?

Leggi la trascrizione completa dell’intervista a Psicostat

Cos’è un Methodological Review Board?

(GPT sintetizza l’intervista)

• Un comitato interno che valuta la qualità metodologica dei progetti di ricerca prima della raccolta dati.
• Funzione simile alla peer review nei registered reports, ma a livello dipartimentale.
• Può essere separato o integrato con l’Ethical Review Board (ERB), ma si consiglia la separazione.

Perché è utile?

(GPT sintetizza l’intervista)

• Prevenire errori metodologici che emergerebbero solo in fase di peer review.
• Migliorare la qualità della ricerca e ridurre lo spreco di risorse.
• Fornire supporto ai ricercatori, specialmente ai più giovani.
• Creare un ambiente collaborativo, evitando che la peer review sia vista solo come una barriera.

L’esperienza di Eindhoven: come è nato l’MRB?

(GPT sintetizza l’intervista)

• Avviato nel dipartimento di Lakens, non nell’intera università (il dipartimento finanzia routinariamente ricerche).
• È nato da una semplice richiesta di riportare la dimensione campionaria nei protocolli etici.
• Progressivamente sono stati aggiunti requisiti: es. giustificazione del campione, power analysis
• Ora è obbligatorio e integrato con il processo etico (per noi NON deve esserlo).

Funzionamento del MRB a Eindhoven

(GPT sintetizza l’intervista)

• Proposte settimanali: invio entro venerdì, revisione lunedì, esito martedì.
• 4 membri nel comitato (inizialmente 2, poi ampliato).
• 5-10 progetti settimanali, inclusi master thesis.
• Possibilità di revisione e confronto diretto con i ricercatori.
• Severità: proposte possono essere respinte (es. power analysis con parametri di default software), ma non c’è mai stato un reject definitivo.

Quali aspetti metodologici vengono valutati?

(GPT sintetizza l’intervista)

• Piano statistico: congruenza tra ipotesi e analisi.
• Dimensione campionaria: giustificazione con power analysis o criteri di precisione.
• Gestione dei dati: controllo per dati mancanti, multiple comparisons, ecc.
• Validità delle misure non sempre verificata per mancanza di expertise, ma raccomandata.

Resistenze iniziali e strategie per l’accettazione

(GPT sintetizza l’intervista)

• Alcuni ricercatori si sono opposti inizialmente (es. “nemmeno i revisori chiedono questo!”).
• Importanza di offrire supporto diretto e consulenza oltre alla revisione.
• Effetti positivi nel lungo termine:
  • Aumento della qualità delle ricerche.
  • Maggiore occupazione dei laboratori (più dati raccolti!).
  • Adozione progressiva di best practices (es. analisi sequenziale).

Applicazione a Padova: sfide e soluzioni

(GPT sintetizza l’intervista)

• Alto numero di progetti potenzialmente “candidati” → iniziare in modo selettivo. Opzioni: 1) solo studi con finanziamenti sopra una certa soglia; 2) solo ricerche su popolazioni sensibili (es. pazienti); 3) solo progetti di ricercatori junior; 4) su candidature volontarie.
• Primariamente servizio di assistenza a pre-registrazione & open science, su base volontaria.
• Usare checklist/strumenti/piattaforme già esistenti (es. OSF).
• Pochi esperti in metodi statistici → iniziare con requisiti minimi (es. sample size).

Conclusioni: perché un MRB è utile per Padova?

(GPT sintetizza l’intervista)

✅ Migliora la qualità della ricerca e previene errori costosi.

✅ Forma giovani ricercatori su aspetti metodologici cruciali.

✅ Riduce il rischio di peer review negativa grazie a protocolli più solidi.

✅ Va implementato in modo adatto al contesto, evitando opposizioni.

more on this topic…