La revisione tra pari, almeno nelle intenzioni, è il modo in cui i redattori delle riviste accademiche cercano di mantenere alta la qualità degli articoli nelle loro pubblicazioni e assicurano (o tentano di assicurare) che la ricerca scarsa o fallace non venga pubblicata. Il processo è legato a questioni politiche ed economiche che coinvolgono il possesso e le scale salariali, in quanto un accademico che partecipa al processo di revisione paritaria (sia come autore, editore o revisore) viene premiato per quella partecipazione a un aumento della reputazione che può condurre a un aumento delle scale salariali, piuttosto che il pagamento diretto per i servizi resi.
In altre parole, nessuna delle persone coinvolte nel processo di revisione è pagata dal giornale in questione, con la sola eccezione (forse) di uno o più assistenti editoriali. L'autore, l'editore e i revisori lo fanno tutti per il prestigio coinvolto nel processo; sono generalmente pagati dall'università o dall'azienda che li impiega e, in molti casi, il pagamento è subordinato all'ottenimento della pubblicazione su riviste peer-reviewed. L'assistenza editoriale è generalmente fornita in parte dall'università del direttore e in parte dalla rivista.
Il modo in cui funziona la peer review accademica (almeno nelle scienze sociali) è che uno studioso scrive un articolo e lo sottopone a un diario per la revisione. L'editore lo legge e trova tra tre e sette altri studiosi per esaminarlo.
I revisori selezionati per leggere e commentare l'articolo dello studioso sono scelti dall'editore in base alla loro reputazione nel campo specifico dell'articolo o se sono menzionati nella bibliografia o se sono conosciuti personalmente dall'editore. A volte l'autore di un manoscritto suggerisce alcuni recensori. Una volta redatto un elenco di revisori, l'editor rimuove il nome dell'autore dal manoscritto e ne inoltra una copia ai cuori robusti scelti. Quindi il tempo passa, molto tempo, generalmente, tra due settimane e diversi mesi.
Quando tutti i revisori hanno restituito i loro commenti (fatti direttamente sul manoscritto o in un documento separato), l'editore prende una decisione preliminare sul manoscritto. Deve essere accettato così com'è? (Questo è molto raro.) Deve essere accettato con modifiche? (Questo è tipico.) Deve essere respinto? (Anche questi ultimi casi sono abbastanza rari, a seconda del diario.) L'editore rimuove l'identità dei revisori e invia all'autore i commenti e la sua decisione preliminare sul manoscritto.
Se il manoscritto è stato accettato con modifiche, spetta all'autore apportare modifiche fino a quando l'editor non è soddisfatto che le riserve dei revisori siano soddisfatte. Alla fine, dopo diversi round avanti e indietro, il manoscritto viene pubblicato. Il periodo che va dalla presentazione di un manoscritto alla pubblicazione in una rivista accademica dura generalmente da sei mesi a più di un anno.
I problemi inerenti al sistema includono la perdita di tempo tra l'invio e la pubblicazione e la difficoltà di ottenere revisori che hanno il tempo e la propensione a fornire revisioni ponderate e costruttive. Le piccole gelosie e le divergenti differenze politiche di opinione sono difficili da contenere in un processo in cui nessuno è reso responsabile per una serie specifica di commenti su un particolare manoscritto e in cui l'autore non ha la capacità di corrispondere direttamente con i suoi recensori. Tuttavia, si deve dire che molti sostengono che l'anonimato del processo di revisione alla cieca consente a un revisore di dichiarare liberamente ciò che crede in un determinato documento senza timore di rappresaglie.
Il fiorire di Internet nel primo decennio del 21 ° secolo ha fatto un'enorme differenza nel modo in cui gli articoli sono pubblicati e resi disponibili: il sistema di revisione tra pari è spesso problematico in queste riviste, per una serie di ragioni. La pubblicazione ad accesso aperto - in cui gli articoli gratuiti o completati vengono pubblicati e resi disponibili a chiunque - è un meraviglioso esperimento che ha avuto alcuni intoppi nell'avvio. In un articolo del 2013 in Scienza, John Bohannen ha descritto come ha inviato 304 versioni di un articolo su un falso farmaco miracoloso a riviste ad accesso aperto, oltre la metà delle quali sono state accettate.
Nel 2001, il giornale Ecologia comportamentale ha cambiato il suo sistema di revisione tra pari da uno che ha identificato l'autore in revisori (ma i revisori sono rimasti anonimi) in uno completamente cieco, in cui sia l'autore che i revisori sono anonimi tra loro. In un documento del 2008, Amber Budden e colleghi hanno riferito che le statistiche che comparano gli articoli accettati per la pubblicazione prima e dopo il 2001 indicano che un numero significativamente maggiore di donne è stato pubblicato in BE dall'inizio del processo in doppio cieco. Riviste ecologiche simili che utilizzano revisioni in cieco nello stesso periodo non indicano una crescita simile nel numero di articoli scritti da donne, portando i ricercatori a ritenere che il processo di revisione in doppio cieco potrebbe favorire l'effetto "soffitto di vetro".
Bohannon J. 2013. Chi ha paura della revisione tra pari? Scienza 342: 60-65.
Budden AE, Tregenza T, Aarssen LW, Koricheva J, Leimu R e Lortie CJ. 2008. La revisione in doppio cieco favorisce una maggiore rappresentanza di autori femminili. Tendenze in ecologia ed evoluzione 23 (1): 4-6.
Carver M. 2007. Riviste di archeologia, accademici e accesso aperto. Giornale europeo di archeologia 10 (2-3): 135-148.
Chilidis K. 2008. Nuove conoscenze contro consenso: una nota critica sulla loro relazione basata sul dibattito sull'uso delle volte a botte nelle tombe macedoni. Giornale europeo di archeologia 11 (1): 75-103.
Etkin A. 2014. Un nuovo metodo e metrica per valutare il processo di revisione tra pari delle riviste accademiche. Pubblicare la ricerca trimestrale 30 (1): 23-38.
Gould THP. 2012. Il futuro della peer review: quattro possibili opzioni per il nulla. Pubblicare la ricerca trimestrale 28 (4): 285-293.
Vanlandingham SL. 2009. Straordinari esempi di inganno nella revisione tra pari: preparazione della bufala del cranio di Dorenberg e relativa condotta scorretta. 13ª Conferenza internazionale sulla sistemica, la cibernetica e l'informatica: simposio internazionale sulla peer review. Orlando, in Florida.
Vesnic-Alujevic L. 2014. Peer Review ed editoria scientifica in Times of Web 2.0. Pubblicare la ricerca trimestrale 30 (1): 39-49.
Weiss B. 2014. Accesso di apertura: Pubblico, Pubblicazione e Percorso di inclusione. Antropologia culturale 29 (1): 1-2.