Suatu siang, ketika saya sedang memeriksa kotak masuk surel, sebuah pesan baru muncul dengan judul yang membuat saya berhenti menggulir layar:
Invitation to Review a Manuscript.
Saya membukanya perlahan.
Di dalam surel itu, editor sebuah jurnal pendidikan mengundang saya untuk menilai artikel yang baru saja dikirimkan oleh seorang penulis. Judul artikelnya cukup dekat dengan bidang yang selama ini saya pelajari. Batas waktu peninjauan juga sudah dicantumkan. Di bagian bawah tersedia dua pilihan yang terlihat sederhana:
Accept Review dan Decline Review.
Jari saya berhenti di atas tetikus.
Di satu sisi, saya merasa senang. Undangan itu seperti bentuk pengakuan bahwa pengetahuan dan pengalaman saya dianggap cukup relevan untuk membantu proses penerbitan ilmiah. Di sisi lain, saya mulai gelisah.
Apakah saya benar-benar layak menjadi reviewer?
Apakah saya harus menemukan semua kesalahan dalam artikel tersebut?
Bagaimana bila penilaian saya terlalu keras?
Bagaimana bila saya justru melewatkan kesalahan penting?
Saya membaca kembali abstrak singkat yang disertakan editor. Penelitian itu membahas penggunaan pembelajaran berbasis proyek untuk meningkatkan keterlibatan siswa sekolah menengah. Topiknya terasa akrab. Saya pernah membaca beberapa artikel serupa dan memahami metode penelitian yang digunakan.
Namun, menjadi pembaca artikel dan menjadi reviewer ternyata merupakan dua pengalaman yang berbeda.
Sebagai pembaca, saya bisa saja berhenti ketika sebuah artikel terasa membosankan. Sebagai reviewer, saya harus tetap membaca, memahami, memeriksa, dan memberikan masukan yang dapat dipertanggungjawabkan.
Hari itu saya menyadari bahwa menjadi reviewer jurnal pendidikan bukan sekadar memperoleh akses terhadap naskah yang belum diterbitkan. Reviewer berada di antara penulis dan editor. Ia membantu editor menilai kelayakan naskah, sekaligus membantu penulis memperbaiki kualitas tulisannya.
Tugas itu terdengar terhormat.
Namun, kehormatan selalu datang bersama tanggung jawab.
Saya Tidak Langsung Menekan Tombol “Accept”
Dahulu saya mengira setiap undangan menjadi reviewer sebaiknya diterima. Saya takut dianggap tidak aktif apabila menolak. Saya juga khawatir editor tidak akan mengundang saya lagi.
Setelah memikirkannya, saya menyadari bahwa menerima semua undangan justru dapat menghasilkan penilaian yang buruk.
Sebelum menerima tugas, saya mulai mengajukan tiga pertanyaan kepada diri sendiri.
Pertama, apakah topik naskah benar-benar berada dalam bidang keahlian saya?
Kedua, apakah saya mempunyai waktu yang cukup untuk membaca dan memberikan penilaian sebelum tenggat?
Ketiga, apakah ada konflik kepentingan yang dapat memengaruhi objektivitas saya?
Panduan reviewer Elsevier juga menyarankan agar calon reviewer memeriksa kesesuaian bidang keahlian, kemungkinan konflik kepentingan, ketersediaan waktu, dan pemahaman terhadap kebijakan jurnal sebelum menerima undangan. Reviewer dianjurkan merespons undangan sesegera mungkin, termasuk ketika harus menolaknya, karena keterlambatan respons dapat memperpanjang proses yang harus dilalui penulis.
Saya pun berhenti menganggap penolakan sebagai kegagalan.
Menolak undangan karena topiknya berada di luar keahlian bukan tanda bahwa saya kurang pintar. Justru itu merupakan bentuk tanggung jawab akademik. Tidak ada seorang pun yang menguasai seluruh bidang pendidikan.
Saya mungkin memahami manajemen pendidikan, metodologi penelitian, evaluasi pembelajaran, atau statistik. Namun, saya belum tentu cukup kompeten menilai secara mendalam penelitian tentang neurosains pendidikan, pendidikan kebutuhan khusus, atau metode analisis linguistik yang sangat spesifik.
Saya juga belajar jujur terhadap waktu.
Menjadi reviewer membutuhkan lebih dari sekadar membaca sepintas saat makan siang. Saya perlu memahami isi naskah, memeriksa konsistensi metode, menilai data, mengecek hubungan antara hasil dan kesimpulan, serta menulis komentar yang jelas.
Menerima undangan ketika jadwal saya sudah terlalu penuh dapat berakhir buruk. Saya mungkin terlambat mengirim penilaian atau memberikan komentar terburu-buru.
Karena itu, saya mulai percaya bahwa reviewer yang baik bukan orang yang menerima semua undangan.
Reviewer yang baik mengetahui kapan ia mampu membantu dan kapan sebaiknya memberikan kesempatan kepada orang lain.
Konflik Kepentingan Kadang Tidak Terlihat Jelas
Pertanyaan tentang konflik kepentingan membuat saya berpikir lebih lama.
Konflik kepentingan tidak selalu berbentuk uang. Masalah itu dapat muncul apabila saya memiliki hubungan pribadi, profesional, akademik, atau persaingan langsung dengan penulis.
Dalam sistem double-anonymous review, saya mungkin tidak mengetahui identitas penulis. Namun, isi naskah terkadang memberikan petunjuk. Lokasi penelitian, nama program, rujukan terhadap penelitian terdahulu, atau gaya penulisan dapat membuat saya menduga siapa penulisnya.
Apabila saya baru saja bekerja dalam proyek yang sama, menjadi pembimbing, menjadi rekan satu institusi, sedang bersaing memperoleh pendanaan, atau memiliki hubungan yang dapat memengaruhi penilaian, saya perlu menyampaikannya kepada editor.
Saya tidak harus langsung mengambil keputusan sendiri bahwa konflik tersebut pasti membatalkan tugas. Yang perlu saya lakukan adalah bersikap terbuka. Editor dapat mempertimbangkan apakah saya masih layak menjadi reviewer.
COPE menempatkan pengungkapan konflik kepentingan, kerahasiaan, objektivitas, penghormatan terhadap hak kekayaan intelektual, dan akuntabilitas sebagai bagian penting dalam etika seorang reviewer.
Saya kemudian memahami bahwa objektif bukan berarti saya tidak memiliki pengalaman atau pendapat.
Objektif berarti saya menyadari kemungkinan bias, kemudian berusaha agar keputusan tidak dikendalikan oleh kepentingan pribadi.
Saya boleh tidak menyukai pendekatan teori tertentu. Namun, saya tidak boleh menolak artikel hanya karena penulis memilih teori yang berbeda dari teori favorit saya.
Saya boleh memiliki metode penelitian yang biasa digunakan. Namun, saya tidak dapat memaksa setiap penulis menggunakan metode yang sama.
Saya harus menilai apakah pilihan penulis dapat dipertanggungjawabkan untuk menjawab pertanyaan penelitiannya.
Bukan apakah pilihan itu sama dengan yang akan saya lakukan.
Naskah Itu Bukan Milik Saya
Setelah menerima undangan, saya mengunduh naskah dan menyimpannya dalam folder khusus.
Pada saat itu, saya teringat bahwa naskah tersebut belum diterbitkan. Di dalamnya mungkin terdapat gagasan baru, data penelitian, instrumen, model, atau temuan yang belum diketahui masyarakat umum.
Artinya, saya tidak boleh membagikannya kepada teman, mahasiswa, kolega, atau kelompok diskusi tanpa izin editor.
Saya juga tidak boleh mengambil gagasan dari naskah tersebut untuk penelitian saya sendiri.
Panduan penerbit dan organisasi etika publikasi menegaskan bahwa naskah yang diterima untuk proses peer review harus diperlakukan sebagai dokumen rahasia. Kewajiban menjaga kerahasiaan tetap berlaku selama dan setelah proses penilaian, kecuali jurnal memang menerapkan model ulasan terbuka atau memberikan izin lain secara jelas.
Prinsip itu terdengar sederhana, tetapi penerapannya menuntut kedisiplinan.
Saya tidak membicarakan isi naskah di media sosial. Saya tidak mengunggah tangkapan layar yang memperlihatkan judul atau data. Saya tidak memasukkan naskah ke dalam bahan perkuliahan. Saya juga tidak menceritakan kelemahan penulis sebagai bahan lelucon.
Reviewer memiliki akses karena dipercaya.
Kepercayaan itu tidak boleh digunakan untuk kepentingan pribadi.
Saya membayangkan bagaimana perasaan saya bila artikel yang belum diterbitkan dibicarakan orang lain tanpa izin. Saya mungkin merasa cemas, marah, atau bahkan kehilangan kepercayaan terhadap proses jurnal.
Dari sana saya memahami bahwa menjaga kerahasiaan bukan hanya aturan administratif.
Kerahasiaan adalah cara saya menghormati kerja intelektual penulis.
Saya Membaca Naskah Pertama Kali Tanpa Membawa Pulpen Merah
Pada pembacaan pertama, saya berusaha tidak langsung mencari kesalahan.
Saya membaca artikel dari awal sampai akhir untuk memahami cerita besarnya.
Apa masalah yang ingin diselesaikan?
Mengapa penelitian dilakukan?
Metode apa yang digunakan?
Apa hasil utamanya?
Apa kontribusi yang ditawarkan?
Saya membayangkan sedang memasuki sebuah rumah. Sebelum memeriksa retakan di dinding, saya perlu memahami bentuk keseluruhan bangunan.
Kebiasaan langsung mencari kesalahan membuat saya mudah terjebak pada persoalan kecil. Saya mungkin sibuk memperbaiki tanda baca, sementara masalah utama penelitian justru berada pada ketidaksesuaian desain dan kesimpulan.
Pada pembacaan pertama, saya menulis catatan singkat:
Artikel ini membahas pembelajaran berbasis proyek dan keterlibatan siswa. Topiknya relevan, tetapi hubungan antara masalah, metode, dan kesimpulan masih perlu diperjelas.
Catatan itu menjadi gambaran awal.
Setelah memahami keseluruhan artikel, saya mulai membaca untuk kedua kalinya dengan lebih perlahan. Kali ini saya menandai bagian yang kuat, bagian yang belum jelas, dan bagian yang berpotensi bermasalah.
Saya membagi catatan ke dalam dua kelompok:
Komentar utama dan komentar tambahan.
Komentar utama berkaitan dengan hal yang dapat memengaruhi keabsahan atau kontribusi penelitian. Misalnya, masalah dalam desain, sampel, instrumen, analisis data, landasan teori, atau kesimpulan.
Komentar tambahan berkaitan dengan kejelasan penyajian, ketepatan istilah, struktur paragraf, tabel, atau kesalahan teknis yang tidak mengubah inti penelitian.
Pembagian ini membantu saya menentukan prioritas.
Tidak semua kesalahan memiliki berat yang sama.
Saya Tidak Menilai Artikel dari Judul yang Terdengar Canggih
Judul artikel yang saya baca terdengar cukup menarik. Namun, tugas reviewer bukan hanya mengagumi judul.
Saya memeriksa apakah judul menggambarkan isi penelitian secara akurat. Apakah variabel utamanya terlihat? Apakah konteks penelitiannya jelas? Apakah judul terlalu panjang? Apakah terdapat klaim yang lebih kuat daripada desain penelitian?
Misalnya, sebuah penelitian korelasional menggunakan judul:
Efektivitas Kepemimpinan Transformasional dalam Meningkatkan Kinerja Guru.
Kata “efektivitas” dan “meningkatkan” dapat memberikan kesan hubungan sebab-akibat. Padahal, apabila penelitian hanya mengukur korelasi dalam satu waktu, kesimpulan kausal mungkin tidak dapat dibuat.
Saya tidak langsung mengganti judul sesuai selera. Saya menjelaskan masalahnya:
Judul memberikan kesan bahwa penelitian membuktikan pengaruh kausal, sedangkan desain yang digunakan bersifat korelasional. Penulis perlu menyesuaikan istilah dalam judul dengan kemampuan desain penelitian.
Komentar seperti itu lebih berguna daripada sekadar menulis:
Judul kurang tepat.
Saya juga memeriksa abstrak.
Abstrak harus mencerminkan isi artikel. Tujuan, metode, peserta, analisis, hasil utama, dan kesimpulan perlu ditampilkan secara ringkas. Bila abstrak mengatakan bahwa hasil penelitian “sangat efektif”, saya mencari dasar klaim tersebut di bagian hasil.
Jika saya tidak menemukannya, saya menandai ketidaksesuaian.
Reviewer yang baik tidak terpukau oleh istilah besar.
Ia memeriksa apakah setiap janji dalam judul dan abstrak benar-benar dipenuhi oleh isi artikel.
Pendahuluan Harus Membawa Saya Menuju Masalah
Ketika membaca bagian pendahuluan, saya mencoba mengikuti alur berpikir penulis.
Saya bertanya:
Mengapa topik ini penting?
Apa yang sudah diketahui?
Apa yang belum diketahui?
Mengapa penelitian baru perlu dilakukan?
Apa tujuan dan kontribusinya?
Saya sering menemukan pendahuluan yang panjang, tetapi tidak memiliki masalah ilmiah yang jelas. Penulis menjelaskan bahwa pendidikan sangat penting, teknologi berkembang pesat, guru memiliki peran strategis, dan siswa adalah generasi penerus bangsa.
Semua pernyataan itu mungkin benar.
Namun, setelah beberapa halaman, saya masih belum memahami apa yang hendak diteliti.
Sebagai reviewer, saya tidak cukup menulis bahwa pendahuluan “terlalu panjang”. Saya perlu menunjukkan bagian mana yang dapat diperbaiki.
Saya dapat menulis:
Pendahuluan telah menunjukkan pentingnya teknologi dalam pembelajaran, tetapi celah penelitian belum terlihat secara tegas. Penulis perlu membandingkan hasil penelitian terdahulu dan menjelaskan aspek yang masih belum terjawab, khususnya dalam konteks keterlibatan siswa.
Saya juga memperhatikan sumber pustaka.
Apakah teori yang digunakan sesuai?
Apakah penelitian terbaru telah dipertimbangkan?
Apakah penulis hanya mengumpulkan definisi?
Apakah terdapat sumber yang dikutip untuk mendukung klaim yang berbeda dari isi sumber aslinya?
Saya tidak menuntut semua referensi harus terbit dalam lima tahun terakhir. Teori klasik tetap dapat digunakan apabila memang menjadi dasar penting. Namun, kondisi mutakhir perlu dibahas melalui penelitian yang cukup baru dan relevan.
Saya juga berhati-hati ketika menyarankan referensi tambahan.
Saya hanya menyarankan artikel saya sendiri apabila benar-benar diperlukan untuk memperkuat kajian. Saya tidak boleh memaksa penulis mengutip karya saya demi menambah jumlah sitasi. Panduan reviewer juga memperingatkan agar rekomendasi sitasi tidak digunakan untuk meningkatkan visibilitas karya reviewer atau kelompoknya sendiri.
Di titik ini, saya belajar bahwa reviewer tidak boleh mengubah daftar pustaka penulis menjadi etalase pribadinya.
Metode Adalah Bagian yang Saya Baca Paling Pelan
Bila pendahuluan menunjukkan alasan penelitian, metode menunjukkan bagaimana penulis berusaha memperoleh jawaban.
Di sinilah saya memperlambat pembacaan.
Saya memeriksa apakah desain penelitian sesuai dengan tujuan. Penelitian yang ingin menguji pengaruh perlakuan membutuhkan desain yang memungkinkan perbandingan. Penelitian yang ingin memahami pengalaman peserta membutuhkan metode yang dapat menggali makna secara mendalam.
Saya tidak menilai metode hanya berdasarkan nama.
Menuliskan “penelitian kuantitatif” belum cukup. Menuliskan “pendekatan kualitatif” juga belum menjelaskan proses penelitian.
Saya memeriksa peserta, teknik pemilihan sampel, instrumen, prosedur pengumpulan data, analisis, serta pertimbangan etika.
Ketika Menilai Penelitian Kuantitatif
Dalam penelitian kuantitatif, saya bertanya:
Apakah populasi dan sampel dijelaskan?
Bagaimana sampel dipilih?
Apakah ukuran sampel memadai untuk analisis yang digunakan?
Apakah instrumen sesuai dengan konstruk?
Apakah bukti validitas dan reliabilitas disampaikan?
Apakah asumsi statistik diperiksa?
Apakah teknik analisis menjawab hipotesis?
Apakah hasil hanya bergantung pada nilai signifikansi?
Saya tidak menganggap nilai p di bawah 0,05 sebagai tanda bahwa seluruh penelitian otomatis bagus. Saya juga memperhatikan ukuran efek, interval kepercayaan, arah hubungan, kualitas pengukuran, dan makna praktis hasil.
Hasil yang signifikan secara statistik belum tentu memiliki dampak pendidikan yang besar.
Sebaliknya, hasil yang tidak signifikan bukan berarti penelitian gagal. Temuan tersebut tetap dapat memberi pengetahuan apabila desainnya baik dan dilaporkan secara jujur.
Ketika Menilai Penelitian Kualitatif
Dalam penelitian kualitatif, saya tidak mencari uji normalitas atau koefisien reliabilitas seperti pada survei.
Saya memeriksa kesesuaian pendekatan, pemilihan informan, kedalaman data, proses wawancara atau observasi, teknik pengodean, pembentukan tema, refleksivitas peneliti, serta cara kredibilitas temuan dibangun.
Saya bertanya apakah kutipan peserta benar-benar mendukung tema. Saya juga memeriksa apakah peneliti menjelaskan posisinya dalam proses penelitian.
Sebuah penelitian kualitatif tidak menjadi kuat hanya karena memuat banyak kutipan wawancara.
Kekuatan muncul ketika analisis menunjukkan pola, makna, perbedaan pengalaman, dan hubungan antara data dengan interpretasi.
Ketika Menilai Metode Campuran
Untuk metode campuran, saya memeriksa bukan hanya keberadaan data kuantitatif dan kualitatif.
Saya mencari integrasi.
Bagaimana kedua jenis data saling menjelaskan?
Pada tahap apa data digabungkan?
Apa yang dapat dipahami setelah integrasi yang tidak dapat diketahui melalui satu metode saja?
APA menyediakan Journal Article Reporting Standards untuk penelitian kuantitatif, kualitatif, dan metode campuran. Standar tersebut dirancang bagi penulis, reviewer, dan editor untuk meningkatkan transparansi serta ketelitian pelaporan penelitian.
Saya tidak menggunakan panduan tersebut untuk menjadikan proses review seperti pemeriksaan robotik.
Saya menggunakannya sebagai peta agar bagian penting tidak terlewat.
Dalam Penelitian Pendidikan, Konteks Tidak Boleh Hilang
Penelitian pendidikan selalu berlangsung dalam konteks.
Sebuah metode yang berhasil di sekolah perkotaan dengan koneksi internet stabil belum tentu menghasilkan efek sama di sekolah yang akses teknologinya terbatas.
Model pembelajaran yang efektif untuk mahasiswa belum tentu langsung cocok bagi siswa sekolah dasar.
Strategi kepemimpinan yang berjalan dalam satu budaya organisasi belum tentu dapat dipindahkan tanpa penyesuaian.
Karena itu, saya memeriksa apakah penulis menjelaskan konteks penelitian dengan cukup baik.
Siapa pesertanya?
Bagaimana karakteristik sekolah atau institusinya?
Apa kondisi pembelajarannya?
Adakah kebijakan, budaya, fasilitas, atau faktor sosial yang memengaruhi hasil?
Saya tidak meminta penulis membuka identitas peserta atau sekolah apabila hal itu mengganggu kerahasiaan. Namun, pembaca tetap membutuhkan informasi yang cukup untuk memahami ruang berlakunya temuan.
Ketika hasil penelitian hanya berasal dari satu sekolah, saya berhati-hati terhadap kesimpulan seperti:
Model ini efektif diterapkan pada seluruh sekolah di Indonesia.
Saya menyarankan agar penulis menyesuaikan klaim:
Temuan menunjukkan potensi model dalam konteks sekolah yang diteliti, tetapi pengujian pada karakteristik sekolah yang lebih beragam masih diperlukan.
Reviewer bukan bertugas mengecilkan nilai penelitian.
Reviewer membantu menjaga agar kesimpulan tidak berjalan lebih jauh daripada yang mampu ditopang data.
Etika Penelitian terhadap Siswa Bukan Formalitas
Dalam jurnal pendidikan, banyak penelitian melibatkan siswa, termasuk anak-anak yang berada dalam posisi rentan.
Saya memeriksa apakah artikel menjelaskan persetujuan etik, izin penelitian, persetujuan peserta atau wali, kerahasiaan data, dan perlindungan identitas.
Saya juga mempertimbangkan hubungan kuasa.
Apabila guru meneliti siswanya sendiri, apakah siswa merasa bebas menolak?
Apakah partisipasi berpengaruh terhadap nilai?
Apakah data pribadi disimpan dengan aman?
Apakah foto atau rekaman siswa digunakan dengan izin yang sesuai?
Saya tidak langsung menuduh penulis melakukan pelanggaran apabila penjelasannya kurang lengkap. Saya meminta klarifikasi dan menyampaikannya kepada editor.
Bila menemukan indikasi plagiarisme, manipulasi data, fabrikasi, duplikasi publikasi, atau pelanggaran etik serius, saya tidak melakukan penyelidikan sendiri atau menyerang penulis dalam komentar terbuka.
Saya menyampaikan kekhawatiran secara rahasia kepada editor dengan bukti yang cukup.
Panduan reviewer menempatkan pelaporan dugaan plagiarisme, pemalsuan penelitian, dan persoalan integritas kepada editor sebagai bagian dari tanggung jawab reviewer. Namun, reviewer bukan pihak yang memutuskan sendiri bahwa pelanggaran pasti telah terjadi.
Saya belajar membedakan antara kecurigaan dan vonis.
Kecurigaan perlu dilaporkan.
Vonis membutuhkan proses yang adil.
Saya Memastikan Hasil Tidak Hanya Mengulang Tabel
Saat membaca bagian hasil, saya memeriksa apakah data disajikan secara jelas dan selaras dengan pertanyaan penelitian.
Saya melihat tabel, grafik, kutipan wawancara, dan hasil analisis.
Apakah jumlah peserta konsisten?
Apakah angka dalam tabel sesuai dengan narasi?
Apakah persentase masuk akal?
Apakah nama variabel berubah di tengah artikel?
Apakah semua pertanyaan penelitian telah dijawab?
Saya pernah menemukan sebuah tabel yang menunjukkan rata-rata kelompok eksperimen lebih tinggi daripada kelompok kontrol. Namun, teks menyatakan sebaliknya.
Kesalahan itu mungkin hanya salah ketik, tetapi dapat mengubah makna.
Saya juga memeriksa apakah tabel diperlukan. Beberapa naskah menggunakan lima tabel untuk menyampaikan informasi yang sebenarnya dapat diringkas dalam dua tabel.
Sebaliknya, ada artikel yang menyembunyikan terlalu banyak angka di dalam paragraf panjang sehingga pembaca kesulitan melihat pola.
Reviewer tidak harus mendesain ulang seluruh artikel. Namun, saya dapat memberikan saran untuk meningkatkan keterbacaan.
Untuk penelitian kualitatif, saya memeriksa apakah tema benar-benar didukung data. Kutipan yang menarik belum tentu mewakili pola umum. Saya melihat apakah penulis menyajikan variasi pengalaman, termasuk data yang tidak sepenuhnya sesuai dengan kesimpulan.
Saya tidak meminta penulis menyembunyikan hasil yang tidak mendukung harapan.
Penelitian yang baik tidak harus menghasilkan cerita yang sempurna.
Ia harus menghasilkan cerita yang jujur.
Pembahasan Tidak Cukup Hanya Mengatakan “Sejalan”
Di bagian pembahasan, saya sering menemukan kalimat:
Hasil penelitian ini sejalan dengan penelitian A.
Kemudian:
Temuan ini juga didukung oleh penelitian B.
Setelah itu:
Penelitian C memperoleh hasil yang sama.
Saya menunggu penjelasan lebih lanjut, tetapi paragraf berakhir.
Sebagai reviewer, saya meminta penulis masuk lebih dalam.
Mengapa hasil tersebut muncul?
Bagaimana teori menjelaskannya?
Mengapa hasilnya sama atau berbeda dari penelitian terdahulu?
Apa maknanya bagi guru, kepala sekolah, pembuat kebijakan, atau peneliti berikutnya?
Pembahasan adalah tempat penulis menunjukkan kemampuan berpikir, bukan hanya kemampuan menemukan kutipan.
Saya juga memeriksa apakah implikasinya realistis.
Sebuah penelitian kecil tidak selalu cukup untuk merekomendasikan perubahan kebijakan nasional. Namun, penelitian tersebut mungkin tetap memberikan implikasi penting bagi praktik kelas atau penelitian selanjutnya.
Saya memperhatikan keterbatasan penelitian.
Apakah penulis mengakui keterbatasan sampel?
Apakah instrumen laporan diri dapat menimbulkan bias?
Apakah durasi perlakuan terlalu singkat?
Apakah terdapat kemungkinan variabel lain?
Keterbatasan tidak seharusnya ditulis seperti kalimat wajib tanpa makna. Keterbatasan perlu dihubungkan dengan cara pembaca menafsirkan hasil.
Saya juga tidak menuntut penulis merendahkan penelitiannya sendiri.
Tujuannya bukan membuat penelitian terlihat buruk.
Tujuannya adalah menunjukkan wilayah tempat kesimpulan masih dapat dipercaya.
Saya Menulis Komentar yang Dapat Dikerjakan
Ketika selesai membaca, saya mulai menulis laporan review.
Saya pernah menerima komentar sebagai penulis yang hanya berbunyi:
Pendahuluan perlu diperbaiki.
Komentar itu membuat saya bingung.
Bagian mana yang harus diperbaiki?
Apa masalahnya?
Perbaikan seperti apa yang diharapkan?
Pengalaman tersebut membuat saya berjanji untuk tidak memberikan komentar kabur.
Daripada menulis:
Metode tidak jelas.
Saya menulis:
Bagian metode belum menjelaskan bagaimana 120 siswa dipilih dari keseluruhan populasi. Mohon jelaskan teknik sampling, kriteria peserta, dan alasan penentuan ukuran sampel agar pembaca dapat menilai keterwakilan data.
Daripada menulis:
Pembahasan masih lemah.
Saya menulis:
Pembahasan saat ini lebih banyak mengulang hasil. Penulis perlu menjelaskan mengapa pembelajaran berbasis proyek berhubungan dengan keterlibatan siswa dan mengaitkannya dengan teori yang digunakan pada bagian pendahuluan.
Komentar yang baik memiliki tiga unsur:
Masalahnya apa, mengapa masalah itu penting, dan apa yang dapat dilakukan penulis.
Saya tidak harus menulis ulang artikel. Penulis tetap pemilik naskah dan bertanggung jawab menentukan cara revisi.
Namun, komentar saya harus cukup jelas agar penulis mengetahui arah perbaikan.
Nada Komentar Menentukan Apakah Kritik Dapat Diterima
Saya pernah tergoda menulis:
Penulis tampaknya tidak memahami metode penelitian dasar.
Saya berhenti sebelum menekan tombol kirim.
Kalimat itu menyerang orang, bukan membahas naskah.
Saya mengubahnya menjadi:
Penjelasan desain penelitian belum cukup untuk mendukung klaim kausal. Penulis perlu memperjelas prosedur penentuan kelompok dan mempertimbangkan faktor lain yang dapat memengaruhi hasil.
Maknanya tetap tegas.
Namun, fokusnya berada pada karya, bukan kemampuan pribadi penulis.
Panduan reviewer menganjurkan komentar yang sopan, konstruktif, faktual, dan bebas dari serangan pribadi. Kritik sebaiknya disertai alasan agar editor dan penulis memahami dasar penilaian.
Saya membayangkan penulis sebagai seseorang yang telah menghabiskan waktu berbulan-bulan, bahkan bertahun-tahun, mengumpulkan data dan menulis naskah.
Naskah itu mungkin memiliki banyak kelemahan. Namun, kelemahan tidak memberi saya izin untuk mempermalukan penulis.
Reviewer terbaik bukan reviewer yang paling kejam.
Reviewer terbaik adalah orang yang mampu menyampaikan persoalan sulit secara jernih, jujur, dan tetap menghormati manusia di balik tulisan.
Saya juga berusaha menyebutkan kekuatan artikel.
Misalnya:
Topik penelitian relevan dengan kebutuhan pembelajaran saat ini dan data lapangan memiliki potensi kontribusi yang baik. Namun, artikel memerlukan perbaikan besar pada bagian metode dan pembahasan sebelum kontribusi tersebut dapat dinilai secara memadai.
Pujian tidak boleh dibuat-buat.
Namun, keseimbangan membantu penulis memahami bagian yang sudah berfungsi dan bagian yang masih perlu diperbaiki.
Saya Memisahkan Catatan untuk Penulis dan Editor
Sistem jurnal biasanya menyediakan kolom komentar untuk penulis dan kolom rahasia untuk editor.
Saya menggunakan keduanya dengan hati-hati.
Komentar untuk penulis berisi masukan yang membantu perbaikan artikel. Komentar rahasia untuk editor dapat memuat penilaian mengenai rekomendasi, kekhawatiran etik, kemungkinan konflik, atau persoalan lain yang tidak tepat disampaikan langsung kepada penulis.
Saya menjaga agar kedua bagian tidak saling bertentangan.
Tidak adil apabila saya bersikap sangat positif kepada penulis, tetapi secara diam-diam meminta editor menolak artikel tanpa memberikan alasan yang dapat diperbaiki.
Apabila saya merekomendasikan penolakan karena masalah metode yang mendasar, saya tetap menjelaskan masalah tersebut secara profesional kepada penulis, sejauh tidak berkaitan dengan penyelidikan etik yang harus ditangani editor secara rahasia.
Saya juga mengingat bahwa reviewer memberi rekomendasi, bukan keputusan akhir.
Keputusan menerima, meminta revisi, atau menolak berada pada editor. Editor dapat mempertimbangkan laporan dari beberapa reviewer, kebijakan jurnal, ruang lingkup, serta prioritas penerbitan.
Kesadaran itu membuat saya lebih rendah hati.
Saya tidak menulis seolah-olah keputusan jurnal sepenuhnya berada di tangan saya.
Major Revision Bukan Berarti Artikel Buruk
Pada akhir laporan, saya harus memilih rekomendasi.
Accept.
Minor revision.
Major revision.
Reject.
Awalnya saya merasa pilihan tersebut seperti pemberian nilai ujian. Namun, perlahan saya memahami bahwa setiap kategori berkaitan dengan besarnya pekerjaan yang masih diperlukan.
Minor revision biasanya berarti inti penelitian cukup kuat, tetapi terdapat perbaikan terbatas yang tidak mengubah fondasi utama.
Major revision berarti artikel memiliki potensi, tetapi membutuhkan perubahan penting pada analisis, metode yang dilaporkan, argumentasi, struktur, atau interpretasi.
Reject dapat dipilih apabila masalah mendasar tidak mungkin diperbaiki melalui revisi wajar, naskah berada di luar ruang lingkup, kontribusinya tidak memadai, atau terdapat persoalan serius lainnya.
Saya tidak menggunakan rekomendasi untuk menghukum penulis.
Saya mencocokkannya dengan komentar yang telah saya berikan.
Bila meminta revisi besar, saya tidak menuliskan puluhan komentar kecil tentang koma dan salah ketik sambil mengabaikan masalah utama.
Bila merekomendasikan penolakan, saya memastikan alasannya cukup jelas dan berbasis pada naskah.
Saya juga tidak mudah memilih “accept” hanya karena merasa tidak enak.
Menerima artikel yang belum siap bukan tindakan baik kepada penulis, jurnal, ataupun pembaca.
Kebaikan akademik bukan berarti menghindari kritik.
Kebaikan berarti memberikan penilaian yang jujur dan adil.
Saya Tidak Mengunggah Naskah ke AI Sembarangan
Pada masa ketika kecerdasan buatan semakin mudah digunakan, proses review menghadirkan pertanyaan baru.
Saya mungkin tergoda mengunggah naskah ke dalam alat AI dan meminta:
Tolong nilai kelemahan penelitian ini.
Cara itu terlihat cepat.
Namun, naskah yang saya terima bersifat rahasia. Mengunggahnya ke layanan eksternal dapat melanggar kerahasiaan, hak kepemilikan, dan privasi data.
Kebijakan terkini dari penerbit besar seperti Elsevier dan Springer Nature menyatakan bahwa reviewer tidak boleh mengunggah naskah atau bagian naskah ke alat AI generatif umum karena materi tersebut dapat mengandung informasi rahasia, sensitif, atau milik penulis. Penilaian ilmiah tetap harus mencerminkan pertimbangan ahli manusia, dan penggunaan AI yang diizinkan oleh kebijakan tertentu perlu tetap berada di bawah kendali manusia serta diungkapkan bila dipersyaratkan.
Karena itu, saya selalu membaca kebijakan jurnal sebelum menggunakan alat apa pun.
Saya tidak memasukkan naskah, data peserta, tabel, komentar rahasia, atau identitas penulis ke layanan AI yang tidak diizinkan.
Bila hanya memeriksa ejaan komentar saya sendiri, saya tetap memastikan tidak ada informasi rahasia yang ikut dimasukkan dan kebijakan jurnal mengizinkannya.
AI mungkin dapat membantu aspek teknis tertentu.
Namun, tanggung jawab menilai logika, metode, bukti, dan kontribusi tetap berada pada saya.
Saya tidak dapat menyerahkan tanggung jawab etik kepada sebuah mesin, lalu mengambil kredit sebagai reviewer.
Tenggat Waktu Adalah Bagian dari Etika
Setelah beberapa hari bekerja, laporan review akhirnya selesai.
Saya memeriksa ulang komentar, memastikan nada tulisannya profesional, lalu mengirimkannya sebelum tenggat.
Saya menyadari bahwa ketepatan waktu bukan sekadar soal kedisiplinan pribadi.
Di balik naskah tersebut ada penulis yang menunggu keputusan. Mungkin artikel itu dibutuhkan untuk kelulusan, kenaikan jabatan, laporan penelitian, atau pengembangan karier.
Saya memang tidak boleh menurunkan kualitas review demi mengejar kecepatan. Namun, saya juga tidak boleh menerima tugas lalu membiarkannya terlupakan.
Apabila muncul keadaan yang membuat saya tidak dapat menyelesaikan review tepat waktu, saya menghubungi editor lebih awal.
Saya tidak menghilang.
Editor dapat memberikan perpanjangan atau mencari reviewer pengganti.
Menjadi reviewer berarti menghargai waktu semua pihak.
Bukan hanya waktu saya.
Naskah Revisi Menguji Konsistensi Saya
Beberapa minggu kemudian, artikel yang sama kembali.
Penulis telah mengirim naskah revisi dan surat tanggapan.
Saya membuka dokumen tersebut dan mulai membandingkan komentar lama dengan perubahan baru.
Pada tahap ini, saya tidak mengulang review dari awal seolah-olah belum pernah membaca naskah. Saya memeriksa apakah penulis telah menanggapi persoalan utama.
Apakah penjelasan sampling sudah ditambahkan?
Apakah klaim kausal telah diperbaiki?
Apakah pembahasan lebih mendalam?
Apakah alasan ketika menolak saran saya dapat diterima?
Saya belajar bahwa penulis tidak harus mengikuti setiap komentar secara persis.
Penulis dapat tidak setuju selama memberikan alasan ilmiah yang masuk akal.
Sebagai reviewer, saya tidak boleh marah hanya karena saran saya tidak digunakan. Saya menilai kualitas argumentasinya.
Saya juga tidak menambahkan tuntutan baru tanpa alasan kuat. Proses review dapat berubah menjadi perjalanan tanpa akhir apabila reviewer terus-menerus menciptakan syarat baru pada setiap putaran.
Tujuan review adalah membantu naskah mencapai standar yang layak.
Bukan menunjukkan bahwa reviewer selalu dapat menemukan kesalahan tambahan.
Menjadi Reviewer Ternyata Membuat Tulisan Saya Lebih Baik
Setelah beberapa kali menjadi reviewer, saya melihat perubahan dalam cara saya menulis.
Ketika menyusun pendahuluan, saya mulai bertanya apakah celah penelitian sudah terlihat.
Ketika memilih metode, saya membayangkan pertanyaan yang mungkin diajukan reviewer.
Ketika menyajikan hasil, saya memeriksa konsistensi angka.
Ketika menulis pembahasan, saya berhenti hanya mengumpulkan kalimat “sejalan dengan penelitian sebelumnya”.
Menilai artikel orang lain membuat saya lebih peka terhadap kelemahan tulisan sendiri.
Saya juga memperoleh gambaran tentang perkembangan penelitian pendidikan. Saya melihat berbagai pendekatan, konteks, instrumen, dan persoalan baru.
Namun, saya selalu mengingat bahwa pengetahuan yang diperoleh dari naskah rahasia tidak boleh digunakan atau dibagikan sebelum sah tersedia untuk umum.
Menjadi reviewer memberi banyak pelajaran.
Tetapi pelajaran tersebut datang bersama batas etik.
Reviewer Terbaik Bukan Orang yang Paling Banyak Mencoret
Kini, setiap kali menerima undangan review, saya tidak lagi melihatnya sebagai kesempatan untuk menunjukkan bahwa saya lebih pintar daripada penulis.
Saya melihatnya sebagai tugas pelayanan akademik.
Seorang reviewer yang baik harus kritis, tetapi tidak sinis.
Ia harus teliti, tetapi tetap memahami gambaran besar.
Ia harus tegas, tetapi tidak merendahkan.
Ia harus membantu editor membuat keputusan, sekaligus memberi penulis jalan yang jelas untuk memperbaiki naskah.
Saya menyadari bahwa kualitas review tidak diukur dari panjangnya komentar atau banyaknya warna merah pada dokumen.
Satu komentar yang tepat dapat lebih bermanfaat daripada dua halaman kritik yang kabur.
Reviewer terbaik juga bukan orang yang selalu merekomendasikan penolakan. Ia bukan pula orang yang menerima semua artikel karena merasa kasihan.
Reviewer terbaik adalah orang yang mampu membedakan penelitian yang kuat, penelitian yang masih dapat diperbaiki, dan penelitian yang memiliki masalah mendasar.
Ia menjelaskan penilaiannya dengan bukti.
Ia menjaga kerahasiaan.
Ia mengungkap konflik kepentingan.
Ia menghormati tenggat.
Ia tidak memaksakan teori, metode, atau sitasinya sendiri.
Ia tidak menyerang penulis.
Ia tidak menggunakan informasi rahasia untuk keuntungan pribadi.
Ia juga bersedia mengakui batas keahliannya.
Surel Itu Akhirnya Tidak Lagi Menakutkan
Beberapa bulan setelah undangan pertama, saya kembali menerima surel serupa.
Invitation to Review a Manuscript.
Kali ini saya tidak langsung panik.
Saya membaca judul dan abstraknya. Saya memeriksa ruang lingkup. Saya mempertimbangkan waktu dan konflik kepentingan. Setelah yakin dapat memberikan penilaian yang layak, saya menekan tombol:
Accept Review.
Saya tahu pekerjaan belum selesai. Di depan saya ada beberapa jam membaca, memeriksa, berpikir, dan menulis.
Namun, saya juga tahu apa yang harus dilakukan.
Saya tidak perlu menjadi reviewer yang sempurna.
Saya perlu menjadi reviewer yang bertanggung jawab.
Pada akhirnya, menjadi reviewer jurnal pendidikan mengajarkan saya satu hal penting: ilmu pengetahuan tidak tumbuh hanya melalui orang-orang yang menulis artikel.
Ilmu pengetahuan juga tumbuh melalui orang-orang yang bersedia membaca dengan teliti, mempertanyakan dengan jujur, dan memberi masukan dengan hormat.
Di balik setiap artikel pendidikan yang berkualitas, mungkin ada penulis yang bekerja keras, editor yang mengambil keputusan dengan hati-hati, dan reviewer yang namanya tidak pernah terlihat oleh pembaca.
Reviewer bekerja di balik layar.
Namun, pekerjaannya ikut menentukan apakah sebuah gagasan dijelaskan dengan cukup jelas, apakah sebuah metode dapat dipercaya, dan apakah sebuah kesimpulan benar-benar didukung oleh bukti.
Saya pun menyadari bahwa menjadi reviewer bukan tentang menjadi penjaga gerbang yang gemar menutup pintu.
Menjadi reviewer adalah membantu memastikan bahwa ketika pintu publikasi akhirnya dibuka, pengetahuan yang melaluinya telah diperiksa dengan jujur, adil, dan penuh tanggung jawab.
