Daftar pustaka bisa disusun tanpa aplikasi pengelola rujukan. Yang dibutuhkan bukan perangkat lunak, melainkan kebiasaan memeriksa. Sebab kesalahan rujukan bukan hal yang jarang: Daniel Homeier, Mason Adams, Thomas Lynch, dan Daniel Cognetti, dalam Arthroscopy, Sports Medicine, and Rehabilitation 6(1) tahun 2024, memeriksa 769 rujukan dan 1.082 sitasi di dalam 20 artikel dari dua jurnal kedokteran olahraga. Mereka menemukan 71 kesalahan kutipan, atau 6,6 persen dari seluruh sitasi yang diperiksa, dan setiap artikel yang diperiksa memuat paling sedikit satu kesalahan.
Yang perlu dicatat, kesalahan terbanyak bukan pada angka halaman. Kesalahan yang paling sering justru pada hubungan antara rujukan dan pernyataan yang disandarkan padanya. Rujukan yang tidak mendukung pernyataan penulis muncul 23 kali, 32 persen dari 71 kesalahan; rujukan yang tidak berhubungan dengan pernyataannya 18 kali, 25 persen; dan rujukan tidak langsung, yaitu mengutip sumber sekunder alih-alih sumber aslinya, 15 kali, 21 persen. Tiga jenis itu saja 79 persen dari seluruh kesalahan. Lima kesalahan, 7 persen, justru berupa rujukan yang bertentangan dengan pernyataan yang disandarkan padanya.
Kesalahan pada entri rujukan sendiri juga terukur. C. Panduranga dan K. B. Kirtilaxmi, dalam Journal of Cytology 28(4) tahun 2011, memeriksa 89 rujukan dari satu volume jurnal dan menemukan 14 di antaranya, 15,7 persen, tidak akurat. Bagian yang paling sering salah adalah nama penulis: 8 rujukan, atau 8,98 persen dari 89 rujukan yang diperiksa. Nama jurnal, judul artikel atau buku, dan nomor halaman masing-masing salah pada 2 rujukan, 2,42 persen. Jilid dan tahun tidak pernah salah pada sampel itu. Mereka menguji enam unsur: nama penulis, judul, nama jurnal, tahun, jilid, dan nomor halaman.
Ada satu temuan kecil yang layak dicatat. Dari 89 rujukan yang diperiksa, 82 berasal dari artikel jurnal dan 7 dari buku teks. Kesalahan pada rujukan buku teks ada tiga, sedangkan pada rujukan artikel jurnal ada sebelas. Dengan kata lain, tiga dari tujuh rujukan buku teks salah, sementara sebelas dari 82 rujukan artikel jurnal salah. Rangkuman penelitian sebelumnya yang mereka kutip menyebut penyebab yang berulang: kelalaian penulis, penyederhanaan hasil secara berlebihan, dan kebiasaan mengambil keterangan dari bab buku atau sumber daring tanpa menelusuri sumber aslinya.
Saran untuk menekan angka kesalahan yang mereka himpun dari penelitian sebelumnya juga tidak menuntut perangkat lunak. Di antaranya: memeriksa langsung ke karya aslinya atau mengambilnya dari pangkalan data, membatasi jumlah rujukan, melampirkan halaman pertama dan halaman terakhir karya yang dirujuk, menghindari rujukan buku teks, meminta penyunting memeriksa sebagian rujukan secara acak, dan mengirim pruf halaman kepada penulis untuk dikoreksi sebelum terbit.
Satu jenis kesalahan lagi tidak akan muncul di dua pemeriksaan di atas, karena keduanya menguji rujukan ke artikel cetak. Yang tidak diuji adalah alamat web yang menua lalu berhenti bekerja. Martin Klein dan rekan-rekannya, dalam PLOS ONE 9(12) tahun 2014, menguji lebih dari satu juta rujukan ke sumber web yang diambil dari lebih dari 3,5 juta artikel bidang sains, teknologi, dan kedokteran terbitan 1997 sampai 2012. Mereka menemukan satu dari lima artikel terkena apa yang mereka sebut reference rot, artinya konteks web yang dirujuk artikel itu tidak lagi bisa ditelusuri. Bila hanya artikel yang memuat rujukan ke sumber web yang dihitung, angkanya naik menjadi tujuh dari sepuluh.
Klein dan rekan-rekannya juga mencatat bahwa rujukan ke artikel jurnal sering ditulis sebagai tautan langsung ke portal penerbit, bukan sebagai tautan DOI. Padahal DOI diperkenalkan justru untuk menanggulangi tautan mati, supaya alamatnya tetap bekerja meskipun artikelnya berpindah tempat. Untuk bahan di luar artikel jurnal, seperti laman proyek, perangkat lunak, atau catatan di blog, tidak ada jaminan serupa, dan di situlah tautan paling sering rusak.
Kesalahan juga bisa datang dari perkakas yang dipakai untuk mempercepat pekerjaan. William H. Walters dan Esther Isabelle Wilder, dalam Scientific Reports 13 tahun 2023, meminta ChatGPT versi 3.5 dan versi 4 menyusun tinjauan pustaka singkat untuk 42 topik, lalu memeriksa 636 rujukan yang dihasilkan. Lima puluh lima persen rujukan versi 3.5 dan 18 persen rujukan versi 4 merujuk karya yang tidak ada. Di antara rujukan yang karyanya benar-benar ada, 43 persen pada versi 3.5 dan 24 persen pada versi 4 memuat kesalahan substantif. Angka-angka itu tidak berarti mesin bahasa selalu salah, tetapi menunjukkan hasilnya belum bisa dipakai tanpa pemeriksaan.
Dari semua temuan itu, urutan kerja yang masuk akal untuk penulis yang bekerja tanpa aplikasi khusus tidak berubah banyak: kerjakan pemeriksaan selagi menulis, dan rapikan format paling akhir. Lima langkah berikut bisa dikerjakan dengan satu berkas catatan, tanpa perangkat lunak tambahan.
Langkah pertama, kumpulkan hanya sumber yang benar-benar dibaca. Langkah kedua, catat enam unsur entri dari halaman sumbernya, bukan dari daftar pustaka artikel lain yang sudah jadi. Enam unsur itu persis yang diuji Panduranga dan Kirtilaxmi, dan nama penulis adalah unsur yang paling sering salah di antara keenamnya. Tambahkan DOI bila ada, karena alamat DOI dipakai supaya tautannya tetap bekerja saat artikel berpindah tempat.
Langkah ketiga, periksa setiap entri pada halaman DOI-nya. Satu per satu, dan jangan dari ingatan: nama penulis, tahun, nama terbitan, jilid, dan halaman dibandingkan dengan yang tercatat. Langkah keempat, periksa hubungan rujukan dengan pernyataannya. Ini pekerjaan yang paling sering dilewati, padahal tiga jenis kesalahan pada pemeriksaan Homeier dan rekan-rekannya, yaitu rujukan yang tidak mendukung, rujukan yang tidak berhubungan, dan rujukan tidak langsung, semuanya muncul di situ. Kalau sumbernya hanya bertopik sama tetapi tidak mendukung pernyataannya, rujukan itu belum layak dipakai, atau kalimatnya yang perlu diubah.
Langkah kelima, simpan salinan. Untuk rujukan ke artikel jurnal, salinan satu berkas sudah cukup. Untuk rujukan ke laman web, simpan tangkapan atau arsipnya, sebab bahan semacam itu tidak mendapat perhatian pelestarian seperti yang diterima artikel jurnal. Sesudah kelima langkah itu, baru format diseragamkan sekali jalan, mengikuti gaya yang diminta jurnal atau penerbit tujuan.
Panduranga dan Kirtilaxmi menambahkan catatan yang masih relevan sampai sekarang. Petunjuk penulisan di jurnal jurnal kedokteran menyatakan bahwa penulis bertanggung jawab atas ketepatan rujukan dan wajib memeriksanya terhadap dokumen aslinya, tetapi ketentuan itu tidak dijalankan dengan ketat. Mereka juga menulis dugaan mereka: penulis menganggap rujukan sebagai pelengkap yang paling tidak penting, sehingga perhatiannya kurang. Angka 15,7 persen dan 6,6 persen di atas adalah akibat dari kebiasaan itu, dan pada akhirnya yang menanggung akibatnya adalah pembaca yang berusaha menelusuri sumber yang dirujuk. Menyusun daftar pustaka dengan tangan bukan pekerjaan yang lebih rendah mutunya; ia hanya menuntut pemeriksaan yang dikerjakan sungguh-sungguh, dan pemeriksaan itu memerlukan waktu, bukan aplikasi.
- Homeier, D., Adams, M., Lynch, T., & Cognetti, D. (2024). Inaccurate citations are prevalent within orthopaedic sports medicine literature. Arthroscopy, Sports Medicine, and Rehabilitation, 6(1), 100873. DOI 10.1016/j.asmr.2023.100873
- Panduranga, C., & Kirtilaxmi, K. B. (2011). Accuracy of references in Journal of Cytology. Journal of Cytology, 28(4), 238-240. DOI 10.4103/0970-9371.86365
- Klein, M., Van de Sompel, H., Sanderson, R., Shankar, H., Balakireva, L., Zhou, K., & Tobin, R. (2014). Scholarly context not found: one in five articles suffers from reference rot. PLOS ONE, 9(12), e115253. DOI 10.1371/journal.pone.0115253
- Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13, 14045. DOI 10.1038/s41598-023-41032-5