Hasil pencarian akademik muncul sebagai daftar yang panjang, dan daftar itu tidak memberi tahu apa yang tidak ada di dalamnya. Pertanyaan pertama yang perlu dijawab sebelum memakai satu mesin pencari bukan "mana yang paling besar", melainkan "apa yang hilang kalau saya hanya memakai alat ini". Sejumlah penelitian yang bisa diperiksa sudah mengukur hal itu, dan hasilnya cukup jelas untuk dijadikan langkah kerja.
Tulisan ini merangkum temuan tersebut, lalu menyusunnya menjadi langkah yang bisa dikerjakan penulis, guru, atau siapa pun yang sedang mencari literatur. Semua angka di bawah diambil dari teks lengkap artikel yang tercantum di bagian rujukan, dan setiap rujukan bisa dibuka lewat alamat DOI-nya.
Satu alat selalu menyisakan celah
Bramer, Rethlefsen, Kleijnen, dan Franco (2017), dalam Systematic Reviews, memeriksa 58 tinjauan sistematis yang sudah terbit beserta hasil pencarian aslinya. Dari 1.746 rujukan relevan yang ditemukan melalui pencarian basis data, sebanyak 292 rujukan atau 17 persennya hanya ditemukan oleh satu basis data saja. Artinya, ada bagian literatur yang memang tidak ada di alat lain, bukan sekadar tersembunyi di halaman belakang.
Angka itu menjelaskan mengapa menambah alat bekerja. Dengan data yang sama, Bramer dkk. melaporkan recall atau persentase rujukan relevan yang berhasil ditemukan: hanya Embase 85,9 persen; Embase dan MEDLINE 92,8 persen; Embase dan MEDLINE ditambah salah satu dari Web of Science atau Google Scholar 95,9 persen; dan keempatnya sekaligus 98,3 persen. Kombinasi empat alat itu menemukan seluruh rujukan yang disertakan pada 72 persen tinjauan yang diperiksa.
Menambah alat punya harganya, dan itu juga dilaporkan apa adanya. Bramer dkk. memakai ukuran jumlah rekaman yang harus dibaca untuk menemukan satu rujukan yang masuk. Pada Embase saja angkanya 57; pada kombinasi empat alat angkanya 73. Jadi cakupan bertambah, tetapi beban membaca juga bertambah. Mereka juga memperkirakan bahwa 60 persen tinjauan sistematis yang sudah terbit tidak mencapai 95 persen dari seluruh rujukan relevan yang tersedia. Perlu dikatakan terus terang: penelitian itu berlangsung di bidang kesehatan, dikerjakan pada 58 tinjauan, dan pencariannya dijalankan oleh satu orang peneliti. Angka itu menggambarkan kelompok tersebut, bukan berlaku sama untuk semua bidang.
Batas teknis yang menentukan hasil pencarian
Haddaway, Collins, Coughlin, dan Kirk (2015), dalam PLOS ONE, memeriksa kemampuan mesin pencari akademik untuk pencarian yang bisa diperiksa. Tiga batas yang mereka catat penting bagi siapa pun yang menyusun kata kunci panjang. Pertama, panjang kata kunci dibatasi 256 karakter. Kedua, hasil pencarian hanya dapat ditampilkan sampai 1.000 rekaman pertama, tanpa penjelasan bagaimana urutannya ditentukan. Ketiga, hasil tidak bisa diekspor borongan sebagai daftar sitasi, hanya rekaman satu per satu.
Batasan panjang kata kunci bukan perkara kecil. Satu kata kunci lengkap untuk pencarian sistematis biasanya memuat banyak sinonim yang dirangkai dengan kata "atau", dan rangkaian itu mudah melewati 256 karakter. Ketika kata kunci harus dipendekkan, ada sinonim yang terpaksa dibuang, dan bagian literatur yang hanya memakai sinonim itu ikut hilang dari hasil.
Gusenbauer dan Haddaway (2020), dalam Research Synthesis Methods, menguji 28 sistem pencarian akademik dan menemukan perbedaan kemampuan yang besar antarsistem. Kesimpulan yang mereka tulis cukup tegas: hanya separuh dari sistem yang diperiksa, dan hanya sedikit basis data akses terbuka, yang bisa direkomendasikan tanpa catatan besar. Hampir separuh sistem yang diuji tidak menyediakan cara mengunduh banyak rekaman sekaligus. Mereka juga menyatakan mesin pencari yang paling populer tidak layak dipakai sebagai alat utama, tetapi berguna sebagai sumber pelengkap, terutama untuk mencari terbitan yang tidak diterbitkan penerbit komersial.
Besar belum berarti tepat
Gusenbauer (2018), dalam Scientometrics, membandingkan ukuran 12 mesin pencari dan basis data. Perkiraannya, mesin pencari akademik terbesar memuat 389 juta rekaman pada Januari 2018, dan ukurannya selama ini mungkin diremehkan lebih dari 50 persen. Namun ukuran yang besar tidak otomatis berarti tepat. Pada pengujian 28 sistem di atas, justru mesin pencari dengan cakupan terluas dinilai tidak memenuhi syarat sebagai alat utama pencarian sistematis. Yang dinilai di sana bukan jumlah rekaman, melainkan apakah pencarian bisa diulang, dikendalikan, dan diperiksa hasilnya.
Haddaway dkk. (2015) memberi contoh nyata betapa alat yang berbeda bisa menghasilkan daftar yang berbeda jauh. Ketika kata kunci yang sebanding dipakai di dua layanan sekaligus, tumpang tindih hasilnya hanya 10 sampai 67 persen, dan pada lima dari enam studi kasus yang mereka periksa, ada literatur penting yang terlewat oleh mesin pencari. Sebaliknya, ketika satu kumpulan 84 artikel dicari satu per satu dengan kata kunci khusus, 61 di antaranya ditemukan. Perbedaan itu menunjukkan hal yang praktis: alat yang sama bisa tampak sangat lengkap atau sangat bolong, tergantung bagaimana ia dipakai.
Enam langkah yang bisa dikerjakan
Pertama, tetapkan pertanyaan dan kumpulan kata kunci. Tulis pertanyaan penelitian lebih dulu, lalu susun daftar kata kunci beserta sinonim, istilah lama, dan singkatannya. Daftar ini yang nanti dipendekkan atau disesuaikan ketika berpindah alat, sehingga Anda tahu sinonim mana yang terpaksa dibuang.
Kedua, pakai lebih dari satu alat. Bramer dkk. (2017) menunjukkan 17 persen rujukan hanya ditemukan oleh satu basis data, dan tumpang tindih dua layanan hanya 10 sampai 67 persen menurut Haddaway dkk. (2015). Kalau pencarian Anda hanya menyentuh satu alat, sisanya tidak akan pernah muncul.
Ketiga, tulis dan simpan kata kunci lengkap. Simpan apa adanya, termasuk perubahan yang Anda lakukan untuk satu alat tertentu. Tanpa catatan itu, pencarian tidak bisa diulang, dan Gusenbauer & Haddaway (2020) menilai kemampuan pencarian untuk diulang sebagai salah satu syarat yang membedakan sistem yang layak dipakai dari yang tidak.
Keempat, kenali batas tiap alat. Haddaway dkk. (2015) mencatat batas panjang kata kunci 256 karakter, tampilan hasil yang berhenti di 1.000 rekaman pertama, dan ketiadaan ekspor borongan. Gusenbauer & Haddaway (2020) juga menemukan hampir separuh sistem yang diuji tidak menyediakan unduhan banyak rekaman sekaligus. Batas-batas ini menentukan seberapa jauh hasil pencarian boleh dipercaya, bukan sebagai catatan teknis semata.
Kelima, sisir lebih dalam dari halaman pertama. Haddaway dkk. (2015) mengukur titik tempat volume terbesar literatur yang tidak diterbitkan penerbit komersial muncul: sekitar halaman 35 untuk pencarian judul dan halaman 80 untuk pencarian teks lengkap. Mereka juga mencatat bahwa tinjauan sistematis pada umumnya hanya menyaring 50 sampai 100 rekaman pertama. Artinya, cara paling umum memakai alat ini justru berhenti jauh sebelum bagian yang paling jarang didapat.
Keenam, ekspor, simpan, dan catat tanggalnya. Simpan daftar rekaman yang Anda temukan beserta tanggal pencarian dan alat yang dipakai. Isi mesin pencari terus bertambah, dan Haddaway dkk. (2015) mencatat bahwa mesin pencari akademik tidak mengenal batas waktu penerbitan. Catatan tanggal membuat Anda tahu keadaan daftar Anda pada hari tertentu, dan tahu bahwa pencarian ulang beberapa bulan kemudian memang wajar menghasilkan daftar yang berbeda.
Yang perlu diingat sebelum menutup tab
Ringkasnya, mesin pencari akademik adalah alat penyaring yang berguna, bukan daftar lengkap. Tiga kebiasaan sudah cukup untuk memperbaiki mutu pencarian: pakai lebih dari satu alat, simpan kata kunci dan tanggal, dan jangan berhenti pada halaman pertama. Ketiganya tidak menuntut langganan mahal, dan semuanya bisa dikerjakan dengan alat yang sudah ada di tangan Anda. Sisanya adalah kesabaran membaca, dan itulah bagian yang tidak bisa diringkas oleh alat mana pun.
Catatan ilustrasi. Grafik dan skema pada tulisan ini bukan foto dan bukan gambar yang diambil dari internet. Keduanya dibuat sendiri oleh redaksi dengan bantuan perangkat lunak, berdasarkan angka dan tahapan dari rujukan yang tercantum di bawah. Tidak ada foto stok yang dipakai.
Rujukan
- Bramer, W. M., Rethlefsen, M. L., Kleijnen, J., & Franco, O. H. (2017). Optimal database combinations for literature searches in systematic reviews: a prospective exploratory study. Systematic Reviews, 6(1), 245. doi.org/10.1186/s13643-017-0644-y
- Gusenbauer, M. (2018). Google Scholar to overshadow them all? Comparing the sizes of 12 academic search engines and bibliographic databases. Scientometrics, 118(1), 177-214. doi.org/10.1007/s11192-018-2958-5
- Gusenbauer, M., & Haddaway, N. R. (2020). Which academic search systems are suitable for systematic reviews or meta-analyses? Evaluating retrieval qualities of Google Scholar, PubMed, and 26 other resources. Research Synthesis Methods, 11(2), 181-217. doi.org/10.1002/jrsm.1378
- Haddaway, N. R., Collins, A. M., Coughlin, D., & Kirk, S. (2015). The Role of Google Scholar in Evidence Reviews and Its Applicability to Grey Literature Searching. PLOS ONE, 10(9), e0138237. doi.org/10.1371/journal.pone.0138237