Các tập san khoa học được xem như là những thiết chế (institution) khoa học, nhưng cũng được ví von như là những cơ chế "gác cổng" ngôi đền khoa học. Những người trong ban biên tập và chuyên gia bình duyệt được ví von như là … những con chó gác cổng. Nhiệm vụ chính của gác cổng khoa học là nhằm loại bỏ những công trình nghiên cứu kém phẩm chất lọt vào ngôi đền khoa học. Câu hỏi đặt ra là việc canh gác cổng của ngôi đền khoa học đó hiệu quả như thế nào? Một nghiên cứu thú vị công bố trên PNAS (Proc Natl Acad Sci, USA) vào tuần qua (1) cho thấy hiệu quả của gác cổng khoa học có vài hạn chế đáng kể, vì bỏ sót những công trình khoa học có tác động lớn.
Trong y khoa, các tập san nổi tiếng như New England Journal of Medicine, JAMA, Lancet, Journal of Clinical Investigation, British Medical Journal (BMJ), Annals of Internal Medicine, v.v. được xem là những "đền thiêng". Những công trình được công bố trên các tập san đó là những công trình được chọn lọc cẩn thận qua một quá trình bình duyệt nghiêm chỉnh, và thuờng có tác động lớn đến chuyên ngành. Đây cũng là những tập san có chỉ số ảnh hưởng (IF) rất cao. Chẳng hạn như IF của BMJ là 16.104, Ann Int Med là 16.378, và Lancet 39.207. Tác giả có tên trên các tập san này là một vinh dự, và rất thuận tiện cho sự tiến thân trong sự nghiệp khoa bảng. Rất rất nhiều nhà khoa học suốt đời không bao giờ có vinh hạnh có tên trên các tập san này. Nhưng cũng có người xuất hiện nhiều lần trên các tập san đó. Do đó, đẳng cấp của nhà khoa học thể hiện qua sự có mặt của họ trên các tập san danh giá.
Một nhóm nghiên cứu Mĩ – Úc đặt câu hỏi là những người gác cổng ngôi đền khoa học có làm tốt nhiệm vụ của họ? "Làm tốt" ở đây hiểu theo nghĩa chọn được những công trình có phẩm chất cao, và loại bỏ những công trình kém, không xứng đáng được công bố. Nhưng thế nào là "phẩm chất cao"? Một cách đánh giá được đại đa số giới khoa học công nhận là qua tần số trích dẫn (citations). Một công trình nghiên cứu có phẩm chất cao và tác động cao là những công trình mà sau khi công bố được đồng nghiệp trích dẫn nhiều. Trích dẫn là một cách ghi nhận công trạng, nhưng cũng là một thước đo về tác động.
Nhóm nghiên cứu chọn 3 tập san để trả lời câu hỏi về hiệu quả của gác cổng khoa học: BMJ, Ann Intern Med, và Lancet. Cách họ làm là điểm qua tất cả các bản thảo bài báo khoa học được đệ trình cho 3 tập san trong thời gian 2003-2004. Họ phân nhóm các bài báo bị từ chối và các bài được chấp nhận cho công bố. Những bài bị từ chối được phân chia thành 2 nhóm:
(a) từ chối ngay từ lúc nộp bài, tức ban biên tập chỉ xem qua và quyết định từ chối (chưa gửi ra ngoài bình duyệt), còn gọi là "desk rejection";
(b) từ chối sau khi đã được bình duyệt.
Câu hỏi đặt ra là số phận của những bài bị từ chối theo diện (a) hay (b) ra sao? Những bài bị từ chối thường thường tác giả gửi cho một tập san khác thường có IF thấp hơn tập san ban đầu. Tần số trích dẫn của các bài này [gửi cho tập san khác] so sánh như thế nào với các bài được chấp nhận [của 3 tập san danh tiếng kia].
Kết quả cho thấy trong hai năm 2003-2004, 3 tập san danh giá đó nhận 1008 bài báo khoa học. Số này được chia ra như sau:
(1) 772 bài, tức 77%, bị từ chối ngay từ giai đoạn đầu, tức desk rejection;
(2) 187 bài, tức gần 19%, bị từ chối sau khi đã gửi cho các chuyên gia bình duyệt;
(3) Phần còn lại 51 bài, tức khoảng 5%, được chấp nhận cho công bố sau khi đã qua bình duyệt.
Tần số trích dẫn trung bình 10 năm sau đó như sau:
(1) Những bài bị 3 tập san danh giá từ chối ngay từ giai đoạn đầu và sau này được công bố ở một tập san khác với IF thấp hơn (n=772): 69.80
(2) Những bài bị 3 tập san danh giá từ chối sau khi đã qua bình duyệt, và sau này được công bố ở một tập san khác với IF thấp hơn (n=187): 94.65
(3) Những bài bị 3 tập san danh giá chấp nhận cho công bố sau khi đã qua bình duyệt (n=51): 143.22.
Nhìn chung (cho tất cả các bài báo) bài nào có tần số trích dẫn cao thường được công bố trên các tập san có IF cao. Hệ số tương quan giữa tần số trích dẫn và chỉ số IF là 0.54.
Nhìn qua tần số trích dẫn trung bình trên đây, chúng ta thấy quả thật các "con chó" giữ cổng khoa học làm việc có hiệu quả. Rõ ràng là những bài bị ban biên tập từ chối có tần số trích dẫn thấp hơn những bài được chấp nhận.
NHƯNG sau khi phân tích sâu hơn, các tác giả phát hiện rằng trong số những bài bị từ chối theo diện (a), có đến 15 bài sau này được công bố trên các tập san khác và gây ảnh hưởng lớn trong chuyên ngành. Cụ thể, 15 bài này có tần số trích dẫn trung bình là 212.77 lần, mặc dù các tập san này có chỉ số IF thấp hơn 3 tập san danh giá kia. Như vậy, các con chó gác cổng chưa làm tốt nhiệm vụ của họ vì bỏ sót những công trình có phẩm chất cao.
Tại sao 15 bài có phẩm chất cao đó bị 3 tập san kia từ chối? Phân tích lí do bị từ chối, nhóm tác giả phát hiện 6 nhóm lí do chính như sau:
Do thiếu cái mới (lack of novelty): 7 bài
Do có vấn đề về phương pháp: 4 bài
Do mức độ ảnh hưởng quá thấp: 4
Do dữ liệu chưa đầy đủ: 3
Do suy đoán trong kết quả: 2
Không có lí do gì rõ ràng: 3
Do có vấn đề về phương pháp: 4 bài
Do mức độ ảnh hưởng quá thấp: 4
Do dữ liệu chưa đầy đủ: 3
Do suy đoán trong kết quả: 2
Không có lí do gì rõ ràng: 3
Nhóm tác giả lí giải rằng các công trình với ý tưởng mới thường không được "giới chính thống" chào đón nồng hậu. Y học là một cộng đồng tương đối bảo thủ, và họ chịu ảnh hưởng lớn bởi phương châm "Trước hết không hại người", nên các phương pháp mới và ý tưởng mới thường bị dè dặt đón nhận. Ba tập san (BMJ Ann Int Med, và Lancet) họ phải để ý đến độc giả của họ, và do đó, họ và các chuyên gia có thái độ bảo thủ là điều dễ hiểu. Nhưng chính thái độ bảo thủ đó làm cho các công trình khoa học đột phá bị thiệt thòi, và điều này phản ảnh qua phân tích của nhóm tác giả.
Tôi thấy nhóm tác giả có vẻ không mặn mà với các ban biên tập và chuyên gia bình duyệt khi họ lấy 15 bài có ảnh hưởng cao ra làm ví dụ là quá trình bình duyệt bỏ sót những bài có tầm ảnh hưởng cao. Trong thực tế, số liệu do chính họ trình bày cho thấy ban biên tập và chuyên gia bình duyệt rõ ràng có hiệu quả nhận dạng những công trình tốt (nhìn qua tần số trích dẫn).
Nếu chỉ tập trung vào một thiểu số có trích dẫn cao mà trước đó bị 3 tập san từ chối (như tác giả đã làm) theo tôi là không công bằng. Tại sao họ không chọn ra 15 bài được 3 tập san kia chấp nhận cho công bố và được trích dẫn cao? Chỉ khi nào chúng ta có 2 nhóm như thế thì mới đủ dữ liệu để nói rằng các "con chó" gác cổng làm có hiệu quả hay hay không có hiệu quả.
Kết quả nghiên cứu này còn cho thấy -- một lần nữa -- rằng chỉ số IF của tập san là một thước đo khá tốt về phẩm chất của công trình nghiên cứu. Thật vậy, tần số trích dẫn và chỉ số IF có độ tương quan đến 0.54, tức khá cao. Do đó, dù bị phê bình rất nhiều (và tôi đồng ý với hầu hết phê bình) chỉ số IF vẫn có khả năng phân biệt công trình có chất lượng cao với công trình có chất lượng thấp trong mỗi chuyên ngành. Có lẽ đó chính là lí do tại sao chỉ số IF vẫn còn tồn tại và được sử dụng cho đến ngày nay.
Nếu chúng ta cần rút ra một bài học từ nghiên cứu này (1), tôi nghĩ bài học đó là: không nản chí. Một khi bị tập san danh giá từ chối, chúng ta không nên nghĩ là "tận cùng rồi", mà phải nghĩ và hành động tích cực hơn, bằng cách tìm tập san khác phù hợp hơn và có ảnh hưởng. Công bố trên tập san có IF thấp vẫn có thể gây tác động lớn sau này.
Đọc thêm:
(1) Siler K, Lee K, Bero L. Measuring the effectiveness of scientific gatekeeping.
http://www.pnas.org/content/early/2014/12/17/1418218112
http://www.pnas.org/content/early/2014/12/17/1418218112
Có thể xem bài điểm báo trên Nature ở đây:http://www.nature.com/news/peer-review-reviewed-1.16629#/b1
(2) Tôi viết khá nhiều về chủ đề này. Có thể xem bài "Tại sao bài báo khoa học bị từ chối" của tôi tại http://baodatviet.vn/…/Ly-do-bai-bao-khoa-hoc-bi-tu-choi-v…/
hoặc xem bài giảng của tôi về chủ đề này:https://www.youtube.com/watch?v=dy9q0FkhL3w
0 nhận xét:
Đăng nhận xét