Phạm Thị Ly (2014)
Tổng thuật, bổ sung và bình luận

TỔNG QUAN VỀ ĐÁNH GIÁ KHOA HỌC

Thành quả nghiên cứu khoa học (NCKH) có vai trò quan trọng trong tăng trưởng kinh tế và phát triển xã hội. Để có những thành quả đó, hoạt động NCKH đòi hỏi một nguồn lực đầu tư lớn của nhà nước, cũng như của các tổ chức nghiên cứu, các trường ĐH. Chính vì chi tiêu cho NCKH rất đáng kể, nên cần có những phương pháp đánh giá hiệu quả của sự chi tiêu ấy một cách khách quan.

Các quỹ nghiên cứu, các nhà tài trợ cần có minh chứng vững chắc để đi đến quyết định xác đáng về việc nên đầu tư cho lĩnh vực gì hoặc nhà khoa học nào. Đánh giá Khoa học đem lại công cụ để tìm kiếm những minh chứng ấy. Hơn thế nữa, nó đặt nền tảng cho công việc quản lý, giám sát tiến trình nghiên cứu; giúp đánh giá tác động và ý nghĩa thiết yếu của hoạt động nghiên cứu, cũng như rút kinh nghiệm để điều chỉnh chính sách NCKH và gợi ý cho những hướng nghiên cứu trong tương lai.

Ở cấp trường/viện/tổ chức khoa học công nghệ, đánh giá khoa học còn liên quan đến việc công bố kết quả nghiên cứu, đề bạt chức danh khoa học, bổ nhiệm biên chế, và phân bổ kinh phí.

Những lý do để thực hiện đánh giá khoa học

Chúng ta đánh giá các dự án, chương trình, công trình, đề tài nghiên cứu vì hai lý do chính: để tăng cường và cải thiện hoạt động nghiên cứu, hoặc để nắm bắt được những kết quả mà nó đạt đến. Với lý do trước ta có đánh giá trong tiến trình,  nhấn mạnh việc cải thiện quy trình thực hiện, hoặc nhằm vào việc hiểu rõ hơn mục đích và nhu cầu của nghiên cứu. Với lý do sau, ta có đánh giá tổng hợp và nhằm vào việc hiểu rõ những gì hoạt động nghiên cứu đã tạo ra, cơ chế nhân quả và hiệu quả của việc đầu tư cho những nghiên cứu ấy.

Nói một cách cụ thể hơn, hoạt động đánh giá khoa học nhằm cung cấp thông tin cho những mục đích sau đây:

Giải trình trách nhiệm và xem xét tính xác đáng của hoạt động nghiên cứu: nhằm đáp ứng các yêu cầu về báo cáo và nhằm xem xét xem một dự án hay chương trình NCKH đã thực hiện được đến mức độ nào mục tiêu mà nó đặt ra; tạo điều kiện để các tổ chức, đơn vị, hay quỹ tài trợ nghiên cứu thấy được liệu quyết định của họ đầu tư cho dự án hay chương trình đó có phải là một lựa chọn đúng đắn nhất hay không.

Lập kế hoạch và xây dựng chiến lược: nhằm hiểu được cơ chế vận hành của các sáng kiến hay hoạt động tài trợ; tìm kiếm những cơ chế tốt nhất để đạt được mục đích; xác định những lĩnh vực ưu tiên để tài trợ và gợi ý cho các chiến lược tài trợ.

Làm chính sách và vận động cho chính sách: cung cấp minh chứng để tạo ra cái nền cho những yêu cầu, hay những tác động của hoạt động NCKH trong những lĩnh vực mà các Quỹ, các tổ chức đang hỗ trợ thực hiện. Những minh chứng này rất quan trọng để vận động cho những chính sách liên quan.

Cải thiện cách thức hoạt động của các tổ chức, đơn vị: nhằm xác định những thành tựu của hoạt động NCKH và biết rằng ở nơi nào việc tài trợ cho NCKH đã tạo ra kết quả khác biệt nổi bật. Điều này sẽ giúp đánh giá tác động của việc đầu tư cho NCKH từ những nguồn khác nhau và theo những cơ chế khác nhau.

Quy trình đánh giá khoa học

Tuy việc đánh giá khoa học có thể diễn ra sau khi dự án, công trình đã hoàn tất, nhưng nó thực chất là một mắt xích trong cái vòng tròn lớn hơn về đánh giá và ra quyết định, cho nên mỗi bước đi của nó đều cần phục vụ cho mục tiêu tổng thể là cải thiện cả quá trình hoạt động khoa học.

Hình 1 dưới đây cho chúng ta hình dung về quy trình đánh giá khoa học:

Có ba phân đoạn chính trong quá trình đánh giá khoa học: trước tài trợ, trong quá trình và sau khi hoàn thành.

Đánh giá trước khi tài trợ (Giai đoạn 1 và 2)

Lựa chọn dự án nào để tài trợ là vấn đề đánh giá chất lượng của cả dự án lẫn cá nhân hay tập thể đứng ra thực hiện dự án bằng cách sử dụng những tiêu chí thống nhất. Trong giai đoạn này, phương pháp phổ biến nhất là kết hợp bình duyệt đồng nghiệp (peer review – đánh giá qua ý kiến của các chuyên gia trong cùng lĩnh vực) và phân tích trắc lượng thư mục (bibliometrics –  đánh giá qua phân tích thống kê công bố khoa học và chỉ số trích dẫn). Đôi khi có thể có quy trình điều chỉnh dự án sau bình duyệt để các nhà khoa học cân nhắc ý kiến của đồng nghiệp, của các bên liên quan và sửa lại dự án ít nhiều nếu cần.

Đánh giá trong quá trình tài trợ (Giai đoạn 3, 4, 5)

Khi dự án nghiên cứu đã được chấp thuận tài trợ và tiến hành thực hiện, cần có một hệ thống quản lý giám sát nhằm ghi nhận tiến trình đạt được so với mục tiêu đặt ra. Nhiều cơ quan tài trợ nghiên cứu có quy định báo cáo giữa kỳ mỗi năm hoặc nửa năm một lần trong quá trình thực hiện dự án. Đây cũng là cơ hội để những người quản lý hoặc thực hiện dự án thảo luận với nhà tài trợ về những điều chỉnh nội dung dự án so với kế hoạch ban đầu. Điều này rất quan trọng để đảm bảo cho việc nghiên cứu đáp ứng mục tiêu mà nó đặt ra hoặc trong trường hợp cần thiết xem xét lại mục tiêu ban đầu dưới ánh sáng của những khám phá hay minh chứng mới xuất hiện trong quá trình nghiên cứu. Vì vậy , dựa trên việc rút kinh nghiệm và lãnh đạo phù hợp, đánh giá trong quá trình có vai trò xây dựng tích cực cho hoạt động NCKH.

Một vấn đề thường nảy sinh trong hoạt động đánh giá ở giai đoạn này, là xem xét lại những điều kiện của đầu vào: nguồn lực tài chính hay vật chất, nhân sự kể cả cộng tác viên) và những yếu tố có thể ảnh hưởng đến quá trình nghiên cứu (ví dụ như tính thích hợp của thiết kế nghiên cứu và phương pháp đi tìm câu trả lời cho câu hỏi nghiên cứu; những khó khăn nảy sinh trong quá trình nghiên cứu; hiệu quả của nghiên cứu, tương tác với những người có thể sử dụng kết quả của nghiên cứu. Cả những kết quả ban đầu cũng có thể là vấn đề cần thảo luận trong việc đánh giá ở giai đoạn này: về bài báo khoa học, về những  khả năng phổ biến hay áp dụng một kết quả nào đó đã đạt được trong quá trình thực hiện dự án mặc dù dự án chưa kết thúc.

Đánh giá khi dự án nghiên cứu kết thúc (Giai đoạn 6-9)

Khi dự án nghiên cứu đã hoàn tất, những kiến thức được tạo ra thường được chia sẻ trong cộng đồng học thuật dưới hình thức bài báo khoa học hay những hình thức ấn phẩm khoa học khác.Thêm vào đó, đã có sự chia sẻ kiến thức rất quan trọng và mạnh mẽ diễn ra khi người nghiên cứu thiết lập quan hệ hợp tác với đồng nghiệp, với những nhóm nghiên cứu khác trong nước và ngoài nước, cũng như khi họ trình bày kết quả nghiên cứu trong các cuộc họp, hội thảo, sinh hoạt học thuật. Đồng thời, kết quả nghiên cứu này cũng sẽ được trình bày với những đối tượng rộng hơn, những người sẽ sử dụng hay liên quan đến việc sử dụng những kết quả nghiên cứu ấy, chẳng hạn như nhà nước, các doanh nghiệp, các nhà chuyên môn, hay cộng đồng xã hội. Các kênh để phổ biến thì khá đa dạng: qua đào tạo, qua mạng lưới chuyên gia và giao tiếp cá nhân, qua truyền thông đại chúng, kể cả qua website hay blogs của người nghiên cứu là những hình thức ngày càng phổ biến. Để có thể đánh giá đầy đủ về việc những kiến thức được tạo ra qua nghiên cứu đã được vận dụng như thế nào và bởi những ai, rất cần hiểu rõ những kênh truyền thông khoa học này và cách thức vận hành của nó. Những cơ chế ấy sẽ có ảnh hưởng rất quan trọng tới kết quả sau cùng của dự án. Chính những tác động đến giới hàn lâm và cộng đồng xã hội là cái mà chúng ta quan tâm nhiều nhất khi đánh giá kết quả cuối cùng về hiệu quả tài trợ cho một dự án, hay một chương trình nghiên cứu.

Hoàn vốn cho tài trợ nghiên cứu: tác động mà kết quả nghiên cứu tạo ra

Các loại tài trợ nghiên cứu khác nhau tạo ra những kiểu hoàn vốn khác nhau. Việc hoàn vốn này có thể diễn ra ở bất cứ giai đoạn nào trong quá trình thực hiện dự án nghiên cứu. Tuy nhiên cần phân biệt những thứ mà hoạt động nghiên cứu tạo ra (ouputs); những kết quả mà hoạt động nghiên cứu đạt được (outcomes), và những tác động mà nó tạo ra (impacts).

Những thứ mà hoạt động nghiên cứu tạo ra là các sản phẩm tri thức được thể hiện dưới hình thức ấn phẩm khoa học và chỉ số trích dẫn, bằng sáng chế, số nghiên cứu sinh được đào tạo) trong khi những kết quả hay tác động mà nghiên cứu đạt được thì dẫn chiếu đến những lợi ích lớn hơn cho xã hội về chất lượng sống, về hoàn vốn đầu tư và tăng trưởng kinh tế, về những tác động lâu dài trong lĩnh vực chuyên ngành, và ảnh hưởng đến tiến trình chính trị. Một số tác động về kinh tế và xã hội có thể là kết quả của những nỗ lực thận trọng nhằm phổ biến kết quả nghiên cứu rộng rãi đến công chúng và những người làm chính sách; thường thì kết quả khó mà thấy trước. Những kết quả mà nghiên cứu tạo ra thường phải mất thời gian lâu hơn để nhìn thấy, so với những sản phẩm trực tiếp như ấn phẩm hay bằng sáng chế. Hơn thế nữa những kết quả ấy còn tùy thuộc vào những nhân tố bên ngoài như hành lang pháp lý, môi  trường chính trị và xã hội.

Tìm những minh chứng cho tác động mà nghiên cứu tạo ra

Tác động mà một công trình hay dự án nghiên cứu tạo ra có thể được đánh giá ở nhiều cấp độ tổ chức khác nhau, từ cấp độ tác động do bản thân dự án tạo ra, đến tác động đối với cơ chế tài trợ, đến lĩnh vực chuyên ngành, và đến cả hệ thống.

Có một số điều nên và không nên làm trong đánh giá khoa học. Tầm quan trọng của những thứ nên hay không nên này tùy thuộc vào mục đích của các tổ chức tài trợ nghiên cứu, cũng như kiểu kết quả hay tác động mà họ muốn tạo ra.

Việc đánh giá phải phù hợp với mục tiêu của chúng ta: Hệ thống đánh giá của chúng ta, bao gồm các tiêu chí mà chúng ta đặt ra và cách mà ta thực thi việc đánh giá, phải phản ánh những gì chúng ta mong muốn việc nghiên cứu phải đạt được và cách mà nó được thực hiện.  Những nghiên cứu do sự tò mò khoa học thúc đẩy và nhằm tìm ra kiến thức mới trong những biên giới chuyên ngành quen thuộc sẽ được đánh giá bằng những phương pháp thông lệ như bình duyệt đồng nghiệp và trắc lượng thư mục. Những nghiên cứu đa ngành hay liên ngành cũng ít nhiều tương tự. Những NCKH nhằm tạo ra sản phẩm mới hay công nghệ đột phá có thể sẽ cần đến loại chuyên gia khác và tiêu chí khác để đo lường mức độ thành tựu. Nói cho cùng, chúng ta muốn không chỉ những nhà khoa học tài giỏi nhất, mà là muốn có những nhà khoa học có khả năng thực hiện mục tiêu của chúng ta một cách tốt nhất.

Giữ vững tỉ lệ tương đối khi đánh giá: Đừng quên đánh giá kết quả nghiên cứu trong mối tương quan giữa những nguồn lực được đầu tư và quy mô, kích cỡ, trọng tâm của nghiên cứu.

Nhận thức được sự đánh đổi:  Khi thiết kế khung đánh giá chúng ta cần ý thức được sự tương thuộc và đánh đổi tồn tại giữa các yếu tố. Nói cụ thể hơn là, việc lựa chọn mục tiêu đánh giá sẽ ảnh hưởng đến việc lựa chọn các thước đo kết quả, và sự lựa chọn thước đo kết quả có khả năng sẽ ảnh hưởng đến cách nghĩ về mức độ kết tập và thời gian. Ví dụ, nếu chúng ta quan tâm đến việc nắm bắt tác động xã hội mà một công trình nghiên cứu nào đó tạo ra, chúng ta sẽ cần thời gian lâu hơn nhiều sau khi dự án kết thúc, so với việc đánh giá tác động của công trình đó đối với giới hàn lâm.

Đừng chỉ dựa vào dữ liệu định lượng: Rất dễ rơi vào cái bẫy đo cái gì dễ đo thay vì cố gắng đo cái gì quan trọng. Ví dụ, rất dễ đếm số lượng công bố khoa học hay số nghiên cứu sinh được đào tạo –nhưng liệu những con số đó có nói lên những gì mà chúng ta cần biết? Các cơ quan tài trợ nghiên cứu ngày càng có xu hướng kết hợp giữa đánh giá định lượng (số bài báo khoa học, tài sản trí tuệ, mức tài trợ nhận được, số lời mời thỉnh giảng) với những thông tin định tính (những câu chuyện hay diễn giải về tiến trình nghiên cứu, được đề cập trên bìa báo hay truyền thông đại chúng, bình duyệt đồng nghiệp, v.v.) để xác định những tiến bộ mà nghiên cứu ấy tạo ra và tác động của nó.

Đừng diễn giải quá mức các dữ liệu ta có: chúng ta cần tránh đánh giá tác động hoàn vốn khi không đủ dữ liệu để rút ra một kết luận vững chắc và lành mạnh. Điều này có thể là đặc biệt đáng lưu ý khi đo tác động xã hội mà một công trình nghiên cứu nào đó tạo ra.

Cố gắng giữ cho dữ liệu và kết luận của chúng ta có thể so sánh được với nhau: rất hữu ích nếu chúng ta thực hiện so sánh giữa những kết quả đánh giá khác nhau qua thời gian và qua các chương trình, dự án, công trình nghiên cứu khác nhau. Điều này sẽ giúp chúng ta thấy rõ những xu hướng và mô hình của hoạt động khoa học. Khó khăn ở đây là bảo đảm tính chất có thể so sánh được với nhau của dữ liệu và kết quả, trong khi vẫn công nhận những khác biệt chẳng hạn như khác biệt giữa các lĩnh vực chuyên ngành hay khác biệt về mục tiêu của các chương trình NCKH.

Hãy nhìn rộng ra về sự thành công: đánh giá thường nhấn mạnh việc đo lường mức độ thành công; điều này có thể tạo ra xu hướng tập trung vào những kết quả tích cực và những tin tức tốt lành, nhưng chúng ta không nên bỏ qua vai trò không kém phần quan trọng của việc bác bỏ một lý thuyết hay báo cáo về những phát hiện tiêu cực.

Hãy nhận thức rõ mặt trái của tấm huy chương: khi biết rằng nhà tài trợ quan tâm đến một kết quả hay tác động nhất định nào đó, và việc đạt được những kết quả ấy sẽ ảnh hưởng đến khả năng xin được tài trợ trong tương lai, người nhận tài trợ rất dễ có xu hướng nhấn mạnh vào việc trình bày kết quả theo lối mà nhà tài trợ mong muốn. Điều này tạo ra hai hệ quả: một là, làm chệch hướng chú ý của những nhà khoa học nhận tài trợ ra khỏi những nghiên cứu thoạt đầu đã được hỗ trợ; và hai là nó có thể dẫn đến việc tạo ra những công trình ít khả năng rủi ro nhưng có tiềm năng lợi nhuận cao, mà những công trình kiểu này không phải bao giờ cũng nhằm vào phục vụ cho lợi ích dài hạn của cộng đồng, hay ít nhất, nó cũng làm loãng đi sự chú ý với những vấn đề có ý nghĩa quan trọng đối với chuyên ngành, đối với xã hội, nhưng khả năng rủi ro thì nhiều.

Hãy có cái nhìn dài hạn khi cần: đo lường kết quả hay tác động cuối cùng của một dự án hay công trình nghiên cứu là một việc thường được khởi xướng quá sớm. Tùy theo loại NCKH và những tác động mà người ta muốn đo lường, thời gian cần trải qua để có thể đo lường được tác động phải từ một đến hai năm, thậm chí hai mươi năm. Làm điều này một cách thích hợp có thể là một sự đầu tư dài hạn– và ta có thể cần ghi chép tư liệu về kết quả mà nghiên cứu tạo ra trong một thời gian đủ dài, tuy nhu cầu này phải cân đối với nguồn lực hữu hạn.

Tóm lại, khi xây dựng một hệ thống đánh giá khoa học, cần giữ cho nó phù hợp với mục đích của chúng ta – hãy cố gắng giữ cho nó đơn giản và cân đối với mục tiêu. Chú ý đến những hệ quả không dự kiến, sự khác biệt giữa các chuyên ngành và những giới hạn của dữ liệu. Cố gắng nghĩ một cách dài hạn, cả về tác động mà nghiên cứu tạo ra, lẫn tác động của bản thân việc đánh giá. “ Không phải cái gì có thể đếm được thì đều được tính đếm, và không phải cái gì đáng phải tính đến thì đều có thể tính đếm được” (Albert Einstein).

MỘT SỐ PHƯƠNG PHÁP, KỸ THUẬT CHÍNH ĐỂ THỰC HIỆN ĐÁNH GIÁ KHOA HỌC

Có nhiều phương pháp đánh giá để đo lường mức độ đạt được của các công trình hay dự án nghiên cứu. Mỗi phương pháp đều có những điểm mạnh và hạn chế. Bởi vậy để có thể đánh giá các kết quả NCKH một cách xác đáng và hữu hiệu, cần phải xem xét phương pháp nào là thích hợp nhất trong một bối cảnh cụ thể. Nhìn chung, các phương pháp đánh giá khoa học có thể rơi vào hai loại sau đây: (1) rộng và nông, và (2) hẹp và sâu. Những cách tiếp cận rộng và nông nhằm nắm bắt những ảnh hưởng trên quy mô lớn hay chất lượng của nghiên cứu và thường dựa trên khảo sát cỡ mẫu lớn để lấy thông tin. Đánh giá hẹp và sâu thì nhấn mạnh việc tìm hiểu sâu hơn quá trình nghiên cứu, tập trung vào những câu hỏi đại loại như làm thế nào để cải thiện chất lượng của quyết định tài trợ, hay làm thế nào thúc đẩy việc đưa kết quả nghiên cứu thành sản phẩm, công nghệ, dịch vụ và thực tế.

Dưới đây là một số phương pháp đánh giá chủ yếu

Bộ công cụ đánh giá khoa học

Những kỹ thuật dùng trong việc đánh giá khoa học  hay đánh giá nói chung là ứng dụng từ những phương pháp nghiên cứu xã hội truyền thống như khảo sát, phỏng vấn và phân tích thống kê những dữ liệu định lượng. Những kỹ thuật chủ yếu được dùng trong đánh giá khoa học gồm có:

1. Trắc lượng thư mục (bibliometrics): công cụ này cho phép ta đo lường thành quả và kết quả của nghiên cứu khoa học, rút ra thông tin về số lượng ấn phẩm và chỉ số trích dẫn bằng các phương pháp thống kê.
2. Nghiên cứu trường hợp điển hình (case studies): nói chung là dựa trên nhiều nguồn minh chứng mà tất cả đều cung cấp thông tin cho kết luận đánh giá và được dùng để kiểm nghiệm mức độ tin cậy của kết luận. Nguồn minh chứng chủ yếu là tư liệu thành văn đã qua bình duyệt đồng nghiệp (peer review) và những thứ được gọi là “tư liệu xám” tức những ấn phẩm do nhà nước, các tổ chức, doanh nghiệp và giới hàn lâm thực hiện và phổ biến qua những kênh bên ngoài hệ thống xuất bản học thuật thông thường. Ngòai ra còn tư liệu lưu trữ, phỏng vấn bán cấu trúc, vốn có thể bổ sung bằng khảo sát, và có khi là cơ sở dữ liệu trắc lượng thư mục
3. Bình duyệt đồng nghiệp (Peer review) và hội đồng chuyên gia: là quá trình đánh giá liên quan đến những người có trình độ cao trong lĩnh vực chuyên ngành hoặc lĩnh vực liên quan nhằm phản ánh kết quả hay tác động của nghiên cứu. Bình duyệt đồng nghiệp được thực hiện cả trước và sau khi dự án được tài trợ, mục đích là nhằm duy trì các tiêu chuẩn chất lượng của hoạt động NCKH cũng như mang lại sự khả tín cho những quyết định của giới quản lý khoa học.
4. Khảo sát và tư vấn: dùng để thu thập thông tin định lượng và định tính trong một quần thể; có thể nhấn mạnh vào ý kiến hay thông tin thực tế tùy theo mục đích đánh giá.
5. Phân tích kinh tế: là những phân tích dựa trên các chỉ báo về mặt kinh tế để đo lường sản phẩm, kết quả và tác động của nghiên cứu:
6. phân tích kinh tế lượng vi mô và mô hình hóa cho phép ước lượng sản phẩm, kết quả và tác động của nghiên cứu ở cấp độ cá nhân hay bộ phận;
7. phân tích kinh tế vĩ mô và mô hình hóa cho phép ước lượng tác động kinh tế xã hội rộng hơn của việc can thiệp chính sách ở cấp độ quốc gia.

Đặc điểm, thuận lợi và hạn chế của các phương pháp

Bảng sau đây miêu tả đặc điểm, những thuận lợi và bất lợi của những phương pháp đánh giá khoa học chuẩn.

PHƯƠNG PHÁP ĐÁNH GIÁ	ĐẶC ĐIỂM	THUẬN LỢI	HẠN CHẾ
PHÂN TÍCH TRẮC LƯỢNGTHƯ MỤC	Có thể rộng và nông hoặc hẹp và sâu	·   Đo lường định lượng về sản phẩm ·   Có thể dùng như chỉ báo chất lượng sản phẩm ·   Tạo điều kiện cho việc phân tích xu hướng trên toàn cầu	·     Ước lượng chất lượng ch3 dựa trên chỉ số trích dẫn có thể dẫn đến nhận định sai lầm ·     Dữ liệu cần được chuẩn hóa để cóthể so sánh giữa các chuyên ngành và tập san khác nhau ·     Không đo lường được tiềm năng tương lai
PHÂN TÍCH ĐIỂN CỨU	Hẹp và sâu	·   Đem lại phân tích sâu sắc về quá trình khám phá của hoạt động NCKH ·   Có thể chứng minh con đường từ khoa học cơ bản đến ứng dụng ·   Áp dụng rộng rãi ·   Được chấp nhận rộng rãi ·   Linh hoat và thích nghi	·     Định kiến trong lựa chọn: làm sao biết trường hợp được chọn có tính chất đại diện cho quần thể? ·     Để làm tốt cần nguồn lực lớn ·     Có thể khó mà khái quát hóa từ những kết quả này
BÌNH DUYỆT ĐỒNG NGHIỆP CÓ HỆ THỐNG	Hẹp và sâu	·   Là một bộ phận được hiểu rất rõ trong công tác quản lý khoa học ·   Được chấp nhận rộng rãi	·     Hạn chế vể thời gian của các chuyên gia có thể thực hiện bình duyệt ·     Quan ngại về tính khách quan và đáng tin cậy của kết quả
KHẢO SÁT VÀ TƯ VẤN	Có thể hẹp và sâu hoặc rộng và nông	·   Có thể xác định sản phẩm và kết quả của nghiên cứu liên đới như thế nào với tài trợ ·   Cho phép phân tích định tính về kết quả của nghiên cứu	·     Phụ thuộc vào những mối quan hệ sẵn có ·     Tỉ lệ câu trả lời nhận được thấp có thể hạn chế kết quả khảo sát
TỈ LỆ HOÀN VỐN VỀ MẶT KINH TẾ l – PHÂN TÍCH KINH TẾ VI MÔ	Rộng và nông	·   Có thể áp dụng với những khu vực khác nhau ·   Có tiềm năng so sánh, ví dụ phân tích chi phí và lợi ích	·     Nhiều nhân tố ảnh hưởng đến nghiên cứu khó có thể quy thành tiền
TỈ LỆ HOÀN VỐN VỀ MẶT KINH TẾ 2-PHÂN TÍCH KINH TẾ VĨ MÔ	Rộng và nông	·   Định lượng ·   Đem lại bức tranh toàn cảnh, và bối cảnh cụ thể của nghiên cứu	·     Khó có thể xác định sự đóng góp của từng phần, từng cá nhân hay của nhà tài trợ

Chúng ta cần cân nhắc những điểm thuận lợi và bất lợi nêu trên khi lựa chọn phương pháp thích hợp để đánh giá nhằm phù hợp với mục tiêu và bối cảnh. Ví dụ, nghiên cứu điển hình có vẻ không mấy thích hợp khi thời gian và nguồn tiền cho việc đánh giá bị hạn chế, hay trắc lượng thư mục có thể không phù hợp lắm đối với những lĩnh vực có ít tập san được tính đến trong các cơ sở dữ liệu hiện nay. Vì mỗi phương pháp đều có giới hạn, chúng ta rất nên xem xét việc kết hợp các phương pháp khác nhau nếu nó khả thi, vì điều này có thể cải thiện chất lượng chung của việc đánh giá khoa học.

Một số kỹ thuật đánh giá khoa học khác là:

Đối sánh (Benchmarking): cho phép ta so sánh chất lượng hoạt động dựa trên một bộ tiêu chí

Phân tích chi phí và lợi ích: giúp thiết lập các chính sách, chương trình hay dự án có hiệu quả về mặt kinh tế bằng cách đánh giá những ảnh hưởng xã hội và kinh tế của nó.

Đánh giá giá trị của nghiên cứu qua ý kiến công chúng: xem xét nhận thức của công chúng, hay các bên khác nhau, về giá trị của những kiến thức mà nghiên cứu tạo ra.

Phân tích mạng lưới các nhóm xã hội liên quan: cơ cấu của các mối quan hệ hợp tác đôi khi là một thước đo cho kết quả một dự án nghiên cứu tạo ra và là một hiện tượng thú vị cần nắm bắt.

Mô hình hóa logic: dùng để nắm bắt mối liên hệ logic giữa những yếu tố đầu vào (nguồn lực, hạ tầng, con người) với quá trình thực hiện, sản phẩm, kết quả và tác động của hoạt động nghiên cứu.

Để kết luận về phần phương pháp, có thể dùng một vài ý kiến của Griffiths và King (1991, p. 3) về những nguyên tắc tạo ra hiệu quả của đánh giá để áp dụng cho đánh giá khoa học:

1. Việc đánh giá khoa học cần phải có mục đích rõ ràng và cụ thể; bản thân việc đánh giá không phải là mục đích cuối cùng. Nếu không có tiềm năng hành động sau khi đánh giá, thì chẳng cần phải đánh giá làm gì.
2. Việc đánh giá không được dừng lại ở chỗ miêu tả, mà phải xem xét được mối quan hệ giữa các nhân tố tham gia vào hoạt động nghiên cứu, cũng như mối quan hệ giữa công trình nghiên cứu ấy với người sử dụng, với trường/viện, với các bên liên quan khác, và với xã hội.

VAI TRÒ CỦA ĐÁNH GIÁ KHOA HỌC

Đánh giá khoa học có thể phục vụ cho việc kiểm nghiệm giá trị của một kết quả nghiên cứu nhằm quyết định việc công bố nó trên các tập san khoa học; phục vụ cho việc đề bạt chức danh khoa học và bổ nhiệm biên chế; phục vụ cho việc xét tài trợ và đánh giá kết quả tài trợ, phục vụ cho việc xây dựng chính sách khoa học nói riêng ở cấp trường viện hay cấp quốc gia, và chính sách phát triển kinh tế xã hội nói chung. Nó có thể cung cấp minh chứng hay dữ liệu cho việc cải thiện hệ thống tài trợ, chính sách thúc đẩy nghiên cứu, cũng như phân tích nhu cầu, dự đoán xu hướng trong hoạt động khoa học.

Có nhiều tổ chức khác nhau thực hiện việc đánh giá khoa học, với những mục đích khác nhau và nhấn mạnh những tiêu chí khác nhau. Đã có khá nhiều tranh luận chung quanh chủ đề đánh giá khoa học đóng góp như thế nào cho việc cải thiện chính sách nghiên cứu và cuối cùng là cho năng suất và hiệu quả của hoạt động khoa học nói chung. Phần này sẽ bàn đến mối liên hệ giữa đánh giá khoa học và tài trợ nghiên cứu.

Năm 2004, Aldo  Geuna  và  Ben  R.  Marti đã thực hiện một nghiên cứu đối sánh với 12 quốc gia ở châu Âu và châu Á- Thái Bình Dương nhằm so sánh cơ chế cấp tài trợ nghiên cứu cho các trường ĐH. Các nước đó bao gồm khu vực Tây Âu: Hà Lan, Đức, Anh, Na uy, Đan Mạch, Phần Lan; khu vực Đông Âu: Hungary, Poland, Cộng hòa Séc; và khu vực châu Á- Thái Bình Dương: New Zealand, Australia và Hong Kong. Có hai xu hướng trái ngược nhau: (i) tài trợ cạnh tranh dựa trên kết quả hoạt động thuần túy, và (ii) tài trợ dựa trên quy mô của nhà trường. Ít có nước nào hoàn toàn theo xu hướng thứ nhất, nhưng trong số đó thì Anh là nước dẫn đầu. Trong xu hướng thứ hai, ngày càng nhiều tiếng nói đòi hỏi tăng cường một số hình thức đánh giá. Tuy thế, trong cả hai xu hướng, giới học thuật đều phản kháng với một số tiêu chí và ở một số nước họ đã giành được thắng lợi: mọi tiêu chí nhằm gắn kết quả nghiên cứu với việc tài trợ phải được sự đồng thuận của họ.

Có nhiều lý do để ủng hộ cũng như phản đối cách tiếp cận tài trợ cho NCKH trên cơ sở kết quả hoạt động. Hiển nhiên là cách tiếp cận này hỗ trợ cho tài năng, kích thích năng suất và cải thiện chất lượng. Nó tăng cường hiệu quả sử dụng nguồn lực trong ngắn hạn, giúp tập trung nguồn đầu tư cho những lĩnh vực ưu tiên trước mắt. Tuy nhiên, mặt trái của nó là, do dựa trên cơ sở cạnh tranh, nó sẽ khuyến khích những nghiên cứu có tính chất “an toàn” thay vì những nghiên cứu nhắm đến lợi ích xã hội, nó làm nản lòng những người muốn thử nghiệm cách tiếp cận mới thường có nhiều rủi ro, đo đó nó làm giảm tính chất đa dạng vốn rất cần trong hoạt động khoa học. Hơn thế nữa một hệ thống coi ấn phẩm khoa học là tiêu chí chủ yếu sẽ rất dễ dẫn đến lạm phát công bố quốc tế. Nhiều người trong giới hàn lâm đã đáp ứng bằng cách chơi trò thủ thuật để tăng số lượng bài báo mà không cải thiện gì hoạt động nghiên cứu thực sự.

Mặt khác cấp tài trợ cho nghiên cứu ở các trường ĐH dựa trên kết quả còn làm dãn rộng thêm khoảng cách giữa nghiên cứu và giảng dạy. Nếu những khích lệ dành cho nghiên cứu lớn hơn những khích lệ dành cho giảng dạy, giới hàn lâm sẽ tập trung cho nghiên cứu thay vì giảng dạy. Đã thế, việc xét thành tích để cấp kinh phí nghiên cứu chủ yếu dựa vào những gì đã đạt được trong quá khứ thay vì hiện tại, nói gì đến tương lai. Bởi vậy nó góp phần củng cố thêm hiện trạng, hay là làm cho nước chảy chỗ trũng; những trường hay những nhóm/ cá nhân đã có thành tích tốt sẽ dễ dàng được cấp kinh phí và tiếp tục có thêm thành tích, trong lúc những nhân tố mới sẽ bị hạn chế cơ hội.

Trong khi đó, cấp tài trợ dựa trên quy mô nhà trường cũng có những thuận lợi nhất định. Nó là một hệ thống đơn giản, dễ vận hành, chi phí thấp. Mô hình này có ý nghĩa như là giao cho mỗi khoa hay trường  một mớ hạt giống để đầu tư cho đội ngũ giảng viên hoặc những lĩnh vực còn yếu. Nếu giảng viên không bị sức ép của đánh giá ngắn hạn, họ có thể dành thời gian và nỗ lực cho những dự án nghiên cứu cơ bản, dài hạn và nhiều rủi ro hơn.  Kiểu tài trợ theo quy mô nhà trường cũng cho các trường một cơ hội đồng đều để vươn lên và tạo ra sự đa dạng cho mặt bằng nghiên cứu khoa học của cả hệ thống. Khi giảng viên không bị sức ép phải tạo ra thành tích nghiên cứu, họ có thể tập trung cho việc dạy tốt, nhờ đó thu hút thêm sinh viên, và vì số lượng sinh viên tăng thì ngân sách nghiên cứu cũng tăng theo, cơ chế này khuyến khích hội nhập việc giảng dạy với nghiên cứu.

Tuy vậy, cấp tài trợ theo quy mô nhà trường cũng có mặt trái của nó. Kinh phí nghiên cứu được cấp dựa theo số lượng sinh viên hẳn nhiên không đem lại nhiều khích lệ để cải thiện chất lượng hoạt động nghiên cứu. Quan trọng hơn là, nó có ít trách nhiệm giải trình. Nó rất dễ tạo ra những nghiên cứu ở trên trời theo kiểu xem trường ĐH là tháp ngà tách khỏi những đòi hỏi của xã hội và củng cố định kiến về những nhà khoa học làm biếng. Nó gây ra tình trạng trơ ỳ, tương tự như những gì ta thấy ở Liên bang Xô viết cũ và Đông Âu. Nó cũng giao quá nhiều quyền lực cho giới quản lý ĐH trong việc phân bổ kinh phí nội bộ khiến phẩm chất thực sự của hoạt động nghiên cứu không được coi trọng. Trong hệ thống này, việc phân bổ kinh phí tùy thuộc rất ít vào mối quan hệ với chính sách. Ví dụ, vì nhiều lý do, sinh viên ngành truyền thông bỗng nhiên tăng vọt. Nhưng nó không có nghĩa là nhu cầu nghiên cứu trong lĩnh vực truyền thông cũng tăng. Nhưng hệ thống cấp kinh phí theo quy mô sinh viên sẽ tự động tăng kinh phí nghiên cứu cho ngành này, trong lúc có những ngành, tuy số người theo học ít, nhưng nhu cầu nghiên cứu thì rất cao và ý nghĩa đói với xã hội thì hết sức quan trọng, chẳng hạn triết học, xã hội học, sử học, v.v. lại không được cấp kinh phí nghiên cứu đầy đủ.

Cuối cùng, hệ thống này sẽ chia đều kinh phí theo số lượng sinh viên, khiến cho đầu tư NCKH trở nên dàn trải và quá mỏng. Hậu quả là đối với tất cả các nước chỉ trừ những nước giàu nhất, sẽ không một trường nào đủ sức cạnh tranh nổi với những trường ĐH hàng đầu trên thế giới.

KẾT LUẬN

Đánh giá khoa học là một lĩnh vực phức tạp nhưng rất quan trọng để thúc đẩy hoạt động NCKH và đặc biệt có ý nghĩa trong việc xây dựng văn hóa khoa học ở các trường ĐH Việt Nam. Hoạt động đánh giá khoa học được thực hiện nhằm mục tiêu gì, với phương pháp như thế nào và dựa trên những tiêu chí ra sao, là điều sẽ tác động trực tiếp đến động lực làm việc và cách xử sự của giới hàn lâm. Không có phương pháp đánh giá nào là hoàn hảo hoặc phù hợp cho mọi lĩnh vực, đối tượng và mục đích. Mỗi phương pháp đều có điểm mạnh và chỗ hạn chế, đều có thể tạo ra kết quả tích cực kèm với một số hiệu ứng tiêu cực. Điều quan trọng là chúng ta nhận thức được những điểm đó để lựa chọn hay sử dụng phương tiện nào cho mục tiêu cụ thể của chúng ta.

Ở những nước có truyền thống học thuật lâu đời, có một nền văn hóa khoa học vững chắc, đánh giá khoa học vẫn là một việc phức tạp và khó khăn, huống chi ở Việt Nam, một nước vừa ra khỏi thời kỳ đóng cửa và vẫn đang từng bước hội nhập vào sân chơi khoa học toàn cầu, thì  công việc này càng nhiều thách thức gấp bội. Thách thức đặt ra cho giới làm khoa học và giới quản lý khoa học ở Việt Nam cũng không nằm ngoài bối cảnh chung của xã hội. Một điểm nổi bật về mặt quản trị ở khu vực công là tư duy nhiệm kỳ và gắn với nó là bệnh thành tích; còn ở khu vực tư là tầm nhìn ngắn hạn và gắn với nó cũng là bệnh thành tích. Nó dẫn đến kết quả là mọi thước đo đều có thể bị bóp méo và đều có thể bị làm giả. Chẳng hạn, thúc đẩy công bố quốc tế là điều tốt vì nó khuyến khích giảng viên tạo ra tri thức mới và kiểm nghiệm tri thức ấy qua bình duyệt đồng nghiệp quốc tế. Nhưng nó chỉ tốt khi được thực hiện trên cái nền văn hóa học thuật đã trưởng thành, tức là không khoan thứ sự gian lận dưới mọi hình thức. Ngược lại, trên một cái nền văn hóa học thuật yếu kém và năng lực nghiên cứu còn hạn chế, thì việc thúc đẩy công bố quốc tế quá mức sẽ có thể tạo ra vô số trò ma mãnh, từ mua bài báo đến giả tạo dữ liệu và sản sinh vô vàn tập san dỏm. Kết quả như chúng ta đã thấy, là tình trạng lạm phát bài báo khoa học, đến mức có người nhận định 95% bài báo khoa học trên các tập san là vô bổ so với một bài báo hàng ngày có phân tích thông tin.

Khuyến nghị của chúng tôi là sử dụng đánh giá khoa học như một công cụ nhằm xây dựng văn hóa nghiên cứu và khích lệ chất lượng, hướng đến hiệu quả trước mắt nhưng cũng không coi nhẹ những nghiên cứu tạo ra lợi ích căn bản và dài hạn cho xã hội. Từ chỗ đánh giá hoạt động khoa học của một cá nhân hay đơn vị, một đề tài hay công trình, dự án một cách cảm tính, chúng ta bước sang cực ngược lại là phụ thuộc máy móc vào các tiêu chí định lượng, ví dụ cách tính điểm để xét học hàm. Cái gốc của hiện tượng này là sự thiếu hụt niềm tin vào các giá trị của con người. Hậu quả của nó là các tiêu chí thay vì là công cụ để đánh giá đã biến thành mục đích tự thân của giới hàn lâm, tệ hơn nữa, là một mục đích cần đạt đến với bất cứ giá nào. Hậu quả rộng hơn là nó tạo ra một thị trường bát nháo thật giả tốt xấu hay dở lẫn lộn khó phân, một tình trạng có thể nói ngắn gọn là “loạn chuẩn mực”. Tình trạng đó khiến động lực cải thiện chất lượng thực sự bị triệt tiêu, vì những điều đúng và tốt, những giá trị thật sẽ chìm lấp trong những thứ giả và dỏm. Đánh giá khoa học, vì vậy là một con dao hai lưỡi mà chúng ta không thể không dùng, dù nó có thể phục vụ cho cuộc sống của chúng ta mà cũng có thể làm đứt tay nếu ta cầm không đúng hướng.

TƯ LIỆU THAM KHẢO

Tư liệu sử dụng trực tiếp cho phần tổng thuật:

1. European Foundation Centre. Research Evaluation Guidelines.
2. Steven I. Miller and Marcel Fredericks (2006). Mixed-Methods and Evaluation Research:Trends and Issues. QUALITATIVE HEALTH RESEARCH, Vol. 16 No. 4, April 2006 567-579; DOI: 10.1177/1049732305285691
3. Ronald R. Powell (2006). Evaluation Research: An Overview. LIBRARY TRENDS, Vol. 55, No. 1, Summer 2006 (“Research Methods,” edited by Lynda M. Baker), pp. 102–120; © 2006 The Board of Trustees, University of Illinois
4. Aldo Geuna and Ben R. Martin (2003). University Research Evaluation and Funding: An International Comparison. Springer, Minerva, Vol. 41, No. 4 (2003), pp. 277-304. Accessed: 16/02/2014 18:18

Tư liệu đọc thêm:

Những vấn đề chung:

Brutscher, Ph.-B., Grant, J., Wooding, S.: Health Research Evaluation Frameworks, Randreport Rand/Tr-629

Clarke,  Alan  Evaluation Research:  An Introduction To Principles, Methods And Practice, Sage Publications (London 1999)

Evaluating The Societal Relevance Of Academic Research: A Guide, Eric Publication (June 2010). http://Www.Eric-Project.Nl/Nwohome.Nsf/Pages/Nwoa_6tzj28_Eng

Marjanovic, S., Hanney, S. And Wodding, S(2010). A Historical Reflection On Research Evaluation Studies, Their Recurrent Themes And Challenges. Randreport: Rand/Tr-789-Smarjanovic, S(2009) The Payback Framework In: Ling, Tand Vilalbia Van Dijk, L.(Eds): Performance Audit Handbook. R And Europe Tr-788-

Retrochim, William  M.  Introduction To Evaluation In The Research Methods Knowledge Base, 2nd Edition. (2006), http://Www.Socialresearchmethods.Net/Kb/Intreval.Php

Best Practice Surveys Evaluation In  National Research Funding  Agencies: Approaches, Experiences And Case Studies. European Science Foundation.

A Report of The Esf Member Organisation Forum On  Ex-Post Evaluation of Funding Schemes and Research Rammes (September 2009)

Http://Www.Esf.Org/Activities/Mo-Fora/Completed-Mo-Fora/Evaluation-Of-Funding-Schemes-And-Research-Programmes.Html

Grant et al. Capturing Research Impacts. A Review Of International Practice,  Hefce  Documented Briefing (December 2009)

Http://Www.Hefce.Ac.Uk/Pubs/Rdreports/2009/Rd23_09/Rd23_09.Pdf (26.03.2010)

Ruegg, R. And Feller, I., 2003. A Toolkit For Evaluating Public R&D Investment: Models, Methodsand Findings From Atp’s First Decade.

Bibliometric Analysis

Ismail, S., Nason, E., Marjanovic, S And Grant, J. Bibliometrics as a Tool for Supporting Prospective R&D decision-making in The Health Sciences’, Randreport : Rand/Tr-685

Van Leeuwen Tn Modelling of Bibliometric Approaches and Importance of Output Verification in Research Performance Assessment, Research Evaluation, 2007; 16(2):93 – 105

Using Bibliometrics:  A Guide to Evaluating Research Performance with Citation Data, Thomson Reuters (2008)

Click to access 325133_Thomson.Pdf

Economic Analysis Exceptional Returns

The Economic Value of America’s Investment In Research, Lasker Foundation Http://Www.Laskerfoundation.Org/Advocacy/Pdf/Exceptional.Pdf

Ex Post Evaluation of Economic Impacts of Agricultural Research Programs: A Tour of Good Practice, Maredia Et Al.

Paper Presented to The Workshop on “The Future of Impact Assessment In Cgiar: Needs, Constraints And Options” Rome, May 3-5 2009; Http://Impact.Cgiar.Org/Methods/

Impact Evaluations Cox Et Al, Evaluation of Impacts of Medical Research, Swedish Research Council (2009) Http://Www.Vr.Se/Download/18.5adac704126af4b4e2800026596/Evaluation+Of+Impacts+Of+Medical+Research.Pdf

Making An Impact: Apreferred Framework And Indicators To Measure Returns on Investment In Health Research, Canadian Academy of Health Sciences (2009)

Click to access Roi_Fullreport.Pdf

Medical Research: Assessing The Benefits to Society, A Report by the Uk Evaluation Forum, Supported by The Academy of Medical Sciences, Medical Research Council And Wellcome Trust (May 2006)

Click to access Wtx031817.Pdf