Sử dụng phần mềm quest để phân tích câu hỏi trắc nghiệm dùng trong kiểm tra đánh giá kết quả học tập ở học sinh lớp 10

Tuyển tập Báo cáo “Hội nghị Sinh viên Nghiên cứu Khoa học” lần thứ 6 Đại học Đà Nẵng - 2008 337 SỬ DỤNG PHẦN MỀM QUEST ĐỂ PHÂN TÍCH CÂU HỎI TRẮC NGHIỆM DÙNG TRONG KIỂM TRA ĐÁNH GIÁ KẾT QUẢ HỌC TẬP Ở HỌC SINH LỚP 10 THE PROBLEM OF USING QUEST SOFTWARE TO ANALYSE EXPERIMENTING QUESTIONS ON WHICH BASE TO VERIFY THE EDUCATION RESULT OF THE TEN-GRADE PUPIL SVTH: TRẦN THỊ ANH ĐÀO, LỚP 04VL Khoa Vật Lý - Trường ĐHSP - Đại học Đà Nẵng GVHD: TS. NGUYỄN BẢO HOÀNGTHANH TÓM TẮT Bài báo này trình bày những kết quả nghiên cứu khi sử dụng phần mềm QUEST để phân tích câu hỏi trắc nghiệm dùng trong kiểm tra đánh giá kết quả học tập của học sinh lớp 10 ASTRACT The report presents the results of using Quest software to analyze objective test questions on which base to verify the education result of the ten-grade pupil 1. MỞ ĐẦU 1.1. Lý do chọn đề tài : Kiểm tra đánh giá(KTĐG) kết quả học tập(KQHT) của học sinh(HS) và hiệu quả giảng dạy của giáo viên(GV) là một việc làm quan trọng không thể thiếu trong quá trình dạy học. Hiện nay, để KTĐG KQHT của HS, phương pháp trắc nghiệm khách quan(TNKQ) đã và đang được ứng dụng nhiều trong dạy học ở các trường trung học phổ thông(THPT). Vì vậy nghiên cứu sử dụng phần mềm QUEST để phân tích câu hỏi trắc nghiệm(CHTN) là cần thiết 1.2. Mục đích của đề tài : Nghiên cứu sử dụng phần mềm QUEST để đánh giá chất lượng câu hỏi TN, KQHT của HS 1.3. Đối tượng và phạm vi nghiên cứu : Nội dung chương trình Vật lý 10 nói chung và chương “ Các định luật bảo toàn “ , sách giáo khoa(SGK) và những tài liệu liên quan KQHT môn Vật lý của HS các lớp 10 tại trường THPT Phan Châu Trinh và THPT Hoàng Hoa Thám– TP. Đà Nẵng. 1.4. Phương pháp(PP) nghiên cứu : Trong quá trình tiến hành nghiên cứu làm đề tài, chúng tôi đã sử dụng các PP nghiên cứu sau đây : PP Nghiên cứu lý thuyết, PP lấy ý kiến chuyên gia, PP thực nghiệm sư phạm, PP thống kê 2. NỘI DUNG NGHIÊN CỨU : 2.1. Cơ sở lí luận của KTĐG và xây dựng hệ thống câu hỏi TNKQ 2.1.1. Tổng quan về KTĐG : Đây là một quá trình được tiến hành có hệ thống, liên tục, thường xuyên để xác định mức độ các mục tiêu dạy học đạt được nhằm làm cơ sở cho những quyết định của GV ở trường học và bản thân HS để góp phần nâng cao hiệu quả giáo dục 2.1.2. Phương pháp TNKQ : TNKQ gồm nhiều dạng CH : CH dạng Đúng-Sai; CH ghép đôi, CH điền khuyết hay CH trả lời ngắn; CHTN diễn giải; CHTN nhiều lựa chọn Cách xây dựng câu hỏi TNKQ : Xác định mục tiêu muốn KTĐG cho rõ ràng, viết CHTN có nội dung gắn chặt với mục tiêu đề ra… 2.2. Cơ sở để lựa chọn hệ thống CH TNKQ : Tuyển tập Báo cáo “Hội nghị Sinh viên Nghiên cứu Khoa học” lần thứ 6 Đại học Đà Nẵng - 2008 338 Có nhiều tiêu chí để lựa chọn các câu hỏi TNKQ phù hợp, tuy nhiên trong đề tài này chúng tôi căn cứ vào các mức độ nắm vững kiến thức để xây dựng hệ thống câu hỏi TNKQ : Mức độ nhận biết (CH loại A); Mức độ thông hiểu (CH loại B); Mức độ vận dụng (CH loại C); Mức độ tổng hợp (CH loại D) 2.3. Lập bảng phân bố CH, xây dựng đề kiểm tra với các CH TNKQ : Số lượng đề, số lượng CH, xây dựng biểu điểm, cách chấm bài và phân phối đề 2.3.1. Bảng phân bố CH 2.3.2. Xây dựng biểu điểm, cách chấm bài và phân phối đề 3. THỰC NGHIỆM SƯ PHẠM : 3.1. Do phạm vi của đề tài, chúng tôi mới bước đầu nghiên cứu xây dựng hệ thống CH TNKQ chương “ Các định luật bảo toàn” – Vật lý 10 – Ban KHTN. Gởi bộ CH TNKQ cho các GV trong tổ Vật Lý trường THPT Phan Châu Trinh – TP Đà Nẵng đọc, góp ý, chỉnh sửa và hoàn thiện Tiến hành kiểm tra đề 15 phút với 3 nội dung Định luật bảo toàn động lượng, chuyển động bằng phản lực, công và công suất ở 6 lớp 10 tại trường THPT Phan Châu Trinh và THPT Hoàng Hoa Thám- TP Đà Nẵng 3.2. Dùng phần mềm QUEST để phân tích CH Sau khi kiểm tra, các đáp án được nhập thêm từng bài TN vào máy tính, chúng tôi đã dùng phần mềm Quest để phân tích các CHTN và các bài thi để lựa chọn các CH đạt yêu cầu lưu vào ngân hàng CHTN. Chương trình Quest sẽ cho ta các bảng số liệu sau đây: Chấm điểm bài TN theo đáp án đã cho - Độ tin cậy của bài TN- Khả năng của HS - Phân tích các câu TN, tính độ khó, độ phân biệt Rpbis, P-Value: độ tin cậy thống kê của độ phân biệt.v.v. của các câu lựa chọn, cả câu lựa chọn đúng lẫn các câu mồi (bảng 1) - Phân tích sự hoà hợp của các câu TN và khả năng HS, khả năng của mỗi HS (bảng 2, bảng 3) cùng với các trường hợp bất thường nếu có, từ đó xem lại quá trình học tập của HS Bảng 1: Các chỉ số thống kê các câu hỏi trắc nghiệm đề 1. Run One: Bai KT Truong THPT PCT Test Item Analysis Results for Observed Responses 1/ 5/2008 all on all (N = 73 L = 10) Item 1: item 1 (key=A) Categories A* B C D missing Count 38 12 9 14 0 Percent (%) 52.1 16.4 12.3 19.2 Pt-Biserial .38 -.28 -.17 -.08 p-value .000 .008 .080 .253 Trong đó: Item: Câu hỏi số; Categories: Câu chọn; câu nào có dấu (*) là câu đúng, còn lại là câu nhiễu; Count: Số SV chọn câu tương ứng. Percent (%): Phần trăm số SV chọn câu trả lời tương ứng; Pt-biserial = Rpbis: Độ phân biệt câu TN, P-Value: Độ tin cậy thống kê của độ phân biệt; Missing: Số HS không tìm được câu chọn, bỏ trống câu đó. Dựa vào bảng phân tích này ta có cơ sở khoa học để lựa chọn các CHTN có độ khó, độ phân biệt, độ tin cậy đạt yêu cầu để lưu vào ngân hàng CHTN dùng cho các lần sau, ví dụ như câu 1 có độ khó là 0,521 độ phân biệt là 0,38 các câu nhiễu B, C, D có Rpbis âm, cho thấy các câu nhiễu tốt, có nhiều HS nhóm yếu chọn hơn HS nhóm giỏi. Đây là CHTN đạt yêu cầu Bảng số 2: Minh hoạ sự phù hợp các câu TN trong bài TN đề số 1 Run One: Bai KT Truong THPT PCT Test Item Fit 1/ 5/2008 10:33 all on viet (N = 73 L = 10) Tuyển tập Báo cáo “Hội nghị Sinh viên Nghiên cứu Khoa học” lần thứ 6 Đại học Đà Nẵng - 2008 339 INFIT MNSQ .63 .71 .83 1.00 1.20 1.40 1.60 --------------+---------+---------+---------+---------+---------+---------+----- 1 item 1 . | * . 2 item 2 . | * . 3 item 3 . * | . 4 item 4 . * . 5 item 5 . * . Trong biểu đồ Item fit, mỗi câu TN biểu thị bằng (*) có 10 CHTN đều nằm ở phía trong của 2 đường chấm thẳng đứng có giá trị trung bình bình phương độ hoà hợp (infit mean square) viết tắt: infit MNSQ là (1-0,3) và (1+0,3) là phù hợp với mô hình Rasch. Nếu có CHTN nào nằm ngoài 2 đường chấm trên, không phù hợp với mô hình thì phải đọc và sửa lại. Biểu đồ này chứng tỏ 10 CHTN này đều phù hợp. 3.3. Thống kê, xử lý số liệu, phân tích câu hỏi và đề kiểm tra đánh giá kết quả học tập của học sinh bằng phương pháp cổ điển : Bảng phân bố số học sinh trả lời đúng, độ khó, độ phân biệt của các Câu hỏi trong bài kiểm tra 15 phút lớp 10A6 Trường Hoàng Hoa Thám C â u h ỏ I số Số học sinh trả lời đúng của nhóm Độ khó câu N NNN LMH  Độ phân biệt max)( LH LH NN NN   Phương sai của câu hỏi Giỏi (NH=13) Khá (NM=24) TB (NL=13) 1 8 11 8 27/51 0,53 +0/13 +0,00 0,249 2 8 13 5 26/51 0,51 +3/13 +0,23 0,249 3 8 11 5 24/51 0,47 +3/13 +0,23 0,249 4 9 16 4 29/51 0,57 +5/13 +0,38 0,245 5 11 11 8 30/51 0,59 +3/13 +0,23 0,242 6 9 11 5 25/51 0,49 +4/13 +0,31 0,249 7 10 12 7 29/51 0,57 +5/13 +0,38 0,245 8 8 10 8 26/51 0,51 +0/13 +0,00 0,249 9 12 8 11 31/51 0,61 +1/13 +0,07 0,238 10 7 12 5 24/51 0,47 +2/13 +0,15 0,249 Nhận xét : Dựa vào bảng phân bố số học sinh trả lời đúng và qua phân tích độ khó, độ phân biệt và phương sai của các câu hỏi trong đề kiểm tra 15phút ở lớp 10TN6 trường THPT Hoàng Hoa Thám, chúng tôi nhận thấy ở câu số 1 và câu 8 có RPbis = 0, các câu này chưa đạt yêu cầu và cần được chỉnh sửa lại. Bảng thống kê điểm số đề kiểm tra 15phút lớp 10TN6 THPT Hoàng Hoa Thám Xi 0 1 2 3 4 5 6 7 8 9 10 n i 0 5 4 5 10 5 6 6 6 3 1 Wi(%) 0 9,8 7,8 9,8 19,6 9,8 11,8 11,8 11,8 5,9 1,9 *Điểm trung bình của bài trắc nghiệm ( tbX ) : 02,5 10 1   i i i tb X n n X *Độ khó bài trắc nghiệm (ĐKB) %2,50%100. 10 02,5 %100 K X DKB tb  Tuyển tập Báo cáo “Hội nghị Sinh viên Nghiên cứu Khoa học” lần thứ 6 Đại học Đà Nẵng - 2008 340 *Phương sai bài trắc nghiệm : 05,6)( 1 1 2 10 1 2      XXn n s i i i *Độ lệch chuẩn : 46,205,62  ss *Hệ số tin cậy của bài trắc nghiệm : 652,0 )( 1 1 2           Ks XKX K K r 0 5 10 15 20 25 1 2 3 4 5 6 7 8 9 10 B iểu đồ % H S đạt điểm tro ng đề k iểm tra 15 phút 0 10 20 30 40 50 GIỎI TB-KHÁ KÉM B iểu đồ % H S giỏi, T B -khá, kém tro ng đề k iểm tra 15 phút Sau khi thống kê và xử lý số liệu, chúng tôi tiến hành phân tích câu hỏi và giữ lại những câu đạt tiêu chuẩn sau :Độ khó của câu trắc nghiệm từ 0,3 đến 0,8; độ phân biệt khá cao từ 0,25 trở lên; các câu nhiễu phải có tính tương quan nghịch RPbis âm. 4. KẾT LUẬN : Đối chiếu với mục đích và nhiệm vụ nghiên cứu, chúng tôi đã thực hiện được các công việc sau : Nghiên cứu mục đích, vai trò và yêu cầu của việc KTĐG KQHT của HS Nghiên cứu xây dựng, sử dụng câu hỏi TNKQ để KTĐG KQHT của HS Nghiên cứu cách tiến hành KTĐG từ khâu ra đề, phân phối đề và cách chấm bài Xây dựng đề kiểm tra 15 phút bằng phương pháp TNKQ Nghiên cứu và sử dụng phần mềm QUEST và thống kê cổ điển để phân tích CHTN và ĐG KQHT của HS Thực nghiệm sư phạm tại 6 lớp 10 ở trường THPT Phan Châu Trinh và THPT Hoàng Hoa Thám Vận dụng lý thuyết TNKQ và sử dụng phần mềm QUEST trong xây dựng và đánh giá các bài kiểm tra sẽ có tác dụng rất tốt đến quá trình dạy và học. Phương pháp này chúng ta không những chọn được những CHTN đạt yêu cầu lưu vào ngân hàng CHTN mà còn giúp GV chẩn đoán thăm dò được tình hình học tập của HS, làm giảm sự may rủi, học lệch, hạn chế nạn quay cóp qua đó kịp thời giúp HS điều chỉnh quá trình tự học. Đây sẽ là phương tiện rất quý để đổi mới phương pháp dạy học và quản lý chất lượng đào tạo trong giáo dục Tỉ lệ % Tỉ lệ % Tuyển tập Báo cáo “Hội nghị Sinh viên Nghiên cứu Khoa học” lần thứ 6 Đại học Đà Nẵng - 2008 341 TÀI LIỆU THAM KHẢO [1] Nguyễn Thế Khôi – Phạm Quý Tư ( Đồng chủ biên) (2007), Sách giáo khoa Vật lý 10_Bộ nâng cao, Nhà xuất bản Giáo Dục(NXBGD) [2] Bùi Gia Thịnh (Chủ biên) (2006), Thiết kế bài soạn Vật lý 10 theo hướng tích cực hóa hoạt động nhận thức của học sinh, NXBGD [3] Hoàng Đức Nhuận – Lê Đức Phúc (1995), Cơ sở lý luận của việc đánh giá chất lượng học tập của học sinh phổ thông [4] Nguyễn Bảo Hoàng Thanh (1997), Khả năng sử dụng trắc nghiệm khách quan để đánh giá kết quả học tập, tạp chí nghiên cứu giáo dục số 4, trang 18-19 [5] Nguyễn Bảo Hoàng Thanh (2003), Kiểm tra đánh giá trong giáo dục, Bài giảng ở lớp, ĐHSP-ĐHĐN [6] Nguyễn Bảo Hoàng Thanh (2007), Sử dụng phần mềm QUEST để phân tích câu hỏi trắc nghiệm ,Tạp chí khoa học công nghệ - ĐHĐN [7] Dương Thiệu Tống (1998), Trắc nghiệm tiêu chí – NXBGD Hà Nội [8] Dương Thiệu Tống (1995), Trắc nghiệm đo lường thành quả học tập, ĐHTH t/p HCM [9] Raymond_J.Adams_Sick Toan Khoa , Quest the interactive Test Analysis System _ACER [10] Trần Thị Anh Đào (2008), Nghiên cứu xây dựng bộ câu hỏi trắc nghiệm khách quan chương Các định luật bảo toàn,trang 555- Kỷ yếu hội nghị báo cáo khoa học sinh viên các trường sư phạm toàn quốc lần thứ IV_Huế, NXB Huế