Nghiên cứu, xây dựng ngân hàng câu hỏi trắc nghiệm khách quan dùng để kiểm tra đánh giá kết quả học tập môn toán lớp 12 tại trường THPT Bến Tre, Vĩnh Phúc

nhận các giá trị nguyên dương từ 1 đến 4 ứng với các phương án lựa chọn trong câu trắc nghiệm (1=A, 2=B, 3=C, 4=D), giá trị 9 để chỉ dữ liệu bị bỏ sót hoặc không hợp lệ. 1.2. File dữ liệu để sử dụng mô hình Rasch - Lệnh để tạo file dữ liệu: write outfile'C1HH.dat'/ c1 c2 c3 c4 c5 c6 c7 c8 c9 c10 c11 c12 c13 c14 c15 c16 c17 c18 c19 c20 c21 c22 c23 c24 c25 c26 c27 c28 c29 c30 c31 c32 c33 c34 c35 c36 c37 c38 c39 c40 (40f1). execute. - File dữ liệu có tên là C1HH.dat 1.3. Tạo file điều khiển - Các dòng lệnh: header KIEM TRA Chuong 1 Hinh Hoc set width =132 ! page set logon >- C1HH.log data_file C1HH.dat codes 012349 format items (t1,40a1) key 1312223231332131312241142342124324241123! score=1 scale 1-13,15-26,28-40 !TN estimate ! iter=100;scale=TN show ! scale=TN>-TN.map show cases!scale=TN; form=export; delimiter=tab >- TN.cas show cases!scale=TN>-TN.cas show items!scale=TN>-TN.itm itanal ! scale=TN>-TN.ita quit - File dữ liệu có tên là: C1HH.ctl 105 2. Kết quả chạy chương trình. 2.1. Xem kết quả trong file TN.map 2.1.1. Mức độ phù hợp với mô hình Summary of item Estimates ========================= Mean .00 SD 1.10 SD (adjusted) .98 Reliability of estimate .79 Fit Statistics =============== Infit Mean Square Outfit Mean Square Mean 1.00 Mean 1.02 SD .15 SD .65 Summary of case Estimates ========================= Mean 1.72 SD 1.16 SD (adjusted) 1.03 Reliability of estimate .79 Fit Statistics =============== Infit Mean Square Outfit Mean Square Mean 1.00 Mean 1.02 SD .15 SD .53 - Các thông tin về kết quả tính toán cho thấy năng lực của thí sinh (case estimate) cho ta thấy năng lực trung bình của mẫu học sinh tham gia bài kiểm tra (1,72) lớn hơn nhiều so với độ khó chung của bài kiểm tra (0,00). - Độ tin cậy của tính toán chấp nhận được vì có giá trị bằng 0.79. 2.1.2. Kiểm tra mức độ phù hợp của các câu hỏi Item Fit all on tn (N = 43 L = 40 Probability Level= .50) -------------------------------------------------------------------------------------------------------- INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+--- 1 item 1 . | * . 2 item 2 . * | . 3 item 3 . | * . 4 item 4 . * | . 5 item 5 . | * . 6 item 6 . | * . 7 item 7 . *| . 8 item 8 . | * . 9 item 9 . | * . 10 item 10 . * | . 11 item 11 . * | . 12 item 12 . * | . 13 item 13 . * | . 14 item 14 * . | . 15 item 15 . | * . 16 item 16 . | * . 17 item 17 . | * . 106 18 item 18 . * | . 19 item 19 . * | . 20 item 20 . * | . 21 item 21 . * | . 22 item 22 . | * . 23 item 23 . | * . 24 item 24 . | * . 25 item 25 . * | . 26 item 26 . * | . 27 item 27 . | . * 28 item 28 . * | . 29 item 29 . | * . 30 item 30 . * | . 31 item 31 . * | . 32 item 32 . * | . 33 item 33 . * | . 34 item 34 . * | . 35 item 35 . * | . 36 item 36 . * | . 37 item 37 . | * . 38 item 38 . * | . 39 item 39 . * | . 40 item 40 . | * . ======================================================================================================== - Kiểm tra mức độ phù hợp của các item ta thấy câu 14 và câu 27 không thuộc nhóm vì có INFIT MNSQ không nằm trong khoảng cho phép từ 0.77 đến 1.3. Cần loại các câu này ra khỏi nhóm. - Chạy chương trình điều khiển loại các câu hỏi 14, 27 ra khỏi nhóm, ta thu được kết quả sau: Item Fit all on tn (N = 43 L = 38 Probability Level= .50) INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+--- 1 item 1 . | * . 2 item 2 . * | . 3 item 3 . | * . 4 item 4 . * | . 5 item 5 . | * . 6 item 6 . | * . 7 item 7 . *| . 8 item 8 . | * . 9 item 9 . | * . 10 item 10 . * | . 11 item 11 . * | . 12 item 12 . * | . 13 item 13 . * | . 15 item 15 . | * . 16 item 16 . | * . 17 item 17 . | * . 18 item 18 . * | . 19 item 19 . * | . 20 item 20 . * | . 21 item 21 . * | . 22 item 22 . | * . 23 item 23 . | * . 24 item 24 . | * . 25 item 25 . * | . 26 item 26 . * | . 28 item 28 . * | . 29 item 29 . | * . 30 item 30 . * | . 31 item 31 . * | . 32 item 32 . * | . 33 item 33 . * | . 34 item 34 . * | . 35 item 35 . * | . 36 item 36 . * | . 37 item 37 . | * . 38 item 38 . * | . 39 item 39 . * | . 40 item 40 . | * . ======================================================================================================== 107 - Kết quả cho thấy các item 1-13,15-26,28-40 toạ thành 1 cấu trúc vì 38 item này có INFIT MNSQ nằm trong khoảng cho phép (từ 0,77 đến 1,3). 2.1.3. Kiểm tra mức độ phù hợp năng lực thí sinh và độ khó của câu hỏi KIEM TRA Chuong 1 Hinh Hoc Item Estimates (Thresholds) all on tn (N = 43 L = 38 Probability Level= .50) ------------------------------------------------------------------------------------------- | | XXX | 4.0 | | | | | XXXX | | 3.0 | XXXX | | | | X | | 40 2.0 X | XXX | 26 X | XX | | XXXXX | 36 1.0 XXX | 4 11 13 XXXX | 20 XXX | 18 XX | 2 9 15 21 24 37 XX | 5 38 XXX | 19 29 32 35 | 8 28 .0 | 10 17 | | 22 25 31 | 23 | 1 | | 3 16 -1.0 | | | 6 | | | 7 12 30 | -2.0 | | | 33 34 39 | | | | -3.0 | ------------------------------------------------------------------------------------------ Each X represents 1 students - Dựa vào ma trận trên ta thấy, đề thi quá dễ so với năng lực của học sinh trong lớp. Cần bổ xung thêm các câu hỏi khó và loại đi các câu hỏi dễ. Tuy nhiên để phân tích kỹ hơn và để quyết định bỏ đi câu hỏi nào, giữ lại câu hỏi nào, chúng ta nên xem thêm ở file TN.ita. 2.2. Xem kết quả trong file TN.ita Kết quả trong file TN.ita cho ta thấy: các item 1, 3, 6, 7, 8, 16, 17, 23 không thoả mãn các điều kiện về độ khó và độ phân biệt. 3. Kết luận - Đề kiểm tra HH Chương 1 nên bỏ đi các câu hỏi có độ phân biệt chưa tốt và bỏ các câu 14 và câu 27 (không phù hợp cấu trúc) khỏi đề. - Cần sửa lại các câu hỏi có các phương án nhiễu chưa tốt. - Đề kiểm tra cần bổ sung thêm các câu hỏi khó và bỏ bớt đi các câu hỏi dễ. 108 Bảng tổng hợp kết quả phân tích câu hỏi Chương 1 Hình học Câu hỏi Mức độ Độ khó p Độ phân biệt D Lựa chọn A (%) Lựa chọn B (%) Lựa chọn C (%) Lựa chọn D (%) Kết luận Câu 1 B 0.884 -0.06 88.4 7.0 2.3 2.3 Loại Câu 2 B 0.698 0.49 4.7 25.6 69.8 0.0 Sửa Câu 3 H 0.907 0.19 90.7 2.3 2.3 4.7 Loại Câu 4 H 0.628 0.55 32.6 62.8 0.0 4.7 Sửa Câu 5 H 0.744 0.35 0.0 74.4 7.0 16.3 Sửa Câu 6 VD 0.93 0.02 0.0 93.0 7.0 0.0 Loại Câu 7 VD 0.953 0.17 0.0 0.0 95.3 2.3 Loại Câu 8 B 0.791 0.15 7.0 79.1 7.0 0.0 Sửa Câu 9 B 0.721 0.14 0.0 2.3 72.1 2.3 Sửa Câu 10 B 0.814 0.41 81.4 0.0 0.0 18.6 Sửa Câu 11 H 0.628 0.52 7.0 27.9 62.8 2.3 Câu 12 H 0.953 0.25 4.7 0.0 95.3 0.0 Sửa Câu 13 H 0.628 0.51 0.0 62.8 7.0 27.9 Sửa Câu 14 VD 0.535 0.76 53.5 14.0 14.0 18.6 Câu 15 VD 0.698 0.22 11.6 11.6 69.8 4.7 Câu 16 VD 0.907 0.09 90.7 4.7 2.3 2.3 Loại Câu 17 B 0.814 0.01 7.0 9.3 81.4 2.3 Loại Câu 18 B 0.674 0.52 67.4 30.2 2.3 0.0 Sửa Câu 19 B 0.766 0.40 9.3 76.6 11.6 0.0 Sửa Câu 20 H 0.651 0.55 18.6 65.1 4.7 11.6 Câu 21 H 0.721 0.54 18.6 9.3 0.0 72.1 Sửa Câu 22 H 0.837 0.27 83.7 2.3 2.3 2.3 Câu 23 H 0.860 0.17 86.0 0.0 11.6 0.0 Loại Câu 24 VD 0.698 0.27 11.6 2.3 2.3 69.8 Câu 25 VD 0.837 0.42 4.7 83.7 2.3 9.3 Câu 26 VD 0.488 0.69 20.9 16.3 48.8 14.0 Câu 27 B 0.767 -0.17 0.0 16.3 4.7 76.7 Loại Câu 28 B 0.791 0.41 16.3 79.1 4.7 0.0 Sửa Câu 29 H 0.767 0.30 76.7 7.0 4.7 11.6 Câu 30 H 0.953 0.23 0.0 95.3 4.7 0.0 Sửa Câu 31 H 0.837 0.42 9.3 7.0 0.0 83.7 Sửa Câu 32 VD 0.767 0.48 0.0 20.9 76.7 2.3 Câu 33 VD 0.977 0.25 2.3 97.7 0.0 0.0 Sửa Câu 34 B 0.977 0.25 2.3 0.0 0.0 97.7 Sửa Câu 35 B 0.767 0.56 0.0 76.7 7.0 7.0 Câu 36 H 0.605 0.51 0.0 20.9 7.0 60.5 Câu 37 H 0.698 0.33 69.8 2.3 16.3 2.3 Câu 38 H 0.744 0.50 74.4 25.6 0.0 0.0 Sửa Câu 39 VD 0.977 0.25 2.3 97.7 0.0 0.0 Sửa Câu 40 VD 0.442 0.36 2.3 2.3 44.2 7.0 109 Phụ lục 9. Phân tích câu hỏi kiểm tra Chương 2 HH12 1. Dữ liệu để phân tích 1.1. File dữ liệu SPSS - File dữ liệu được nhập vào máy tính, sử dụng phần mềm SPSS, tên file là C2HH.sav. - Biến đầu tiên là: Tên học sinh - 40 biến tiếp theo là: c1 c2 c3 c4 c5 c6 c7 c8 c9 c10 c11 c12 c13 c14 c15 c16 c17 c18 c19 c20 c21 c22 c23 c24 c25 c26 c27 c28 c29 c30 c31 c32 c33 c34 c35 c36 c37 c38 c39 c40. Đây là các biến ghi lại các câu trả lời của học sinh khi làm bài kiểm tra ứng với 40 câu hỏi trắc nghiệm (chỉ nhận các giá trị 0 và 1). Mỗi biến ghi kết quả trả lời của học sinh nhận các giá trị nguyên dương từ 1 đến 4 ứng với các phương án lựa chọn trong câu trắc nghiệm (1=A, 2=B, 3=C, 4=D), giá trị 9 để chỉ dữ liệu bị bỏ sót hoặc không hợp lệ. 1.2. File dữ liệu để sử dụng mô hình Rasch - Lệnh để tạo file dữ liệu: write outfile'C2HH.dat'/ c1 c2 c3 c4 c5 c6 c7 c8 c9 c10 c11 c12 c13 c14 c15 c16 c17 c18 c19 c20 c21 c22 c23 c24 c25 c26 c27 c28 c29 c30 c31 c32 c33 c34 c35 c36 c37 c38 c39 c40 (40f1). execute. - File dữ liệu có tên là C2HH.dat 1.3. Tạo file điều khiển - Các dòng lệnh: Header KIEM TRA Chuong 2 Hinh Hoc set width =132 ! page set logon >- C2HH.log data_file C2HH.dat codes 012349 format items (t1,40a1) key 3223122142234212141332233234122142214213! score=1 scale 1-50 !TN estimate ! iter=100;scale=TN show ! scale=TN>-TN.map show cases!scale=TN; form=export; delimiter=tab >- TN.cas show cases!scale=TN>-TN.cas show items!scale=TN>-TN.itm itanal ! scale=TN>-TN.ita quit - File dữ liệu có tên là: C2HH.ctl 110 2. Kết quả chạy chương trình. 2.1. Xem kết quả trong file TN.map 2.1.1 Mức độ phù hợp với mô hình Mean .00 SD .68 SD (adjusted) .51 Reliability of estimate .57 Fit Statistics =============== Infit Mean Square Outfit Mean Square Mean 1.00 Mean .97 SD .11 SD .30 Summary of case Estimates ========================= Mean 1.71 SD .84 SD (adjusted) .69 Reliability of estimate .67 Fit Statistics =============== Infit Mean Square Outfit Mean Square Mean 1.00 Mean .97 SD .13 SD .29 - Các thông tin về kết quả tính toán cho thấy năng lực của thí sinh (case estimate) cho ta thấy năng lực trung bình của mẫu học sinh tham gia bài kiểm tra (1,71) lớn hơn nhiều so với độ khó chung của bài kiểm tra (0,00). 2.1.2 Kiểm tra mức độ phù hợp của các câu hỏi KIEM TRA Chuong 2 Hinh Hoc -------------------------------------------------------------------------------------------------------- Item Fit all on tn (N = 43 L = 40 Probability Level= .50) -------------------------------------------------------------------------------------------------------- INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+--- 1 item 1 . | * . 2 item 2 . * | . 3 item 3 . | * . 4 item 4 . * | . 5 item 5 . | * . 6 item 6 . | * . 7 item 7 . | * . 8 item 8 . * | . 9 item 9 . | * . 10 item 10 . | * . 11 item 11 . | * . 12 item 12 . *| . 13 item 13 . | * . 14 item 14 . * | . 15 item 15 . * | . 16 item 16 . * | . 17 item 17 . * . 18 item 18 . | * . 19 item 19 . | * . 20 item 20 . |* . 21 item 21 . * | . 111 22 item 22 . * | . 23 item 23 . * | . 24 item 24 . | * . 25 item 25 . * | . 26 item 26 . * | . 27 item 27 . | * . 28 item 28 . * | . 29 item 29 . * | . 30 item 30 . | * . 31 item 31 . * | . 32 item 32 . * | . 33 item 33 . * | . 34 item 34 . * | . 35 item 35 . * | . 36 item 36 . | * . 37 item 37 . * | . 38 item 38 . | * . 39 item 39 . | * . 40 item 40 . | * . ======================================================================================================== - Kiểm tra mức độ phù hợp của các item ta thấy tất cả các câu hỏi tạo thành một cấu trúc vì có INFIT MNSQ nằm trong khoảng cho phép từ 0.77 đến 1.3. 2.1.3 Kiểm tra mức độ phù hợp năng lực thí sinh và độ khó của câu hỏi KIEM TRA Chuong 2 Hinh Hoc ------------------------------------------------------------------------- Item Estimates (Thresholds) all on tn (N = 43 L = 40 Probability Level= .50) -------------------------------------------------------------------------------------------4.0 X | | | | | | | X | 3.0 | | | XXXXXX | | | XXXX | | XXXX | 2.0 | XXXXXX | | X | | 1 X | X | 37 | XX | 40 1.0 XXXXX | XX | 4 38 XXX | 36 X | 5 39 | 22 XX | X | 11 X | | 9 13 21 | 8 10 15 20 31 .0 | | 2 16 18 28 29 33 35 | 3 6 12 19 26 27 | | 34 | | | 14 17 23 24 25 32 | -1.0 | | 7 | | | | 30 | | | -2.0 | ------------------------------------------------------------------------------------------- Each X represents 1 students =========================================================================================== 112 - Dựa vào ma trận trên ta thấy, đề thi quá dễ so với năng lực của học sinh trong lớp. Số câu hỏi dễ chiếm phần lớn các câu hỏi trong đề. Không có các câu hỏi cho các thí sinh có năng lực nhận thức ở cấp độ cao. Cần bổ xung thêm các câu hỏi khó và loại đi các câu hỏi dễ. Tuy nhiên để phân tích kỹ hơn và để quyết định bỏ đi câu hỏi nào, giữ lại câu hỏi nào, chúng ta nên xem thêm ở file TN.ita. 2.2. Xem kết quả trong file TN.ita Kết quả trong file TN.ita cho ta thấy: các item 1, 5, 10, 18, 19, 22, 24, 27, 30, 36, 40 không thoả mãn các điều kiện về độ khó và độ phân biệt, cần xem xét để. Đặc biệt là câu hỏi 30 là một câu hỏi dễ, và độ phân biệt âm nên bỏ ra khỏi nhóm. Các câu hỏi còn lại cần phải xem xét các phương án nhiễu, để có câu hỏi tốt các phương án nhiễu phải có tỉ lệ lựa chọn tương đương nhau. Các câu hỏi 3, 6, 7 có các phương án nhiễu chưa phù hợp cần sửa lại. 3. Kết luận - Qua kết quả phân tích ở các phần trên, với đề kiểm tra Hình học Chương 2 nên bỏ đi các có độ phân biệt âm. Xem xét các câu hỏi 1, 5, 10, 18, 19, 22, 24, 27, 30, 36, 40 có độ phân biệt quá thấp. - Bổ sung thêm các câu hỏi khó và bỏ bớt đi các câu hỏi dễ vào đề thi. Bảng tổng hợp kết quả phân tích câu hỏi Chương 2 Hình học Câu hỏi Mức độ Độ khó p Độ phân biệt D Lựa chọn A (%) Lựa chọn B (%) Lựa chọn C (%) Lựa chọn D (%) Kết luận Câu 1 B 0.535 0.09 7.0 23.3 53.5 16.3 Loại Câu 2 H 0.837 0.34 0.0 83.7 16.3 0.0 Sửa Câu 3 VD 0.860 -0.11 9.3 86.0 4.7 0.0 Loại Câu 4 B 0.651 0.61 32.6 0.0 65.1 2.3 Sửa Câu 5 B 0.698 0.13 69.8 4.7 18.6 7.0 Loại Câu 6 H 0.860 0.19 14.0 86.0 0.0 0.0 Loại Câu 7 H 0.930 0.12 7.0 93.0 0.0 0.0 Loại Câu 8 H 0.814 0.34 81.4 7.0 2.3 9.3 Câu 9 VD 0.791 0.24 11.6 4.7 4.7 79.1 Câu 10 VD 0.814 0.16 16.3 81.4 0.0 2.3 Loại Câu 11 B 0.767 0.22 18.6 76.7 4.7 0.0 Sửa Câu 12 B 0.860 0.30 11.6 0.0 86.0 2.3 Sửa Câu 13 H 0.791 0.25 18.6 2.3 0.0 79.1 Sửa Câu 14 H 0.907 0.36 9.3 90.7 0.0 0.0 Sửa Câu 15 H 0.814 0.39 81.4 9.3 4.7 4.7 Câu 16 VD 0.837 0.37 16.3 83.7 0.0 0.0 Sửa 113 Câu 17 VD 0.907 0.23 90.7 0.0 2.3 7.0 Sửa Câu 18 B 0.837 0.11 4.7 9.3 2.3 83.7 Loại Câu 19 B 0.860 0.9 86.0 7.0 2.3 4.7 Câu 20 H 0.814 0.28 14.0 4.7 81.4 0.0 Sửa Câu 21 H 0.791 0.38 7.0 14.0 79.1 0.0 Sửa Câu 22 H 0.721 0.41 11.6 72.1 14.0 2.3 Câu 23 VD 0.907 0.50 0.0 90.7 0.0 9.3 Sửa Câu 24 VD 0.907 0.07 9.3 0.0 90.7 0.0 Loại Câu 25 VD 0.907 0.38 9.3 0.0 90.7 0.0 Sửa Câu 26 B 0.860 0.57 11.6 86.0 2.3 0.0 Sửa Câu 27 B 0.860 0.13 2.3 7.0 86.0 4.7 Câu 28 H 0.837 0.58 7.0 9.3 0.0 83.7 Sửa Câu 29 H 0.837 0.58 9.3 0.0 7.0 0.0 Sửa Câu 30 VD 0.953 -0.11 4.7 95.3 0.0 0.0 Loại Câu 31 VD 0.814 0.46 14.0 81.4 4.7 0.0 Sửa Câu 32 B 0.907 0.31 90.7 4.7 4.7 0.0 Sửa Câu 33 B 0.837 0.56 4.7 7.0 4.7 83.7 Câu 34 B 0.884 0.30 11.6 88.4 0.0 0.0 Sửa Câu 35 H 0.837 0.46 11.6 83.7 4.7 0.0 Sửa Câu 36 H 0.674 0.11 67.4 14.0 16.3 0.0 Loại Câu 37 H 0.581 0.38 20.9 20.9 0.0 58.1 Sửa Câu 38 H 0.651 0.23 34.9 65.1 0.0 0.0 Sửa Câu 39 VD 0.698 0.30 69.8 14.0 7.0 9.3 Câu 40 VD 0.628 0.06 7.0 23.3 62.8 7.0 Loại 114 Phụ lục 10. Phân tích câu hỏi kiểm tra HK1 1. Dữ liệu để phân tích. 1.1. File dữ liệu SPSS - File dữ liệu được nhập vào máy tính, sử dụng phần mềm SPSS, tên file là Hocky 1.sav. - Biến đầu tiên là: Tên học sinh - 50 biến tiếp theo là: c1 c2 c3 c4 c5 c6 c7 c8 c9 c10 c11 c12 c13 c14 c15 c16 c17 c18 c19 c20 c21 c22 c23 c24 c25 c26 c27 c28 c29 c30 c31 c32 c33 c34 c35 c36 c37 c38 c39 c40 c41 c42 c43 c44 c45 c46 c47 c48 c49 c50. Đây là các biến ghi lại các câu trả lời của học sinh khi làm bài kiểm tra ứng với 50 câu hỏi trắc nghiệm (chỉ nhận các giá trị 0 và 1). Mỗi biến ghi kết quả trả lời của học sinh nhận các giá trị nguyên dương từ 1 đến 4 ứng với các phương án lựa chọn trong câu trắc nghiệm (1=A, 2=B, 3=C, 4=D), giá trị 9 để chỉ dữ liệu bị bỏ sót hoặc không hợp lệ. 1.2. File dữ liệu để sử dụng mô hình Rasch. - Lệnh để tạo file dữ liệu: write outfile'KTHK1.dat'/ c1 c2 c3 c4 c5 c6 c7 c8 c9 c10 c11 c12 c13 c14 c15 c16 c17 c18 c19 c20 c21 c22 c23 c24 c25 c26 c27 c28 c29 c30 c31 c32 c33 c34 c35 c36 c37 c38 c39 c40 c41 c42 c43 c44 c45 c46 c47 c48 c49 c50. (50f1). execute. - File dữ liệu có tên là KTHK1.dat 1.3. Tạo file điều khiển - Các dòng lệnh: Header KIEM TRA Hoc ky 1 set width =132 ! page set logon >- KTHK1.log data_file KTHK1.dat codes 012349 format items (t1,50a1) key 14132432313244234411411314134324344114323414322132! score=1 scale 1-50!TN estimate ! iter=100;scale=TN show ! scale=TN>-TN.map show cases!scale=TN; form=export; delimiter=tab >- TN.cas show cases!scale=TN>-TN.cas show items!scale=TN>-TN.itm itanal ! scale=TN>-TN.ita 115 quit - File dữ liệu có tên là: KTHK1.ctl 2. Kết quả chạy chương trình. 2.1. Xem kết quả trong file TN.map 2.1.1. Mức độ phù hợp với mô hình Summary of item Estimates ========================= Mean .00 SD .89 SD (adjusted) .76 Reliability of estimate .73 Fit Statistics =============== Infit Mean Square Outfit Mean Square Mean .99 Mean 1.00 SD .20 SD .57 Infit t Outfit t Mean .06 Mean .08 SD .92 SD 1.04 Case Estimates all on tn (N = 43 L = 50 Probability Level= .50) ------------------------------------------------------------------------- Summary of case Estimates ========================= Mean 1.73 SD 1.12 SD (adjusted) 1.03 Reliability of estimate .84 Fit Statistics =============== Infit Mean Square Outfit Mean Square Mean .98 Mean 1.00 SD .20 SD .43 - Từ các số liệu về giá trị trung bình Mean và độ lệch chuẩn SD ở trên, ta thấy dữ liệu dùng để phân tích là phù hợp với mô hình Rasch. - Các thông tin về kết quả tính toán cho thấy năng lực trung bình của mẫu thí sinh (case estimate) tham gia bài kiểm tra (1,73) lớn hơn nhiều so với độ khó chung của bài kiểm tra (0,00). - Độ tin cậy của tính toán có giá trị bằng 0,73 đối với tính toán độ khó của câu hỏi và bằng 0,84 đối với tính toán mức năng lực của thí sinh. 116 2.1.2. Kiểm tra mức độ phù hợp của các câu hỏi KIEM TRA Hoc ky 1 ------------------------------------------------------------------------------------------------------- Item Fit all on tn (N = 43 L = 50 Probability Level= .50) ------------------------------------------------------------------------------------------------------- INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+-- 1 item 1 . | * . 2 item 2 . | * . 3 item 3 . * | . 4 item 4 . | * . 5 item 5 . | * . 6 item 6 . * | . 7 item 7 . | * . 8 item 8 . | * . 9 item 9 . * | . 10 item 10 . * . 11 item 11 . | . * 12 item 12 . * | . 13 item 13 . | . * 14 item 14 . | * . 15 item 15 . | * . 16 item 16 . * | . 17 item 17 * . | . 18 item 18 . *| . 19 item 19 . * | . 20 item 20 . | . * 21 item 21 . * | . 22 item 22 . * | . 23 item 23 . * | . 24 item 24 . * | . 25 item 25 . | * . 26 item 26 . * | . 27 item 27 . * | . 28 item 28 . * | . 29 item 29 . * | . 30 item 30 . * | . 31 item 31 . * | . 32 item 32 . | * . 33 item 33 . * | . 34 item 34 * . | . 35 item 35 . | * . 36 item 36 . * | . 37 item 37 . * | . 38 item 38 . *| . 39 item 39 * . | . 40 item 40 * . | . 41 item 41 . * | . 42 item 42 . | * . 43 item 43 . | . * 44 item 44 . | * . 45 item 45 . * | . 46 item 46 . * | . 47 item 47 . * | . 48 item 48 . | . * 49 item 49 . * | . 50 item 50 . | * . =====================================================================================================--------------------- Các số liệu trên cho ta thấy các item 9, 25, 30, 36, 39 là các biến ngoại lai có chỉ số INFIT MNSQ không nằm trong khoảng cho phép, cần loại ra khỏi nhóm. Vào chương trình điều khiển, sửa dòng lệnh: scale 1-50!TN thành dòng lệnh: scale 1-8,10-24,26-29,32-35,37,38,40!TN Kết quả thu được thể hiện ở sơ đồ sau: 117 KIEM TRA Hoc ky 1 ------------------------------------------------------------------------------------------------------- Item Fit all on tn (N = 43 L = 43 Probability Level= .50) ------------------------------------------------------------------------------------------------------- INFIT MNSQ .45 .50 .56 .63 .71 .83 1.00 1.20 1.40 1.60 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+-- 1 item 1 . | * . 2 item 2 . | * . 3 item 3 . * | . 4 item 4 . | * . 5 item 5 . | * . 6 item 6 . * | . 7 item 7 . | * . 8 item 8 . | *. 9 item 9 . * | . 10 item 10 . * . 12 item 12 . * | . 14 item 14 . | * . 15 item 15 . | * . 16 item 16 . * | . 18 item 18 . * | . 19 item 19 * | . 20 item 20 . | . * 21 item 21 . * | . 22 item 22 . * | . 23 item 23 . * | . 24 item 24 . * | . 25 item 25 . | * . 26 item 26 . * | . 27 item 27 . * | . 28 item 28 . * | . 29 item 29 . * | . 30 item 30 . * | . 31 item 31 . * . 32 item 32 . | * . 33 item 33 . * | . 35 item 35 . | * . 36 item 36 . * | . 37 item 37 . * . 38 item 38 . | * . 39 item 39 * . | . 41 item 41 . * | . 42 item 42 . |* . 44 item 44 . | * . 45 item 45 . * | . 46 item 46 . * | . 47 item 47 . * | . 49 item 49 . * . 50 item 50 . | * . ======================================================================================================= Thực hiện lần sửa thứ 4 bằng cách sửa dòng lệnh: scale 1-50 ! TN thành dòng lệnh: scale 2-7,9,10,12,14-16,18,21-33,35-38,41,42,44-47,49,50!TN Xem kết quả thu được qua file TN.map ta có sơ đồ sau: KIEM TRA Hoc ky 1 -------------------------------------------------------------------------------------------------------- Item Fit all on tn (N = 43 L = 38 Probability Level= .50) -------------------------------------------------------------------------------------------------------- INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+--- 2 item 2 . | * . 3 item 3 . * | . 4 item 4 . | * . 5 item 5 . | * 6 item 6 . * | . 7 item 7 . | * . 9 item 9 . * | . 10 item 10 . | * . 12 item 12 . * | . 14 item 14 . | * . 15 item 15 . | * . 16 item 16 . * | . 18 item 18 . * | . 21 item 21 . * | . 22 item 22 . * | . 118 23 item 23 . * | . 24 item 24 . * | . 25 item 25 . | * . 26 item 26 . * | . 27 item 27 . * | . 28 item 28 . * | . 29 item 29 . *| . 30 item 30 . * | . 31 item 31 . *| . 32 item 32 . | * . 33 item 33 . * | . 35 item 35 . | * . 36 item 36 . * | . 37 item 37 . * | . 38 item 38 . | * . 41 item 41 . * | . 42 item 42 . | * . 44 item 44 . | * . 45 item 45 . * | . 46 item 46 . * | . 47 item 47 . * | . 49 item 49 . *| . 50 item 50 . | * . ======================================================================================================== - Kiểm tra mức độ phù hợp của các item ta thấy 38 câu hỏi còn lại đều thuộc nhóm vì có INFIT MNSQ nằm trong khoảng cho phép từ 0.77 đến 1.3. 2.1.3. Kiểm tra mức độ phù hợp năng lực thí sinh và độ khó của câu hỏi KIEM TRA Hoc ky 1 ------------------------------------------------------------------------------------------- 5.0 | | | | | | | XXX | 4.0 | | | | | XXXXX | | | 3.0 | XXXXXX | 50 | 5 | XXXXX | | XXX | | 2.0 | | XX | | XXX | X | X | 1.0 | 32 | 33 X | 42 46 X | 38 47 | | 30 35 X | 21 45 49 XX | .0 XXX | 12 16 26 31 37 41 XX | | X | 23 25 27 28 29 44 | | 2 9 15 18 36 | | 3 6 7 10 14 22 -1.0 | | | 4 | | | 24 | | -2.0 | ------------------------------------------------------------------------------------------- Each X represents 1 students =========================================================================================== 119 - Dựa vào ma trận trên ta thấy, đề thi còn dễ so với năng lực của học sinh tham gia làm bài. Cần bổ sung thêm các câu hỏi khó và loại đi các câu hỏi dễ. Tuy nhiên, đối với đề kiểm tra này, phân bố độ khó của câu hỏi khá đồng đều, để phân tích kỹ hơn và để quyết định bỏ đi câu hỏi nào, giữ lại câu hỏi nào, chúng ta nên xem thêm ở file TN.ita. 2.2. Xem kết quả trong file TN.ita Kết quả trong file TN.ita cho ta thấy: - Các item 4, 7, 15 có độ phân biệt thấp nên xem xét để loại ra khỏi đề. - Các item 45, 47, 49… quá dễ vì chỉ số p>0,75, cần xem xét để loại bớt khỏi đề kiểm tra 3. Kết luận - Qua kết quả phân tích ở các phần trên, với đề kiểm tra Học kỳ 1 nên bỏ đi các câu hỏi: 1, 11, 13, 20, 17, 34, 39, 40, 43, 48, 10, 8. - Bổ sung thêm các câu hỏi khó và bỏ bớt đi các câu hỏi dễ vào đề kiểm tra. Bảng tổng hợp kết quả phân tích câu hỏi bài kiểm tra Học kỳ 1 Câu hỏi Mức độ Độ khó p Độ phân biệt D Lựa chọn A (%) Lựa chọn B (%) Lựa chọn C (%) Lựa chọn D (%) Kết luận Câu 1 B 0.791 0.30 79.1 9.3 11.6 0 Sửa Câu 2 H 0.884 0.23 2.3 0 9.3 88.4 Sửa Câu 3 H 0.907 0.39 90.7 4.7 0 4.7 Sửa Câu 4 VD 0.930 0.04 0 0 93.0 0 Loại Câu 5 B 0.395 0.35 0 39.5 0 0 Sửa Câu 6 H 0.907 0.39 4.7 4.7 0 90.7 Sửa Câu 7 H 0.907 0.21 0 4.7 90.7 4.7 Loại Câu 8 VD 0.791 0.23 2.3 79.1 7.0 11.6 Câu 9 B 0.884 0.43 4.7 7.0 88.4 0 Sửa Câu 10 H 0.907 0.34 90.7 2.3 4.7 2.3 Câu 11 VD 0.767 0.13 0 11.6 76.7 11.6 Loại Câu 12 B 0.814 0.55 2.3 81.4 16.3 0 Sửa Câu 13 B 0.442 0.09 0 0 4.7 44.2 Loại Câu 14 H 0.907 0.24 0 9.3 0 90.7 Sửa Câu 15 H 0.884 0.15 2.3 88.4 9.3 0 Loại Câu 16 VD 0.814 0.61 2.3 7.0 81.4 9.3 Câu 17 VD 0.884 0.62 0 4.7 7.0 88.4 Sửa Câu 18 B 0.884 0.37 4.7 4.7 2.3 88.4 Câu 19 B 0.837 0.61 83.7 11.6 2.3 2.3 Câu 20 H 0.791 -0.05 79.1 2.3 2.3 16.3 Loại Câu 21 H 0.791 0.53 0 2.3 2.3 79.1 Câu 22 VD 0.907 0.50 90.7 2.3 4.7 2.3 120 Câu 23 B 0.860 0.60 86.0 7.0 0 7.0 Sửa Câu 24 H 0.953 0.31 2.3 2.3 95.3 0 Sửa Câu 25 H 0.860 0.35 86.0 4.7 2.3 7.0 Câu 26 VD 0.814 0.51 2.3 11.6 4.7 81.4 Câu 27 B 0.860 0.56 86.0 14.0 0 0 Sửa Câu 28 H 0.860 0.41 0 4.7 86.0 9.3 Sửa Câu 29 H 0.860 0.48 0 9.3 4.7 86.0 Sửa Câu 30 VD 0.767 0.60 2.3 11.6 76.7 9.3 Câu 31 B 0.814 0.47 2.3 81.4 4.7 11.6 Câu 32 H 0.674 0.40 7.0 0 0 67.4 Sửa Câu 33 VD 0.698 0.63 16.3 7.0 69.8 7.0 Câu 34 B 0.860 0.69 0 2.3 11.6 86.0 Sửa Câu 35 H 0.767 0.42 9.3 7.0 7.0 76.7 Câu 36 VD 0.884 0.56 88.4 2.3 7.0 2.3 Câu 37 VD 0.814 0.46 81.4 0 7.0 11.6 Sửa Câu 38 B 0.744 0.48 2.3 2.3 0 74.4 Sửa Câu 39 H 0.721 0.72 0 7.0 72.1 0 Sửa Câu 40 VD 0.767 0.67 11.6 76.7 9.3 2.3 Câu 41 B 0.814 0.59 9.3 2.3 81.4 7.0 Câu 42 H 0.721 0.47 4.7 7.0 4.7 72.1 Câu 43 VD 0.698 0.19 69.8 14.0 0 16.3 Loại Câu 44 B 0.860 0.34 9.3 4.7 0 86.0 Sửa Câu 45 H 0.791 0.59 7.0 4.7 79.1 9.3 Câu 46 VD 0.721 0.62 2.3 72.1 7.0 2.3 Câu 47 B 0.744 0.52 0 74.4 11.6 14.0 Câu 48 H 0.512 0.12 51.2 0 2.3 0 Loại Câu 49 VD 0.791 0.49 0 7.0 79.1 14.0 Câu 50 B 0.372 0.29 24.3 37.2 14.5 0 Sửa 121 Phụ lục 11. Phân tích câu hỏi kiểm tra HK2 1. Dữ liệu để phân tích 1.1. File dữ liệu SPSS - File dữ liệu được nhập vào máy tính, sử dụng phần mềm SPSS, tên file là Hocky 2.sav. - Biến đầu tiên là: Tên học sinh - 50 biến tiếp theo là: c1 c2 c3 c4 c5 c6 c7 c8 c9 c10 c11 c12 c13 c14 c15 c16 c17 c18 c19 c20 c21 c22 c23 c24 c25 c26 c27 c28 c29 c30 c31 c32 c33 c34 c35 c36 c37 c38 c39 c40 c41 c42 c43 c44 c45 c46 c47 c48 c49 c50. Đây là các biến ghi lại các câu trả lời của học sinh khi làm bài kiểm tra ứng với 50 câu hỏi trắc nghiệm (chỉ nhận các giá trị 0 và 1). Mỗi biến của 50 câu trắc nghiệm khách quan ghi kết quả trả lời của học sinh nhận các giá trị nguyên dương từ 1 đến 4 ứng với các phương án lựa chọn trong câu trắc nghiệm (1=A, 2=B, 3=C, 4=D), giá trị 9 để chỉ dữ liệu bị bỏ sót hoặc không hợp lệ. 1.2. File dữ liệu để sử dụng mô hình Rasch. - Lệnh để tạo file dữ liệu: write outfile'KTHK2.dat'/ c1 c2 c3 c4 c5 c6 c7 c8 c9 c10 c11 c12 c13 c14 c15 c16 c17 c18 c19 c20 c21 c22 c23 c24 c25 c26 c27 c28 c29 c30 c31 c32 c33 c34 c35 c36 c37 c38 c39 c40 c41 c42 c43 c44 c45 c46 c47 c48 c49 c50 eg1, eg2, eg3, eh4, eh5 (55f1). execute. File dữ liệu có tên là KTHK2.dat 1.3. Tạo file điều khiển - Các dòng lệnh: Header KIEM TRA HOC KY 2 set width =132 ! page set logon >- KTHK2.log data_file KTHK2.dat codes 012349 format items (t1,55a1) recode (012349) (010000) !4,12,13,18,19,33,39,43,45,48 recode (012349) (001000) !1,3,5,8,9,10,14,16,21,27,29,30,31,32,35,38,40,41,46,49 recode (012349) (000100) !2,6,24,25,26,36,47 recode (012349) (000010) !7,11,15,17,20,22,23,28,34,37,42,44,50 scale 1-50 !TN estimate ! iter=100;scale=TN estimate ! iter=100;scale=Tl show ! scale=TN>-TN.map show cases!scale=TN; form=export; delimiter=tab >- TN.cas 122 show cases!scale=TN>-TN.cas show items!scale=TN>-TN.itm itanal ! scale=TN>-TN.ita quit - File dữ liệu có tên là: KTHK2.ctl 2. Phân tích câu hỏi trắc nghiệm khách quan qua kết quả chạy chương trình. 2.1. Xem kết quả trong file TN.map 2.1.1. Mức độ phù hợp với mô hình KIEM TRA HOC KY 2 ------------------------------------------------------------------------- Item Estimates (Thresholds) all on tn (N = 43 L = 50 Probability Level= .50) ------------------------------------------------------------------------- Summary of item Estimates ========================= Mean .00 SD 1.02 SD (adjusted) .93 Reliability of estimate .83 Fit Statistics =============== Infit Mean Square Outfit Mean Square Mean 1.00 Mean 1.18 SD .24 SD 1.33 KIEM TRA HOC KY 2 ------------------------------------------------------------------------- Case Estimates all on tn (N = 43 L = 50 Probability Level= .50) ------------------------------------------------------------------------- Summary of case Estimates ========================= Mean 1.43 SD 1.53 SD (adjusted) 1.44 Reliability of estimate .89 Fit Statistics =============== Infit Mean Square Outfit Mean Square Mean .99 Mean 1.18 SD .19 SD 1.10 - Từ các số liệu về giá trị trung bình Mean và độ lệch chuẩn SD ở trên, ta thấy dữ liệu dùng để phân tích là phù hợp với mô hình Rasch. 123 - Các thông tin về kết quả tính toán cho thấy năng lực trung bình của mẫu thí sinh (case estimate) tham gia bài kiểm tra (1,43) lớn hơn nhiều so với độ khó chung của bài kiểm tra (0,00). - Độ tin cậy của tính toán cao có giá trị bằng 0,83 đối với tính toán độ khó của câu hỏi và bằng 0,89 đối với tính toán mức năng lực của thí sinh. 2.1.2. Kiểm tra mức độ phù hợp của các câu hỏi KIEM TRA HOC KY 2 -------------------------------------------------------------------------------------------------------- Item Fit all on tn (N = 43 L = 50 Probability Level= .50) -------------------------------------------------------------------------------------------------------- INFIT MNSQ .45 .50 .56 .63 .71 .83 1.00 1.20 1.40 1.60 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+--- 1 item 1 . * | . 2 item 2 . * | . 3 item 3 . | * . 4 item 4 . * | . 5 item 5 . * | . 6 item 6 . | * . 7 item 7 . * | . 8 item 8 . * | . 9 item 9 . * | . 10 item 10 *. | . 11 item 11 . * | . 12 item 12 . |* . 13 item 13 . * | . 14 item 14 . |* . 15 item 15 . | * . 16 item 16 . * | . 17 item 17 * . | . 18 item 18 * . | . 19 item 19 . * | . 20 item 20 *. | . 21 item 21 . * | . 22 item 22 . | * . 23 item 23 . | * . 24 item 24 . *| . 25 item 25 . | * . 26 item 26 . | *. 27 item 27 . *| . 28 item 28 . | * . 29 item 29 . | * . 30 item 30 . | * . 31 item 31 . * | . 32 item 32 . | * . 33 item 33 . * | . 34 item 34 . *| . 35 item 35 . | . * 36 item 36 . *| . 37 item 37 . | . * 38 item 38 . | . * 39 item 39 . | * . 40 item 40 . * | . 41 item 41 . | . * 42 item 42 . *| . 43 item 43 * . | . 44 item 44 . * | . 45 item 45 * . | . 46 item 46 . | * . 47 item 47 . | * . 48 item 48 . * | . 49 item 49 . *| . 50 item 50 . * | . ======================================================================================================== Các số liệu trên cho ta thấy các item 10,17,18,20,35,37,38,41,43,45 là các biến ngoại lai có chỉ số INFIT MNSQ không nằm trong khoảng cho phép, cần loại ra khỏi nhóm. Vào chương trình điều khiển, sửa dòng lệnh: scale 1-50!TN thành dòng lệnh: scale 1-9,11-16,19,21-34, 36, 39,40,42,44,46-50!TN Kết quả thu được thể hiện ở sơ đồ sau: 124 KIEM TRA HOC KY 2 -------------------------------------------------------------------------------------------------------- Item Fit all on tn (N = 43 L = 40 Probability Level= .50) -------------------------------------------------------------------------------------------------------- INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 ---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+--- 1 item 1 . * | . 2 item 2 . * | . 3 item 3 . *| . 4 item 4 . * | . 5 item 5 . * | . 6 item 6 . | * . 7 item 7 . * | . 8 item 8 . * | . 9 item 9 . * | . 11 item 11 . * | . 12 item 12 . | * . 13 item 13 . | * . 14 item 14 . |* . 15 item 15 . | * . 16 item 16 * . | . 19 item 19 . * | . 21 item 21 . * | . 22 item 22 . | * . 23 item 23 . | * . 24 item 24 . * | . 25 item 25 . | * . 26 item 26 . | . * 27 item 27 . * | . 28 item 28 . | * . 29 item 29 . | * . 30 item 30 . | * . 31 item 31 . * | . 32 item 32 . | * . 33 item 33 . * | . 34 item 34 . * | . 36 item 36 . * | . 39 item 39 . | * . 40 item 40 . * | . 42 item 42 . | * . 44 item 44 . * | . 46 item 46 . | * . 47 item 47 . | *. 48 item 48 . * | . 49 item 49 . |* . 50 item 50 . * | . ======================================================================================================== Thực hiện lần sửa thứ 4 bằng cách sửa dòng lệnh scale 1-50 ! TN thành dòng lệnh scale 1-9,11-15,19,21-25,27-34, 36, 39,40,42,44,46-50!TN Xem kết quả thu được qua file TN.map ta có sơ đồ sau: KIEM TRA HOC KY 2 -------------------------------------------------------------------------------------------------------- Item Fit all on tn (N = 43 L = 38 Probability Level= .50) -------------------------------------------------------------------------------------------------------- INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+--- 1 item 1 . * | . 2 item 2 . * | . 3 item 3 . * | . 4 item 4 . * | . 5 item 5 . * | . 6 item 6 . | * . 7 item 7 . * | . 8 item 8 . * | . 9 item 9 . * | . 11 item 11 . * | . 12 item 12 . | * . 13 item 13 . | * . 14 item 14 . |* . 15 item 15 . | * . 19 item 19 . * | . 21 item 21 . * | . 22 item 22 . | * . 23 item 23 . | * . 125 24 item 24 . * | . 25 item 25 . | * . 27 item 27 . * | . 28 item 28 . | * . 29 item 29 . | * . 30 item 30 . | * . 31 item 31 . * | . 32 item 32 . | * . 33 item 33 . * | . 34 item 34 . * | . 36 item 36 . * | . 39 item 39 . | * . 40 item 40 . * | . 42 item 42 . | * . 44 item 44 . * | . 46 item 46 . | * . 47 item 47 . | * . 48 item 48 . * | . 49 item 49 . | * . 50 item 50 . * | . ======================================================================================================== - Kiểm tra mức độ phù hợp của các item ta thấy 38 câu hỏi còn lại đều thuộc nhóm vì có INFIT MNSQ nằm trong khoảng cho phép từ 0.77 đến 1.3. 2.1.3. Kiểm tra mức độ phù hợp năng lực thí sinh và độ khó của câu hỏi KIEM TRA HOC KY 2 ------------------------------------------------------------------------------------------- Item Estimates (Thresholds) all on tn (N = 43 L = 38 Probability Level= .50) ------------------------------------------------------------------------------------------- 6.0 | | | | | | 13 | 5.0 | XXXX | | | | | | 4.0 | | XXX | | | | XXXXXXX | 3.0 | 46 | XXX | | | XX | 2.0 | XX | 21 | | | X | | 1.0 X | | 42 X | 29 | 31 | 47 X | 1 8 48 XXX | 23 33 .0 XXXXXXX | 2 3 11 12 XX | 9 24 XXX | 4 7 27 X | 5 19 32 44 XX | | 22 25 49 50 | 15 34 36 39 40 -1.0 | 6 | | 30 | | 14 28 | | -2.0 | ------------------------------------------------------------------------------------------- Each X represents 1 students 126 - Dựa vào ma trận trên ta thấy, đề thi còn dễ so với năng lực của học sinh tham gia làm bài. Cần bổ sung thêm các câu hỏi khó và loại đi các câu hỏi dễ. Tuy nhiên, đối với đề kiểm tra này, cũng có nhưng câu hỏi khó đòi hỏi thí sinh phải có mức năng lực cao mới có thể làm được. Để phân tích kỹ hơn và để quyết định bỏ đi câu hỏi nào, giữ lại câu hỏi nào, chúng ta nên xem thêm ở file TN.ita. 2.2. Xem kết quả trong file TN.ita Kết quả trong file TN.ita cho ta thấy: - Các item 13, 28 có độ phân biệt thấp nên xem xét để loại ra khỏi đề, đặc biệt câu 28 có độ phân biệt âm (D= - 0,01) - Các câu hỏi quá dễ chỉ số p>0,75, cần xem xét để loại bớt. 3. Kết luận - Đề kiểm tra Học kỳ 2 cần bổ sung thêm các câu hỏi khó và bỏ bớt đi các câu hỏi dễ. Bảng tổng hợp kết quả phân tích câu hỏi bài kiểm tra Học kỳ 2 Câu hỏi Mức độ Độ khó p Độ phân biệt D Lựa chọn A (%) Lựa chọn B (%) Lựa chọn C (%) Lựa chọn D (%) Kết luận Câu 1 B 0.674 0.63 9.3 67.4 23.3 0 Sửa Câu 2 H 0.721 0.58 9.3 9.3 72.1 9.3 Câu 3 H 0.721 0.48 20.9 72.1 2.3 4.7 Câu 4 VD 0.767 0.60 76.7 2.3 9.3 9.3 Câu 5 B 0.791 0.57 4.7 79.1 11.6 2.3 Câu 6 H 0.860 0.26 4.7 0 86.0 4.7 Sửa Câu 7 H 0.767 0.63 9.3 7.0 7.0 76.7 Câu 8 VD 0.674 0.62 4.7 67.4 18.6 7.0 Câu 9 VD 0.747 0.57 11.6 74.4 9.3 2.3 Câu 10 B 0.698 0.69 9.3 69.8 20.9 0 Sửa Câu 11 H 0.721 0.64 9.3 7.0 9.3 72.1 Câu 12 H 0.721 0.49 72.1 7.0 9.3 9.3 Câu 13 VD 0.70 0.09 7.0 2.3 2.3 0 Loại Câu 14 B 0.907 0.25 0 90.7 7.0 2.3 Sửa Câu 15 B 0.837 0.28 0 7.0 9.3 83.7 Sửa Câu 16 H 0.744 0.65 14.0 74.4 2.3 9.3 Câu 17 H 0.698 0.77 9.3 9.3 11.6 69.8 Câu 18 VD 0.814 0.64 81.4 14.0 4.7 0 Sửa Câu 19 B 0.791 0.52 79.1 2.3 2.3 16.3 Câu 20 B 0.651 0.71 0 20.9 14.0 65.1 Sửa Câu 21 H 0.442 0.72 11.6 44.2 9.3 11.6 Câu 22 VD 0.814 0.25 2.3 7.0 9.3 81.4 127 Câu 23 VD 0.698 0.49 9.3 2.3 18.6 69.8 Câu 24 B 0.744 0.51 2.3 18.6 74.4 4.7 Câu 25 H 0.814 0.34 11.6 0 81.4 7.0 Sửa Câu 26 VD 0.698 0.33 23.3 4.7 69.8 2.3 Câu 27 B 0.767 0.48 16.3 76.7 7.0 0 Sửa Câu 28 H 0.907 - 0.01 0 0 9.3 90.7 Sửa Câu 29 H 0.605 0.52 2.3 60.5 20.9 16.3 Sửa Câu 30 VD 0.884 0.29 0 88.4 11.6 0 Sửa Câu 31 B 0.628 0.67 18.6 62.8 16.3 0 Sửa Câu 32 B 0.791 0.37 0 79.1 14.0 4.7 Sửa Câu 33 H 0.698 0.62 69.8 7.0 14.0 9.3 Câu 34 H 0.837 0.43 0 4.7 11.6 83.7 Sửa Câu 35 VD 0.674 0.11 0 67.4 27.9 4.7 Loại Câu 36 VD 0.837 0.43 0 16.3 83.7 0 Sửa Câu 37 B 0.674 0.26 14.0 0 18.6 67.4 Sửa Câu 38 H 0.651 0.27 2.3 65.1 2.3 0 Sửa Câu 39 H 0.837 0.26 83.7 0 14.0 2.3 Sửa Câu 40 VD 0.837 0.50 4.7 83.7 4.7 7.0 Câu 41 VD 0.628 0.01 0 62.8 32.6 4.7 Loại Câu 42 B 0.581 0.60 9.3 18.6 14.0 58.1 Câu 43 B 0.674 0.72 67.4 16.3 7.0 9.3 Câu 44 H 0.791 0.56 18.6 2.3 0 79.1 Sửa Câu 45 H 0.628 0.73 62.8 23.3 0 14.0 Sửa Câu 46 VD 0.302 0.39 0 30.2 2.3 0 Sửa Câu 47 B 0.651 0.43 0 14.0 65.1 20.9 Sửa Câu 48 H 0.674 0.66 67.4 23.3 2.3 7.0 Câu 49 H 0.814 0.44 2.3 81.4 16.3 0 Sửa Câu 50 VD 0.814 0.46 2.3 14.0 2.3 81.4 128 Phụ lục 12. Phân tích câu hỏi bài kiểm tra cuối năm 1. Dữ liệu để phân tích 1.1. File dữ liệu SPSS - File dữ liệu được nhập vào máy tính, sử dụng phần mềm SPSS, tên file là KTCN12A1.sav. - Biến đầu tiên là: Tên học sinh - 50 biến tiếp theo là: c1 c2 c3 c4 c5 c6 c7 c8 c9 c10 c11 c12 c13 c14 c15 c16 c17 c18 c19 c20 c21 c22 c23 c24 c25 c26 c27 c28 c29 c30 c31 c32 c33 c34 c35 c36 c37 c38 c39 c40. Đây là các biến ghi lại các câu trả lời của học sinh khi làm bài kiểm tra ứng với 50 câu hỏi trắc nghiệm (chỉ nhận các giá trị 0 và 1). Mỗi biến ghi kết quả trả lời của học sinh nhận các giá trị nguyên dương từ 1 đến 4 ứng với các phương án lựa chọn trong câu trắc nghiệm (1=A, 2=B, 3=C, 4=D), giá trị 9 để chỉ dữ liệu bị bỏ sót hoặc không hợp lệ. 1.2. File dữ liệu để sử dụng mô hình Rasch - Lệnh để tạo file dữ liệu: write outfile'KTCN12A1.dat'/ c1 c2 c3 c4 c5 c6 c7 c8 c9 c10 c11 c12 c13 c14 c15 c16 c17 c18 c19 c20 c21 c22 c23 c24 c25 c26 c27 c28 c29 c30 c31 c32 c33 c34 c35 c36 c37 c38 c39 c40 (40f1). execute. - File dữ liệu có tên là KTCN12A1.dat 1.3. Tạo file điều khiển - Các dòng lệnh: Header KIEM TRA CUOI NAM 12A1 set width =132 ! page set logon >- KTCN.log data_file KTCN12A1.dat codes 012349 format items (t1,40a1) key 4412434413323342314431322341112234344311! score=1 scale 1-40 ! KTCN estimate ! iter=100;scale=KTCN show ! scale=KTCN>- KTCN.map show cases!scale=KTCN; form=export; delimiter=tab >- KTCN.cas show cases!scale=KTCN>-KTCN.cas show items!scale=KTCN>-KTCN.itm itanal ! scale=KTCN>- KTCN.ita quit - File dữ liệu có tên là: KTCN.ctl 2. Kết quả chạy chương trình. 129 2.1. Xem kết quả trong file TN.map 2.1.1. Mức độ phù hợp với mô hình Summary of item Estimates ========================= Mean .00 SD .68 SD (adjusted) .58 Reliability of estimate .73 Fit Statistics =============== Infit Mean Square Outfit Mean Square Mean 1.00 Mean .99 SD .07 SD .10 Infit t Outfit t Mean .12 Mean .07 SD .62 SD .42 0 items with zero scores 0 items with perfect scores ========================================================================= KIEM TRA CUOI NAM 12A1 -------------------------------------------------------------------------Case Estimates all on ktcn (N = 43 L = 40 Probability Level= .50) ------------------------------------------------------------------------- Summary of case Estimates ========================= Mean .71 SD .45 SD (adjusted) .28 Reliability of estimate .38 Fit Statistics =============== Infit Mean Square Outfit Mean Square Mean 1.00 Mean .99 SD .10 SD .15 Infit t Outfit t Mean .12 Mean .06 SD .71 SD .59 --------------------------------------------- - Từ các số liệu về giá trị trung bình Mean và độ lệch chuẩn SD ở trên, ta thấy dữ liệu dùng để phân tích phù hợp với mô hình Rasch. - Các thông tin về kết quả tính toán cho thấy năng lực trung bình của mẫu thí sinh (case estimate) tham gia bài kiểm tra (1,73) lớn hơn nhiều so với độ khó chung của bài kiểm tra (0,00). - Độ tin cậy của tính toán hơi thấp vì có giá trị bằng 0,73 đối với tính toán độ khó của câu hỏi và bằng 0,38 đối với tính toán mức năng lực của thí sinh. 130 2.1.2. Kiểm tra mức độ phù hợp của các câu hỏi KIEM TRA CUOI NAM 12A1 Item Fit 22/ 7/ 8 12: 0 all on ktcn (N = 43 L = 40 Probability Level= .50) ------------------------------------------------------------------------------------------------------ INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+- 1 item 1 . | * . 2 item 2 . * | . 3 item 3 . * | . 4 item 4 . |* . 5 item 5 . * | . 6 item 6 . * | . 7 item 7 . * | . 8 item 8 . *| . 9 item 9 . | * . 10 item 10 . | * . 11 item 11 . * | . 12 item 12 . | * . 13 item 13 . | * . 14 item 14 . * | . 15 item 15 . * . 16 item 16 . | * . 17 item 17 . * | . 18 item 18 . * | . 19 item 19 . | * . 20 item 20 . * | . 21 item 21 . * | . 22 item 22 . | * . 23 item 23 . | * . 24 item 24 . * | . 25 item 25 . * | . 26 item 26 . * | . 27 item 27 . * | . 28 item 28 . *| . 29 item 29 . * | . 30 item 30 . * . 31 item 31 . |* . 32 item 32 . |* . 33 item 33 . | * . 34 item 34 . * . 35 item 35 . * | . 36 item 36 . | * . 37 item 37 . | * . 38 item 38 . * | . 39 item 39 . | * . 40 item 40 . * | . ====================================================================================================== - Kiểm tra mức độ phù hợp của các item ta thấy 40 câu hỏi đều thuộc cấu trúc vì có INFIT MNSQ nằm trong khoảng cho phép từ 0.77 đến 1.3. 2.1.3. Kiểm tra mức độ phù hợp năng lực thí sinh và độ khó của câu hỏi KIEM TRA CUOI NAM 12A1 ------------------------------------------------------------------------------------------- Item Estimates (Thresholds) all on ktcn (N = 43 L = 40 Probability Level= .50) ------------------------------------------------------------------------------------------- 3.0 | | | | | | | | | | | 20 2.0 | 131 | | 19 | X | | | XXX | 16 | XXXXX | | 1.0 XXX | XXXXX | XXXXXXXX | | 10 XX | 9 XXXX | XX | | 1 15 35 XXX | 4 7 36 37 | 13 31 XXXX | .0 X | 2 3 34 40 | | 8 18 23 24 25 26 28 39 X | 5 11 12 29 30 33 X | 14 17 38 | | | 21 27 | | 6 22 | -1.0 | | | | | | | | | | | 32 -2.0 | Each X represents 1 students =========================================================================================== - Dựa vào ma trận trên ta thấy, đề thi còn dễ so với năng lực của học sinh tham gia làm bài. Cần bổ sung thêm các câu hỏi khó và loại đi các câu hỏi dễ. Tuy nhiên, đối với đề kiểm tra này, phân bố độ khó của câu hỏi khá đồng đều, để phân tích kỹ hơn và để quyết định bỏ đi câu hỏi nào, giữ lại câu hỏi nào, chúng ta nên xem thêm ở file TN.ita. 3. Kết luận - Qua kết quả phân tích ở các phần trên, với đề kiểm tra cuối năm nên loại đi các câu hỏi: 1, 4, 9, 10, 12, 13, 16, 19, 20, 23, 30-33 các câu hỏi này có độ phân biệt rất thấp. - Sửa chữa phương án nhiễu ở các câu hỏi: 5, 6, 14, 17, 18. - Đề kiểm tra nên bổ sung thêm các câu hỏi khó và bỏ bớt đi các câu hỏi dễ. 132 Bảng tổng hợp kết quả phân tích câu hỏi kiểm tra Cuối năm Câu hỏi Mức độ Độ khó p Độ phân biệt D Lựa chọn A (%) Lựa chọn B (%) Lựa chọn C (%) Lựa chọn D (%) Kết luận Câu 1 B 0.581 0.18 7.0 11.6 23.3 58.1 Loại Câu 2 B 0.674 0.34 0 11.6 20.9 67.4 Sửa Câu 3 H 0.674 0.24 67.4 9.3 11.6 2.3 Câu 4 H 0.605 0.19 11.6 60.5 9.3 14.0 Loại Câu 5 H 0.721 0.36 0 4.7 18.6 72.1 Sửa Câu 6 VD 0.814 0.53 0 9.3 81.4 4.7 Sửa Câu 7 VD 0.605 0.27 9.3 16.3 14 60.5 Câu 8 B 0.698 0.22 7.0 14.0 7.0 69.8 Câu 9 B 0.512 -0.01 51.2 16.3 9.3 23.3 Loại Câu 10 H 0.488 -0.11 18.6 18.6 48.8 11.6 Loại Câu 11 H 0.721 0.26 7.0 4.7 72.1 14.0 Câu 12 H 0.721 0.13 7.0 72.1 11.6 9.3 Loại Câu 13 B 0.628 -0.05 2.3 11.6 62.8 16.3 Loại Câu 14 B 0.744 0.27 0 11.6 74.4 7.0 Sửa Câu 15 H 0.581 0.23 4.7 11.6 23.3 58.1 Câu 16 H 0.349 0.17 7.0 34.9 4.7 0 Loại Câu 17 H 0.744 0.51 0 4.7 74.4 20.9 Sửa Câu 18 VD 0.698 0.29 69.8 27.9 0 2.3 Sửa Câu 19 VD 0.256 0.01 0 4.7 16.3 25.6 Loại Câu 20 B 0.209 0.19 2.3 4.7 2.3 20.9 Loại Câu 21 B 0.791 0.42 7.0 11.6 79.1 2.3 Câu 22 H 0.814 -0.01 81.4 4.7 7.0 4.76 Loại Câu 23 H 0.698 -0.10 9.3 16.3 69.8 2.3 Loại Câu 24 H 0.698 0.33 4.7 69.8 14.0 9.3 Câu 25 B 0.698 0.33 4.7 69.8 16.3 7.0 Câu 26 B 0.698 0.34 2.3 9.3 69.8 16.3 Câu 27 H 0.791 0.40 4.7 7.0 9.3 79.1 Câu 28 H 0.698 0.23 69.8 16.3 2.3 9.3 Câu 29 H 0.721 0.28 72.1 9.3 7.0 2.3 Câu 30 VD 0.721 0.19 72.1 2.3 11.6 11.6 Loại Câu 31 VD 0.628 0.19 11.6 62.8 4.7 2.3 Loại Câu 32 B 0.930 0.12 0 93.0 4.7 2.3 Loại Câu 33 B 0.721 0.08 2.3 11.6 72.1 14.0 Loại Câu 34 H 0.674 0.20 4.7 9.3 16.3 67.4 Câu 35 H 0.581 0.37 0 7.0 58.1 25.6 Sửa Câu 36 H 0.605 -0.11 0 7.0 30.2 60.5 Loại Câu 37 B 0.605 0.03 0 9.3 23.3 60.5 Loại Câu 38 B 0.744 0.25 7.0 7.0 74.4 2.3 Câu 39 H 0.698 0.11 69.8 18.6 4.7 7.0 Loại Câu 40 H 0.674 0.32 67.4 23.3 4.7 2.3