Mục lục
MỞ ĐẦU
1. Lý do chọn đề tài .8
2. Mục đích nghiên cứu .9
3. Giới hạn nghiên cứu 9
4. Phương pháp nghiên cứu .9
Chương 1. CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN
1.1. Các khái niệm về chất lượng bộ đề thi trắc nghiệm .11
1.1.1. Các công cụ đo lường đánh giá kết quả học tập .11
1.1.2. Trắc nghiệm và những vấn đề liên quan 13
1.1.3. Độ tin cậy của bộ câu hỏi trắc nghiệm .19
1.1.4. Độ giá trị (hiệu lực) của bộ câu hỏi trắc nghiệm 24
1.2. Quy trình xây dựng bộ đề thi trắc nghiệm khách quan 26
1.2.1. Các quy tắc viết câu hỏi trắc nghiệm nhiều lựa chọn 26
1.2.2. Xây dựng bảng trọng số của môn học .31
1.2.3. Xây dựng ngân hàng đề thi trắc nghiệm môn học .32
Chương 2. PHƯƠNG PHÁP NGHIÊN CỨU
2.1. Những định hướng, trọng tâm nghiên cứu 34
2.1.1. Chuyên đề nghiên cứu thứ nhất 34
2.1.2. Chuyên đề nghiên cứu thứ hai 34
2.1.3. Chuyên đề nghiên cứu thứ ba .35
2.2. Thiết kế mẫu phiếu điều tra đối với giáo viên 35
Chương 3. XỬ LÝ SỐ LIỆU KẾT QUẢ THI TRẮC NGHIỆM
3.1. Xử lý số liệu kết quả thi TNKQ .39
3.1.1. Phân tích độ khó của item 39
3.1.2. Phân tích độ phân biệt của item .40
3.1.3. Đánh giá độ tin cậy của bài trắc nghiệm 42
3.1.4. Xử lý số liệu đề thi trên mô hình QUEST .48
3.1.5. Kết luận về độ giá trị của các bộ đề .52
3.2. Xử lý số liệu mẫu phiếu hỏi trong giảng viên 52
3.2.1. Đánh giá độ tin cậy của công cụ đo (mẫu phiếu hỏi) .52
3.2.2. Đánh giá về độ giá trị của công cụ đo và sự phù hợp
của mô hình các yếu tố ảnh hưởng đến chất lượng
bộ đề thi TNKQ qua xử lý phiếu hỏi .62
3.3. Kết luận về các yếu tố ảnh hưởng đến việc xây dựng
bộ đề TNKQ .62
KẾT LUẬN, ĐỀ XUẤT GIẢI PHÁP, KIẾN NGHỊ
4.1. Kết luận .71
4.2. Đề xuất giải pháp 73
TÀI LIỆU THAM KHẢO 74
PHỤ LUC
Phụ lục 1. File dữ liệu mon01.Itn 75
Phụ lục 2. File dữ liệu mon01.map 77
Phụ lục 3. Mẫu phiếu hỏi khảo sát giảng viên .81
81 trang |
Chia sẻ: lvcdongnoi | Lượt xem: 4132 | Lượt tải: 5
Bạn đang xem trước 20 trang tài liệu Đánh giá các yếu tố ảnh hưởng đến chất lượng các bộ đề thi trắc nghiệm khách quan tại Khoa Công Nghệ Thông tin - Đại học Thái Nguyên, để xem tài liệu hoàn chỉnh bạn click vào nút DOWNLOAD ở trên
.351
35.362
35.035
38.178
37.078
35.328
34.381
32.680
34.822
35.020
34.568
33.504
32.785
33.087
33.304
.234
.284
.159
.066
.160
.134
.328
.063
.386
.168
.030
.144
.263
.084
.269
.069
.438
.107
.178
.380
.201
.099
.300
.575
.546
.320
.416
.403
.668
.488
.604
.756
.778
.759
.760
.759
.759
.778
.761
.750
.759
.763
.772
.776
.763
.755
.760
.751
.761
.758
.781
.774
.761
.753
.741
.752
.755
.752
.748
.740
.745
.743
44
Tên
biến
Varia
ble
Điểm trung bình
của thang đo nếu
item bị xoá
Scale Mean if
Item Deleted
Phương sai của
thang đo nếu
item bị xoá
Scale Variance
if Item Deleted
Hệ số tương quan
của item với các
item còn lại
Corrected Item-
Total Correlation
Hệ số alpha
nếu item bị
xoá
Cronbach's
Alpha if Item
Deleted
c33
c34
c35
c36
c37
c38
v39
c40
c41
c42
c43
c44
c45
c46
c47
c48
c49
c50
c51
c52
c53
c54
c55
c56
c57
c58
c59
c60
42.00
42.31
42.23
42.62
41.98
42.08
42.38
42.12
42.00
42.12
42.62
42.54
42.02
42.00
42.62
42.25
42.25
42.12
42.02
42.48
42.15
42.04
41.98
42.15
42.04
42.15
41.98
41.98
35.412
33.982
33.710
37.457
35.156
33.680
34.908
33.241
35.020
33.712
32.908
34.998
33.862
34.196
33.849
33.407
33.407
35.398
35.353
34.372
34.172
36.038
35.862
35.388
35.763
36.015
35.862
36.015
.196
.330
.404
.274
.322
.544
.160
.591
.320
.485
.559
.150
.624
.586
.377
.453
.453
.117
.189
.253
.354
.008
.069
.107
.063
.017
.069
.063
.758
.752
.749
.776
.755
.746
.759
.743
.755
.747
.742
.759
.746
.748
.750
.747
.747
.760
.758
.755
.751
.763
.760
.761
.761
.765
.760
.761
45
Các thông tin về độ tin cậy của toàn bài trắc nghiệm được cho trong bảng sau
Bảng 3.2: Các thông số về độ tin cậy (Reliability Statistics)
Hệ số tin cậy
Cronbach's Alpha
Hệ số tin cậy trên các item chuẩn
Cronbach's Alpha Based on
Standardized Items
Số lượng item
N of Items
.805 .819 60
Qua phân tích số liệu trên bảng Output ta thấy đề thi trên dù còn có một
số câu hỏi (item) chưa được tốt song độ tin cậy của toàn bộ trắc nghiệm là
khá cao. Kết quả phân tích cho hệ số tin cậy của toàn trắc nghiệm α = 0,805
có nghĩa là 80,5% phương sai của điểm trắc nghiệm là phương sai của điểm
số thực và chỉ có 15,5% phương sai của điểm là do sai số ngẫu nhiên của
phép đo. Cũng bằng phép phân tích này, nhìn vào bảng 1 ta thấy, những item
có tương quan với các item còn lại là thấp (αi < 0.30) thì cần phải xem lại,
những item có tương quan qúa thấp (αi < 0) thì nên loại bỏ.
Bằng cách tương tự ta có kết quả tổng hợp về độ tin cậy của 50 đề thi
trong bảng dưới đây.
Bảng 3.3: Hệ số tin cậy Alpha Cronbach’s của 50 đề trắc nghiệm
Đề thi
Hệ số tin cậy
Cronbach's
Alpha
Hệ số tin cậy trên các item
chuẩn
Cronbach's Alpha Based on
Standardized Items
Số lượng item
N of Items
Đề số 1 .80 .819 60
Đề số 2 .78 .794 60
Đề số 3 .75 .760 60
Đề số 4 .60 .621 60
Đề số 5 .54 .554 60
Đề số 6 .35 .360 60
Đề số 7 .33 .345 60
Đề số 8 .84 .850 60
46
Đề số 9 .86 .872 60
Đề số 10 .65 .661 60
Đề số 11 .65 .655 60
Đề số 12 .58 .591 60
Đề số 13 .48 .492 60
Đề số 14 .47 .485 60
Đề số 15 .50 .512 60
Đề số 16 .73 .743 60
Đề số 17 .74 .750 60
Đề số 18 .70 .712 60
Đề số 19 .69 .700 60
Đề số 20 .47 .485 60
Đề số 21 .50 .512 60
Đề số 22 .73 .743 60
Đề số 23 .74 .750 60
Đề số 24 .70 .712 60
Đề số 25 .69 .700 60
Đề số 26 .35 .360 60
Đề số 27 .33 .345 60
Đề số 28 .35 .360 60
Đề số 29 .33 .345 60
Đề số 30 .84 .850 60
Đề số 31 .86 .872 60
Đề số 32 .65 .661 60
Đề số 33 .65 .655 60
Đề số 34 .58 .591 60
Đề số 35 .80 .812 60
Đề số 36 .81 .821 60
Đề số 37 .65 .661 60
Đề số 38 .65 .655 60
Đề số 39 .58 .591 60
Đề số 40 .80 .812 60
Đề số 41 .81 .821 60
Đề số 42 .54 .554 60
Đề số 43 .35 .360 60
Đề số 44 .33 .345 60
Đề số 45 .84 .850 60
Đề số 46 .86 .872 60
Đề số 47 .65 .661 60
Đề số 48 .65 .655 60
Đề số 49 .70 .712 60
Đề số 50 .69 .700 60
47
3.1.4. Xử lý số liệu đề thi trên mô hình QUEST
Phần trên chúng tôi đã dùng phần mềm SPSS để xử lý số liệu kết quả thi,
tương tự ta cũng có thể sử dụng mô hình RASCH trên phần mềm chuyên
dụng QUEST để phân tích, đánh giá kết quả các bài thi trắc nghiệm.
Ví dụ xử lý số liệu cho đề thi của môn Thông tin quang (ký hiệu Môn 1).
Để chạy được phần mềm QUEST, ta nhất định phải có file PFE.EXE và
file QUEST.EXE, file SPSS.sav chứa dữ liệu bằng số của kết quả thi.
Tạo file MON1.dat
- Từ cửa sổ file MON1.sav, dùng menu file, chọn Save as, xuất hiện cửa
sổ lệnh Save Data As.
- Tại cửa sổ Save Data As, Chọn mục Save as type.
- Chọn FixedASCII(*.dat). Gõ vào tên MON1. sau đó chọn Save.
- Trong PFE.EXE, mở open ta thấy file MON1.DAT.
Tạo file mon1.ctl
- Từ file PFE.EXE, mở cửa sổ mới, nhập vào đoạn lệnh sau:
set width=132!page
DATA_FILE MON01.DAT
CODES 01
FORMAT NAME 1 ITEMS 9-68
SCALE 1-60! MON01
ESTIMATE !iter=50; SCALE=MON01 >-MON01.out
SHOW ! SCALE=MON01 >-MON01.map
SHOW ITEMS ! SCALE=MON01 >-MON01.itm
SHOW CASES ! SCALE=MON01; form=export;delimiter=tab >-
MON01.cas
ITANAL ! scale=MON01 >-MON01.ITn
Quit
48
Thực hiện ghi lại (chọn nút ghi) ta có file điều khiển mon1.ctl
Vào file PFE.EXE, chọn Open, mở file MON1.map, ta có bảng sau
Bảng 3.4: Phân bố tương quan giữa độ khó của đề và năng lực học sinh.
QUEST: The Interactive Test Analysis System
-------------------------------------------------------------------------------------------
Item Estimates (Thresholds)
all on mon01 (N = 54 L = 60 Probability Level= .50)
3.0 |
|
|
|
NăNG LỰC CAO | ĐỘ KHó CAO
X |
|
XX |
XX | 44
2.0 | 15 37 48
XXXX | 8
XX | 45
X | 23
XXXXXX |
X |
|
|
XXXXXXXXX | 30 53
1.0 XXX |
XXX | 3 32 40
X |
XXX | 14 22 26 35
XXXXXX | 24
XXX | 6
| 21 50 54
| 49 57
| 20 36
.0 X | 4 11 25 31 39 55 59
X | 13
|
XX | 17 43
| 51 58
| 33 41
| 5 52 56
| 9 16 19 46 60
|
X | 7
-1.0 |
| 18 28 29 34 38 47
|
| 1 12 42
|
| 27
|
|
| 10
-2.0 |
|
|
| 2
|
NăNG LỰC THấP | Độ KHó THấP
|
|
-3.0 |
-----------------------------------------
Each X represents 1 students
Ta cũng thấy đây là một đề có độ khó thấp (đề tương đối dễ). Phân bố
kết quả thi gần với phân bố chuẩn. Các item có độ khó cao nhất (item 15, 27,
44, 48) cũng chưa vượt quá năng lực cao nhất của sinh viên tham gia trắc
nghiệm. Các item có độ khó quá thấp (item 2, 10, 27) nên loại bỏ vì không
phân biệt được năng lực của sinh viên.
49
Để thấy rõ phân bố của các item, ta xem xét bảng sau:
Bảng 3.5: Phân bố các item trong khoảng cho phép (infit mean square)
----------------------------------------------------------------------------------------------------------------
all on mon01 (N = 54 L = 60 Probability Level= .50)
----------------------------------------------------------------------------------------------------------------
MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40
----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+-
1 item 1 . | * .
2 item 2 . | * .
3 item 3 . | * .
4 item 4 . | * .
5 item 5 . * | .
6 item 6 . | * .
7 item 7 . * | .
8 item 8 . | . *
9 item 9 . | * .
10 item 10 . * | .
11 item 11 . * | .
12 item 12 . * | .
13 item 13 . * | .
14 item 14 . | . *
15 item 15 . | * .
16 item 16 . |* .
17 item 17 . * | .
18 item 18 . * | .
19 item 19 . * | .
20 item 20 . * | .
21 item 21 . |* .
22 item 22 . | . *
23 item 23 . | * .
24 item 24 . *| .
25 item 25 . *| .
26 item 26 * | .
27 item 27 . * | .
28 item 28 . |* .
29 item 29 . * .
30 item 30 . * | .
31 item 31 . * | .
32 item 32 . * | .
33 item 33 . * | .
34 item 34 . | * .
35 item 35 . * | .
36 item 36 . * | .
37 item 37 . | . *
38 item 38 . * | .
39 item 39 . * | .
40 item 40 . | * .
41 item 41 . * | .
42 item 42 . * | .
43 item 43 . * | .
44 item 44 . * | .
45 item 45 . | * .
46 item 46 . * | .
47 item 47 . * | .
48 item 48 . * | .
49 item 49 . * | .
50 item 50 . * | .
51 item 51 . | * .
52 item 52 . * | .
53 item 53 . * | .
54 item 54 . * | .
55 item 55 . * | .
56 item 56 . *| .
57 item 57 . | * .
58 item 58 . |* .
59 item 59 . | * .
60 item 60 . *| .
Nhìn vào Bảng 3.5 ta thấy, các item 8, 14, 22, 37 mặc dù có độ khó hợp
lý nhưng lại nằm ngoài khoảng cho phép (infit mean square) hay có thể nói
không tương thích với toàn thang đo nên cần xem xét lại.
Để thấy rõ hơn các thông số đo lường của từng item, ta phân tích bảng
Results for Observed Responses trong file mon1.itn
50
Bảng 3.6: Các thông số đo lường của từng item trong file mon1.itn
QUEST: The Interactive Test Analysis System
...........................................................................................
Item 6: item 6 Infit MNSQ = 1.05
Disc = .22
Categories 0 1 missing
Count 19 33 0
Percent (%) 36.5 63.5
Pt-Biserial -.22 .22
p-value .058 .058
Mean Ability .85 1.24 NA
Step Labels 1
Thresholds .49
Error .30
...........................................................................................
Item 7: item 7 Infit MNSQ = .97
Disc = .31
Categories 0 1 missing
Count 7 45 0
Percent (%) 13.5 86.5
Pt-Biserial -.31 .31
p-value .013 .013
Mean Ability .54 1.18 NA
Step Labels 1
Thresholds -.92
Error .42
...........................................................................................
Item 8: item 8 Infit MNSQ = 1.40
Disc = -.28
Categories 0 1 missing
Count 35 17 0
Percent (%) 67.3 32.7
Pt-Biserial .28 -.28
p-value .023 .023
Mean Ability 1.24 .79 NA
Step Labels 1
Thresholds 1.88
Error .31
...........................................................................................
Trong Bảng 3.6 (minh hoạ các tham số của 3 item: 6; 7; 8), ta thấy các
item 6; 7 có độ phân biệt tương ứng là Disc = 0,22; 0,31 đều nằm trong
khoảng cho phép. Riêng item 8 có độ phân biệt Disc = - 0,8 (D < 0), chứng tỏ
đây là câu có vấn đề, cần loại bỏ.
51
3.1.5. Kết luận về độ giá trị của các bộ đề
Việc đánh giá độ giá trị của các bộ đề trên cả bốn góc độ: “Độ giá trị nội
dung”; “Độ giá trị cấu trúc”; “Độ giá trị tiêu chuẩn” và “Độ giá trị dự báo” là
một bài toán quá phức tạp. Trong phạm vi nghiên cứu của luận văn, chúng tôi
chỉ đề cập đến yếu tố “Độ giá trị nội dung” và “Độ giá trị cấu trúc”.
- Có thể nói nội dung và cấu trúc của các bộ đề đã được đánh giá sơ bộ
(một cách định tính) bằng phương pháp chuyên gia qua sự thẩm định của
chính người ra đề cũng như nhóm môn học.
- Bằng các kỹ thuật phân tích trên phần mềm SPSS hay QUEST, chúng
tôi đã chỉ ra các yếu tố (mang tính định lượng) quyết định đến độ giá trị của
bộ đề, đó là:
+ “Độ tin cậy” của bộ đề qua hệ số Cronbach’s alpha.
+ Hệ số tương quan của mỗi item đối với toàn bộ các item còn lại.
+ Ma trận tương quan giữa các item trong cùng một trắc nghiệm.
+ Sự phù hợp giữa độ khó của trắc nghiệm đối với năng lực của sinh
viên tham gia làm trắc nghiệm.
+ Tính đồng nhất của các item trong cùng một trắc nghiệm.
Cả 5 thông số trên đều phản ánh độ giá trị của trắc nghiệm, trong đó hệ số
tin cậy Cronbach’s coefficent alpha có thể coi là trội hơn cả và dễ được định
lượng nhất (càng lớn càng tốt). Do đó trong tính toán, phân tích kỹ thuật, chúng
tôi cũng lấy đây là thông số chính để đánh giá chất lượng của trắc nghiệm.
3.2. Xử lý số liệu mẫu phiếu phỏng vấn (phiếu hỏi) trong giảng viên
3.2.1. Đánh giá độ tin cậy của công cụ đo (mẫu phiếu hỏi)
Trên cơ sở mẫu phiếu đánh giá các yếu tố ảnh hưởng đến chất lượng các
bộ đề thi TNKQ đã nêu ở trên, chúng tôi đã tiến hành phỏng vấn và lấy phiếu
đối với 50 giáo viên trực tiếp soạn thảo 50 bộ đề của 50 môn học áp dụng thi
TNKQ hết học phần. Kết quả cụ thể như sau.
52
Nếu ta quy đổi thang bậc các mức đồng ý của các phiếu hỏi thành điểm
số tương ứng với 5 mức điểm từ 0 đến 4 (chú ý các item với phát biểu ngược
chiều lấy giá trị điểm ngược lại), ta sẽ có bảng các điểm số của phiếu hỏi. Về
mặt ý nghĩa đo lường, các phiếu hỏi cho điểm số tổng cộng cao sẽ tương ứng
với các cá nhân có các yếu tố thuận lợi cho việc xây dựng đề trắc nghiệm,
ngược lại các phiếu hỏi có điểm số tổng cộng thấp sẽ tương ứng với các cá
nhân có các yếu tố kém thuận lợi cho việc xây dựng đề trắc nghiệm. Các
phiếu có phân bố điểm tổng cộng từ 43 đến 94 điểm (điểm tối đa có thể là
120 điểm) cho thấy phân bố điểm rất rộng chứng tỏ các cá nhân tham gia xây
dựng đề trắc nghiệm trong các điều kiện rất khác nhau và nhận thức quan
điểm cũng rất khác nhau.
Tiến hành xử lý số liệu trên phần mềm SPSS ta nhận thấy:
Đánh giá độ tin cậy của trắc nghiệm bằng phương pháp đánh giá độ phù
hợp của từng item (internal consistency methods) sử dụng mô hình
Cronbach’s Coefficent Alpha. Mô hình này đánh giá độ tin cậy của phép đo
dựa trên sự tính toán phương sai của từng item trong toàn phép đo và tính
tương quan điểm của từng item với với điểm tổng của các item còn lại của
phép đo. Phương pháp này thích hợp cho việc xác định độ tin cậy của các loại
trắc nghiệm có các item nhiều mức độ tính theo điểm số (kiểu thang định
khoảng hay thang định tỷ lệ).
Công thức tính như sau:
Rxx = )1(1 2
2
x
i
K
K
σ
σα ∑−−= . Trong đó
Rxx : Hệ số tương quan
K : Số các item của trắc nghiệm
σ2i : Giá trị phương sai của từng item cụ thể của trắc nghiệm
σ2x : Giá trị phương sai của toàn trắc nghiệm
53
∑ σ2i : Tổng các giá trị phương sai của tất cả các item của trắc nghiệm
Thực hiện: Sử dụng mô hình Cronbach’s Coefficent Alpha đánh giá độ
tin cậy của phép đo các yếu tố ảnh hưởng đến chất lượng bộ đề trắc nghiệm
khách quan. Mô hình này đòi hỏi phép đo phải có phân bố chuẩn (hoặc gần
chuẩn), có các item được tính theo thang định khoảng.
Sử dụng mô hình đo với 30 biến, gồm ba biến trong nhóm thời gian (từ
tg1 đến tg3), ba biến trong nhóm động cơ (từ đc1 đến đc3), 16 biến trong
nhóm kỹ thuật (từ kt1 đến kt16), 3 biến trong nhóm quan tânm (từ qt1 đến
qt3) và 3 biến trong nhóm môn học (từ mh1 đến mh3). Số mẫu sử dụng là 50
(50 cá thể giáo viên được hỏi ý kiến)
Chọn Analyze \ Scale \ Reliability như hình vẽ.
Hình 1: Các thao tác trong thủ tục Reliability trong SPSS
Kết quả tại Out put ta có bảng:
Hình 3.1: Thủ tục Analyze \ Scale \ Reliability trong file SPSS.sav
54
Kết quả qua xử lý số liệu, ta có bảng hệ số tin cậy.
Bảng 3.7: Hệ số tin cậy của từng item trên mẫu 50 giáo viên (N = 50).
Tên biến
Variable
Điểm trung bình
của thang đo nếu
item bị xoá
Scale Mean if
Item Deleted
Phương sai của
thang đo nếu item
bị xoá
Scale Variance if
Item Deleted
Hệ số tương quan
của item với các
item còn lại
Corrected Item-
Total Correlation
Hệ số alpha nếu
item bị xoá
Cronbach's
Alpha if Item
Deleted
tg1
tg2
tg3
dc1
dc2
dc3
dc4
dc5
kt1
kt2
kt3
kt4
kt5
kt6
kt7
kt8
kt9
kt10
kt11
kt12
kt13
kt14
kt15
kt16
qt1
qt2
qt3
mh1
mh2
mh3
diemtong
142.68
142.38
143.20
142.10
141.84
141.94
146.22
144.60
142.24
142.10
142.52
142.52
142.00
142.26
142.36
142.68
143.14
143.14
142.82
142.46
146.50
146.14
144.78
144.78
142.84
142.52
143.08
143.00
142.34
142.84
72.78
1108.834
1093.424
1072.531
1102.827
1117.239
1122.262
1079.644
1023.388
1119.002
1102.827
1085.357
1127.479
1107.633
1114.033
1085.990
1117.651
1123.837
1150.204
1100.967
1090.131
1064.867
1054.694
1017.644
986.624
1108.096
1094.500
1128.687
1126.571
1123.494
1108.096
283.032
.521
.521
.839
.521
.484
.293
.879
.814
.409
.869
.897
.122
.726
.390
.804
.655
.241
.542
.639
.854
.958
.868
.905
.909
.789
.716
.094
.158
.200
.789
.760
.746
.742
.737
.744
.748
.749
.738
.725
.748
.744
.740
.750
.745
.747
.740
.748
.750
.756
.744
.741
.735
.732
.723
.716
.745
.742
.751
.750
.750
.745
.937
55
56
Nhận xét:
Từ bảng 3.7 ta nhận thấy, hầu hết các item từ tg1 đến mh3 đều có tương
quan khá chặt với các item còn lại của thang đo (R ≥ 0.30 được coi là thích
hợp). Như vậy hầu hết các item đều phù hợp, tức là điểm của các item có
tương quan đáng kể với tổng điểm của các item còn lại. Điều này có nghĩa là
các item của từng phép đo có tính đồng nhất và đều đóng góp cho độ tin cậy
của toàn phép đo (phép đo Tổng điểm).
Ta còn có thể phân tích độ tin cậy của phép đo dựa trên phiếu trả lời trắc
nghiệm qua một đánh giá khác. Đó là dựa vào bảng ma trận tương quan giữa
các yếu tố (item) trong thang đo với nhau.
Sử dụng thủ tục phân tích Data Reduction trong phần mềm SPSS
Chọn Analyze \ Data Reduction \ Facter
Tại Output ta có bảng sau.
57
tg1
tg2 .84
tg3 0.7 .6
dc1 .1 52 .6
Tg1 Tg2 Tg3 dc1 Dc2 Dc3 Dc4 Dc5 Kt1 Kt2 Kt3 Kt4 Kt5 Kt6 Kt7 Kt8 Kt9 Kt10 Kt11 Kt12 Kt13 Kt14 Kt15 Kt16 Qt1 Qt2 Qt3 Mh1 Mh2 Mh3
1
0 1
0 1
0 7 0. 0 1
dc2 0.48 0.14 0.48 0.32 1
dc3 0.65 0.26 0.74 0.06 0.66 1
dc4 0.76 0.83 0.77 0.62 0.31 0.46 1
dc5 0.64 0.64 0.58 0.36 0.29 0.42 0.78 1
kt1 0.65 0.26 0.74 0.06 0.66 0.55 0.46 0.42 1
kt2 0.17 0.52 0.6 0.45 0.34 0.06 0.62 0.36 0.06 1
kt3 0.56 0.67 0.91 0.78 0.26 0.41 0.78 0.53 0.41 0.78 1
kt4 0.21 0.22 0.36 0.29 0.29 0.08 0.26 0.12 0.08 0.29 0.44 1
kt5 0.21 0.48 0.53 0.82 0.09 -0.1 0.56 0.3 0.43 0.82 0.78 0.5 1
kt6 0.72 0.68 0.47 0.07 0.25 0.2 0.53 0.44 0.2 0.07 0.52 0.25 0.28 1
kt7 0.84 0.79 0.95 0.54 0.4 0.65 0.84 0.64 0.65 0.54 0.9 0.33 0.49 0.67 1
kt8 0.5 0.52 0.48 0.34 0.34 0.25 0.52 0.41 0.25 0.34 0.5 0.19 0.42 0.72 0.52 1
kt9 0.65 0.2 0.63 -0.1 0.76 0.81 0.38 0.34 0.81 -0.1 0.38 0.28 0.1 0.4 0.56 0.31 1
kt10 0.35 0.24 0.46 0.15 0.39 0.26 0.29 0.13 0.26 0.15 0.48 0.78 0.38 0.38 0.46 0.2 0.47 1
kt11 0.53 0.31 0.92 0.39 0.56 0.73 0.56 0.41 0.73 0.39 0.81 0.4 0.47 0.41 0.81 0.38 0.76 0.55 1
kt12 0.28 0.43 0.74 0.76 0.09 0.38 0.57 0.4 0.38 0.76 0.77 0.14 0.45 0.31 0.68 0.56 0.05 0.15 0.59 1
kt13 0.6 0.78 0.78 0.83 0.25 0.29 0.83 0.57 0.29 0.83 0.89 0.38 0.82 0.54 0.8 0.73 0.26 0.33 0.58 0.73 1
kt14 0.29 0.39 0.53 0.53 0.05 0.29 0.47 0.34 0.29 0.53 0.54 0.13 0.38 0.32 0.5 0.59 0.11 0.14 0.4 0.69 0.62 1
kt15 0.35 0.24 0.46 0.15 0.39 0.26 0.29 0.13 0.26 0.15 0.48 0.78 0.38 0.38 0.46 0.2 0.47 0.36 0.55 0.15 0.33 0.14 1
kt16 0.65 0.26 0.74 0.06 0.66 0.34 0.46 0.42 0.35 0.06 0.41 0.08 0.44 0.2 0.65 0.25 0.81 0.26 0.73 0.38 0.29 0.29 0.26 1
qt1 0.84 0.87 0.8 0.58 0.4 0.43 0.86 0.63 0.43 0.58 0.84 0.43 0.7 0.68 0.88 0.59 0.53 0.46 0.64 0.45 0.89 0.42 0.46 0.43 1
qt2 -0.1 0.17 0.52 0.78 0.33 0.35 0.36 0.16 0.36 0.78 0.73 0.34 0.78 0.21 0.41 0.5 0.32 0.27 0.52 0.77 0.69 0.54 0.27 0.32 0.38 1
qt3 0.5 0.11 0.44 0.45 0.89 0.66 0.28 0.37 0.66 0.35 0.2 0.27 0.04 0.31 0.37 0.38 0.82 0.37 0.55 0.02 0.21 0.02 0.37 0.66 0.38 0.42 1
mh1 0.84 0.87 0.8 0.58 0.4 0.43 0.86 0.63 0.43 0.58 0.84 0.43 0.7 0.68 0.88 0.59 0.53 0.46 0.64 0.45 0.89 0.42 0.46 0.43 0.60 0.38 0.38 1
mh2 0.65 0.2 0.63 0.43 0.76 0.81 0.38 0.34 0.81 0.35 0.38 0.28 0.1 0.4 0.56 0.31 0.43 0.47 0.76 0.05 0.26 0.11 0.47 0.81 0.53 0.37 0.82 0.53 1
mh3 0.84 0.87 0.8 0.58 0.4 0.43 0.86 0.63 0.43 0.58 0.84 0.43 0.7 0.68 0.88 0.59 0.53 0.46 0.64 0.45 0.89 0.42 0.46 0.43 0.52 0.38 0.38 0.52 0.53
Bảng 3.8: Ma trận tương quan của các item qua xử lý phiếu hỏi
Nhìn vào Bảng 3.8, ta nhận thấy:
Hầu hết tương quan giữa các item (30 item từ tg1 đến mh3) đều có trị số lớn
hơn 30%. Điều đó chứng tỏ các item trong phiếu trắc nghiệm có tương quan chặt
với nhau và đây là một công cụ đo có độ tin cậy đảm bảo cho phép đánh giá các
điều kiện thuận lợi cho một giáo viên khi xây dựng bộ đề thi trắc nghiệm.
Có thể đánh giá độ tin cậy và phân tích mẫu các phiếu hỏi bằng mô hình
RASCH trên phần mềm QUEST. Trong phạm vi này chúng tôi chỉ nghiên cứu
trên nhóm các item trong thang đo hẹp, cụ thể là phân tích các item trong thang
đo thứ ba: “Mức độ nắm vững kỹ thuật ra đề trắc nghiệm của giảng viên”.
- Tạo file dữ liệu. dat
+ Từ file dữ liệu PHIEU.sav, vào file chọn save as. Xuất hiện cửa sổ
lệnh Save as
+ Trong mục Save as type, chọn FixedASCII(*.dat), gõ vào PHEU
+ Save.
- Trong PFE.EXE, mở open ta thấy file PHIEU.DAT
- Tạo file ctl
+ Trong PFE.EXE, mở file mới.
+ Gõ vào cửa sổ đoạn lệnh.
set width=132!page
DATA_FILE PHIEU.DAT
CODES 01234
FORMAT NAME 1-2 ITEMS 3-18
58
SCALE 1-16! PHIEU
ESTIMATE !iter=50; SCALE=PHIEU >-PHIEU.out
SHOW ! SCALE=PHIEU >-PHIEU.map
SHOW ITEMS ! SCALE=PHIEU >-PHIEU.itm
SHOW CASES ! SCALE=PHIEU; form=export;delimiter=tab >-
PHIEU.cas
ITANAL ! scale=PHIEU >-PHIEU.ITn
Quit
+ Chọn nút ghi, ta có file phieu.ctl
- Trong PFE.EXE, mở open ta thấy có file phieu.ctl
- Từ cửa sổ Quest.exe, ta gõ lệnh
Submit phieu.ctl ENTER
- Trong PFE.EXE, mở open ta thấy có file phieu.map
- Chạy file PHIEU.map để phân tích câu hỏi.
59
Bảng 3.9: Ma trận phân bố của các item phiếu hỏi trong file Phieu.map
QUEST: The Interactive Test Analysis System
------------------------------------------------------------------------------------------------------------
------------------------
Item Estimates (Thresholds)
28/12/ 9 10:22
all on phieu (N = 52 L = 16 Probability Level= .50)
------------------------------------------------------------------------------------------------------------
5.0 |
|
|
|
| 11.4
4.0 |
|
| 3.4
|
|
|
3.0 |
X |
|
XXXX |
|
2.0 |
X |
|
XX |
XXXXXXX | 1.4 16.2
| 12.4
1.0 XX |
XXXX | 9.3
XXXXXXXX | 2.4 4.4 11.3 15.4
| 6.4
XXX | 13.4 14.3
.0 X | 3.3 5.4 7.4 8.3 10.4
|
XX |
XX |
|
X |
-1.0 |
XXXXX | 12.3
|
XXXX |
|
-2.0 X |
|
|
|
X |
|
-3.0 |
X |
|
|
|
-4.0 |
| 4.3 7.3 10.3 13.3 15.3
|
|
|
|
-5.0 |
------------------------------------------------------------------------------------------------------------
------------------------
Each X represents 1 students
60
Sự phân bố giữa mức độ đồng ý của giáo viên được hỏi so với mức độ yêu
cầu của item trong phiếu hỏi là tương đối phù hợp. Phân bố có hình chuông gần
đối xứng qua trục của bảng phân bố.
Để thấy rõ hơn, ta phân tích Bảng 3.10.
Bảng 3.10: Phân bố của các item trong phiếu hỏi
trong khoảng cho phép (infit mean square)
QUEST: The Interactive Test Analysis System
----------------------------------------------------------------------------------------------------------------------------------
Item Fit 28/12/ 9 10:22
all on phieu (N = 52 L = 16 Probability Level= .50)
----------------------------------------------------------------------------------------------------------------------------------
INFIT
MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60
----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+
1 item 1 . * | .
2 item 2 . * | .
3 item 3 . * .
4 item 4 . * | .
5 item 5 . * | .
6 item 6 . | .*
7 item 7 . * | .
8 item 8 . | * .
9 item 9 . * | .
10 item 10 . * .
11 item 11 . *| .
12 item 12 . | * .
13 item 13 . | * .
14 item 14 . | . *
15 item 15 . * | .
16 item 16 . * | .
=============================================================================
Nhìn vào bảng ta thấy, hầu hết các item trong tiểu thang đo “Mức độ được
trang bị kỹ thuật ra đề TN” đều nằm trong khoảng cho phép (infit mean square).
Duy chỉ có hai item 6 và 14 là nằm ở ngoài khoảng (chứng tỏ có vấn đề). Theo
chúng tôi, đây là hai câu hỏi có đề cập đến các khái niệm kỹ thuật cao nên một
số người được hỏi chưa nắm được bản chất vấn đề được hỏi.
61
3.2.2. Đánh giá về độ giá trị của công cụ đo và sự phù hợp của mô hình
các yếu tố ảnh hưởng đến chất lượng bộ đề thi TNKQ qua xử lý phiếu hỏi
Tương tự như xem xét độ giá trị của các bộ đề trắc nghiệm [trong phần
3.1.5], độ giá trị của mẫu phiếu hỏi cũng được đánh giá qua các yếu tố:
+ “Độ tin cậy” của phiếu hỏi qua hệ số Cronbach’s Alpha.
+ Hệ số tương quan của mỗi item đối với toàn bộ các item còn lại trong
phiếu hỏi.
+ Ma trận tương quan giữa các item trong cùng một phiếu hỏi.
+ Sự phù hợp giữa mức độ đánh giá cao của trắc nghiệm đối với sự nhất trí
của giáo viên tham gia làm trắc nghiệm.
+ Tính đồng nhất của các item trong cùng một phiếu hỏi.
Với những kết quả đã phân tích trong mục [3.2.1], có thể kết luận mẫu
phiếu hỏi sử dụng trong nghiên cứu có độ giá trị tốt (độ tin cậy cao và phù hợp
với mô hình đo là các yếu tố ảnh hưởng đến chất lượng bộ đề thi TNKQ).
3.3. Kết luận về các yếu tố ảnh hưởng đến chất lượng bộ đề thi TNKQ
Để thấy rõ hơn ảnh hưởng của các yếu tố tác động đến chất lượng bộ đề
TNKQ như thế nào ta tiến hành phân tích hai mẫu “Chất lượng đề thi phản ánh
qua hệ số tin cậy Alpha Cronbach’s” và “Điều kiện thuận lợi phản ánh qua tổng
điểm trên phiếu điều tra”. Để thực hiện được, ta tiến hành
- Nhập số liệu của “Chất lượng đề thi” vào cột biến “chl.đe” - Chất lượng đề thi.
- Nhập số liệu của “Tổng điểm trên phiếu điều tra” vào cột biến “diem.ptn” -
Điểm phiếu trắc nghiệm.
- Chú ý mối quan hệ 1-1 giữa các mẫu trên cùng một giáo viên.
62
Dùng thủ tục Bảng chéo (Crosstabulation) để phân tích mối quan hệ giữa
hai biến “chl.de” và “diem.ptn”.
- Recode lại các biến thành ba nhóm có độ lớn của biến là thấp, vừa và cao.
+ Chia biến “chl.de” thành ba nhóm “Chất lượng đề kém”, “Chất lượng
đề trung bình” và “Chất lượng đề tốt”.
+ Chia biến “diem.ptn” thành ba nhóm “Điểm phiếu hỏi thấp”, “Điểm
phiếu hỏi trung bình” và “Điểm phiếu hỏi cao”.
- Để chia biến (Recode) “chl.de” ta phải xác định các yếu tố: Độ trung bình
(mean); Độ lệch chuẩn (σ = devian standar). Từ đó xác định các mức:
+ Mức thấp là giá trị của biến ≤ mean - 1σ
+ Mức trung bình từ giá trị “ mean - 1σ ” đến giá trị “ mean + 1σ ”
+ Mức cao là giá trị của biến ≥ mean + 1σ
- Áp dụng thủ tục Transform \ Recode \ Into Same Variable cho biến
“chl.de”
63
100.0090.0080.0070.0060.0050.00
diem.ptn
10
8
6
4
2
0
Fr
eq
ue
nc
y
Mean = 76.28
Std. Dev. = 13.22187
N = 50
diem.ptn
Hình 3.2: Phân bố thống kê của biến “diem.ptn”
- Lấy giá trị trung bình (mean) là 76.
- Lấy độ lệch chuẩn Std. Dev là 13
- Mức thấp sẽ là các biến có giá trị nhỏ hơn hoặc bằng 76 - 13 = 63
- Mức cao sẽ là các biến có giá trị lớn hơn hoặc băng 76 + 13 = 89
- Mức trung bình nằm giữa hai giá trị 63 và 89
Sau khi Recode lại biến “ diem.ptn” ta sẽ có biến mới “ diem.ptn.nhom” –
(Biến điểm phiếu trắc nghiệm theo nhóm) nhận các giá trị 1,2,3 ứng với các mức
64
điểm phiếu trắc nghiệm thấp, điểm phiếu trắc nghiệm trung bình và điểm phiếu
trắc nghiệm cao.
Hình 3.3: Biểu đồ phân chia mức khi Recode biến “diem.ptn”
Hình 3.4: Thủ tục Transform \ Recode \ Into Same Variables
65
Hình 3.5: Thủ tục Transform \ Recode \ Into Same Variables khi nhóm biến
Sau khi đã Recode biến, ta quay lại bảng số liệu SPSS để khai báo lại biến
- Trong Sheet Variable chọn Variable view. Chọn biến “diem.ptn.nhom”
- Trong mục giá trị (cột Values), kích vào nút bên phải, xuất hiện bảng
Values Labels. Khai báo thuộc tính nhãn
- Ô value: Nhập 1, ô Value Label nhập nhãn: “Nhóm điểm thấp” \ Add
- Ô value: Nhập 2, ô Value Label nhập nhãn: “Nhóm điểm trung bình” \
Add
- Ô value: Nhập 1, ô Value Label nhập nhãn: “Nhóm điểm cao” \ Ok.
Tiếp tục thực hiện Recode biến đối với biến “chl.de”.
Sử dụng thủ tục Analyze \ Descriptive Statistic \ Frequencities.
66
Ta có được biểu đồ phân bố biến “chl.de” với các thông số “mean”, “
Std.dev” như hình vẽ.
1.000.900.800.700.600.500.400.30
chl.de
12
10
8
6
4
2
0
Fr
eq
ue
nc
y
Mean = 0.642
Std. Dev. = 0.16596
N = 50
chl.de
Hình 3.6: Biểu đồ phân bố biến “chl.de” trên mẫu kết quả thi
của 50 bộ đề TNKQ
Từ đồ thị phân bố biến “chl.de” ta có thể nhận được các thông số
- Giá trị trung bình (mean) = 0.642 lấy tròn là 0.64
- Độ lệch chuẩn (Standar Devian) = 0.165 lấy tròn là 0.16
- Mức thấp sẽ là các biến có giá trị nhỏ hơn hoặc bằng 0.64 – 0.16 = 0.48
- Mức cao sẽ là các biến có giá trị lớn hơn hoặc bằng 0.64 + 0.16 = 0.80
67
- Mức trung bình nằm giữa hai giá trị 0.48 và 0.80
Như vậy ta sẽ có phân bố mức khi Recode lại biến “chl.de” theo hình sau
Hình 3.7: Phân bố mức của biến “chl.de” sau khi Recode
Sau khi dùng thủ tục Transform \ Recode \ Into Same Variables khi nhóm
biến. Ta có được biến mới là “chl.de.nhom” - Chất lượng đề nhóm
Sau khi đã Recode biến, ta quay lại bảng số liệu SPSS để khai báo lại biến
- Trong Sheet Variable chọn Variable view. Chọn biến “chl.de.nhom”
- Trong mục giá trị (cột Values), kích vào nút bên phải, xuất hiện bảng
Values Labels. Khai báo thuộc tính nhãn.
- Ô value: Nhập 1, ô Value Label nhập nhãn: “Nhóm đề chất lượng kém ” \ Add.
- Ô value: Nhập 2, ô Value Label nhập nhãn: “Nhóm đề chất lượng trung
bình” \ Add.
- Ô value: Nhập 1, ô Value Label nhập nhãn: “Nhóm đề chất lượng cao” \ Ok.
68
Bằng cách phân nhóm và khai báo lại nhãn cho các biến mới ta đã có hai
biến mới mang đặc trưng của hai biến ban đầu nhưng được phân bố theo nhóm
điểm số của thang đo. Vấn đề đặt ra là tìm mối quan hệ giãư hai biến này theo
phân bố nhóm.
Áp dụng thủ tục Bảng chéo (Crosstabulation) trong SPSS ta sẽ có kết luận
về mối tương quan này.
Từ thanh menu chọn Statistics \ Summaries \ Crosstabs . Sau đó nhấn nút
reset để phục hồi mặc định của hộp thoại rồi chọn:
Row : “diem.ptn.nhom”
Colum : “chl.de.nhom”
Statistic…
Tích vào hộp Chi – square và hộp Crrelations
Cell..
Counts tích vào hộp Observed và hộp Total
Hình 3.8: Thủ tục Bảng chéo (Statistics \ Summaries \ Crosstabs)
69
Trong Output của thủ tục này ta sẽ có bảng chéo Crosstabs
Hình 3.9: Kết quả bảng chéo Crosstabs giữa hai biến
“diem.ptn.nhom” và “chl.de.nhom”
Nhìn vào bảng ta có thể kết luận:
- Trong 50 mẫu phiếu hỏi có 10 mẫu phiếu cho điểm số thấp, chiếm 20%,
trong đó:
+ 03 phiếu ứng với người có đề chất lương kém, chiếm 30% của nhóm.
+ 03 phiếu ứng với người có đề chất lượng vừa, chiếm 30% của nhóm.
+ 04 phiếu ứng với người có chất lượng đề cao, chiếm 40% của nhóm.
- Trong 50 mẫu phiếu có 30 mẫu cho điểm số trung bình, chiếm 60% tổng
số mẫu, trong đó:
70
+ 05 phiếu ứng với người có chất lượng đề kém, chiếm 16,7% của nhóm
+ 21 phiếu ứng với người có chất lượng đề trung bình, chiếm 70% của nhóm
+ 04 phiếu ứng với người có chất lượng đề cao, chiếm 13,3% của nhóm
- Trong 50 mẫu phiếu hỏi có 10 mẫu cho điểm số cao, chiếm 20% của nhóm
mẫu, trong đó:
+ 07 phiếu ứng với người có chất lượng đề trung bình, chiếm 70% của nhóm.
+ 03 phiếu ứng với người có chất lượng đề tốt, chiếm 30% của nhóm.
Kết luận:
- Bảng chéo Crosstabs cho ta thấy mối quan hệ tương đối giữa các nhóm của
hai mẫu biến “chl.de.nhom” và “diem.ptn.nhom”.
- Các phân tích trên chỉ ra rằng về cơ bản thì đây là tương quan thuận giữa
hai biến “chl.de” và “diem.ptn”.
- Một số phân bố không theo quy luật như “điểm phiếu trắc nghiệm thấp lại
là của người có đề chất lượng cao”. Điều này có thể giải thích là do số lượng
mẫu nghiên cứu là chưa đủ lớn (50 mẫu), hoặc có những người trả lời phiếu trắc
nghiệm không trung thực (điều này có thể xảy ra trong thực tế) do những yếu tố
chủ quan hoặc khách quan.
71
KẾT LUẬN VÀ ĐỀ NGHỊ
A. KẾT LUẬN
Với những nghiên cứu và phân tích ở trên, chúng tôi có thể kết luận.
- Chất lượng của một đề thi TNKQ được đánh giá trên nhiều yếu tố và theo
nhiều góc độ xem xét khác nhau. Tuy nhiên, yếu tố mang tính định lượng và có ý
nghĩa đặc trưng nhất có thể dùng để đánh giá chất lượng của trắc nghiệm là “độ
tin cậy” được tính bằng hệ số Cronbach’s Alpha. Các trắc nghiệm cho hệ số tin
cậy Cronbach’s Alpha lớn thì có chất lượng tốt và ngược lại.
- Mô hình các yếu tố ảnh hưởng đến chất lượng các bộ đề trắc nghiệm mà
luận văn đưa ra trong mẫu phiếu hỏi đối với giáo viên là phù hợp. Trắc nghiệm
cho độ tin cậy chung khá cao và tương quan giữa các item trong phiếu hỏi cũng
ở mức đáng tin cậy.
- Điểm lượng hoá của phiếu hỏi (sau khi đã Recode biến) đặc trưng cho sự
thuận lợi của các yếu tố ảnh hưởng đến người ra đề. Qua phân tích, ta thấy điểm
phiếu hỏi cao tương ứng với giáo viên có các yếu tố thuận lợi cho việc ra đề thi
TNKQ và ngược lại, điểm phiếu hỏi thấp ứng với giáo viên có các yếu tố kém
thuận lợi cho việc ra đề.
- Có sự tương quan chặt chẽ giữa điểm số của phiếu hỏi với chất lượng đề
thi của chính nghiệm thể đó (trừ số ít trường hợp ngoại lệ). Điều đó cho thấy qua
phân tích phiếu hỏi có thể dự đoán khá chính xác chất lượng đề thi mà cá nhân
đó chịu trách nhiệm biên soạn.
- Qua đánh giá các yếu tố ảnh hưởng đến chất lượng đề thi TNKQ, có thể
thấy yếu tố ảnh hưởng lớn nhất đến chất lượng đề thi là việc trang bị kỹ thuật ra
đề thi TNKQ cho giáo viên (16 item / tổng số 30 item của phiếu hỏi).
72
B. ĐỀ NGHỊ
Từ các nghiên cứu và phân tích ở trên chúng tôi mạnh dạn đề xuất một số
giải pháp nhằm nâng cao chất lượng các bộ đề thi TNKQ như sau.
- Đầu tư thời gian, kinh phí tập huấn cho đội ngũ giáo viên tại các Bộ môn
lý thuyết về đo lường, đánh giá kết quả học tập, trong đó chú trọng đến các kỹ
thuật soạn thảo câu hỏi TNKQ.
- Triển khai xây dựng ngân hàng câu hỏi TNKQ theo đúng quy trình đã được
thống nhất trong toàn trường, có sự quản lý giám sát của bộ phận chuyên trách.
- Tăng cường công tác khảo thí, xây dựng đội ngũ cán bộ khảo thí có
chuyên môn vững làm nhiệm vụ tư vấn trong xây dựng cũng như đánh giá trực
tiếp chất lượng ngân hàng đề thi TNKQ của nhà trường.
- Nhanh chóng áp dụng các phần mềm ra đề thi tự động, phần mềm thi
TNKQ trực tiếp trên máy tính. Áp dụng các kỹ thuật xử lý số liệu có trợ giúp của
máy tính trong phân tích, đánh giá chất lượng đề thi.
- Xây dựng một môi trường tương tác làm việc (trên mạmg internet) giữa bộ
phận khảo thí với các giáo viên bộ môn sao cho giáo viên có thể dễ dàng đánh
giá đề thi của mình cũng như cập nhật sửa đổi ngân hàng câu hỏi thi TNKQ có
sự quản lý của trung tâm khảo thí.
- Nhà trường cần có sự quan tâm thích đáng về vật chất và tinh thần đối với
giáo viên có áp dụng thi TNKQ, coi việc đổi mới phương pháp kiểm tra đánh giá
là một trong những khâu nhằm đổi mới phương pháp giảng dạy, nâng cao chất
lượng đào tạo.
73
TÀI LIỆU THAM KHẢO
Tiếng Việt
1- Nguyễn Phụng Hoàng (2003), Phương pháp trắc nghiệm trong kiểm tra
và đánh giá thành quả học tập. NXB Giáo dục.
2- Phạm Viết Vượng (2006), Giáo dục học. NXB ĐHQGHN.
3- Nguyễn Công Khanh (2004), Đánh giá và đo lường trong khoa học xã
hội. NXB Chính trị quốc gia.
4- Nguyễn Công Khanh (2001), Ứng dụng SPSS FOR WINDOWS: Xử lý và
phân tích dữ liệu. NXB ĐHQGHN.
5- Lê Đức Ngọc (2003), Bài giảng đo lường và đánh giá thành quả học tập
trong giáo dục. Đại học Quốc gia Hà Nội.
6- Phạm Minh Hạc, Trần Kiều, Đặng Bá Lãm, Nghiêm Đình Vỹ (2002),
Giáo dục thế giới đi vào thế kỉ XXI, NXB Chính trị Quốc gia.
7 - Dương Thiệu Tống (2004), Phương pháp nghiên cứu trong khoa học
giáo dục và tâm lí, NXB Giáo dục.
Tiếng Anh
8- Taylo & Francis Grup (2003), Quality in Higher Education.
9- Jemes H.McMillan (2001), Classroom assessment, Virginia
Commonwealth University.
10- Norman E. Grounlund (2003), Constructing Achivement Tets.
11- Peggy O’Neill (2009), Guide to College Writing Assessment, Utah State
University Press.
12- Claire Wyatt – Smith (2009), Assessment in the 21st century, Griffith
University Australia.
74
PHỤ LỤC
Phụ lục 1: File dữ liệu mon01.Itn
QUEST: The Interactive Test Analysis System
.............................................................................................................................................................................................................
Item Analysis Results for Observed Responses 21/12/ 9 14:30
all on mon01 (N = 52 L = 60 Probability Level= .50)
.............................................................................................................................................................................................................
Item 1: item 1 Infit MNSQ = 1.06
Disc = .19
Categories 0 1 missing
Count 5 47 0
Percent (%) 9.6 90.4
Pt-Biserial -.18 .18
p-value .097 .097
Mean Ability .66 1.14 NA
Step Labels 1
Thresholds -1.32
Error .48
.............................................................................................................................................................................................................
Item 2: item 2 Infit MNSQ = 1.02
Disc = .14
Categories 0 1 missing
Count 2 50 0
Percent (%) 3.8 96.2
Pt-Biserial -.14 .14
p-value .161 .161
Mean Ability .59 1.12 NA
Step Labels 1
Thresholds -2.32
Error .73
.............................................................................................................................................................................................................
Item 3: item 3 Infit MNSQ = 1.22
Disc = .00
Categories 0 1 missing
Count 24 28 0
Percent (%) 46.2 53.8
Pt-Biserial .00 .00
p-value .499 .499
Mean Ability 1.08 1.11 NA
Step Labels 1
Thresholds .92
Error .29
.............................................................................................................................................................................................................
Item 4: item 4 Infit MNSQ = 1.07
Disc = .19
Categories 0 1 missing
Count 15 37 0
Percent (%) 28.8 71.2
Pt-Biserial -.19 .19
p-value .086 .086
Mean Ability .90 1.18 NA
Step Labels 1
Thresholds .10
Error .32
.............................................................................................................................................................................................................
Item 5: item 5 Infit MNSQ = .95
Disc = .36
Categories 0 1 missing
Count 9 43 0
Percent (%) 17.3 82.7
Pt-Biserial -.36 .36
p-value .005 .005
75
Mean Ability .54 1.21 NA
Step Labels 1
Thresholds -.61
Error .38
.............................................................................................................................................................................................................
Item 6: item 6 Infit MNSQ = 1.05
Disc = .22
Categories 0 1 missing
Count 19 33 0
Percent (%) 36.5 63.5
Pt-Biserial -.22 .22
p-value .058 .058
Mean Ability .85 1.24 NA
Step Labels 1
Thresholds .49
Error .30
.............................................................................................................................................................................................................
Item 7: item 7 Infit MNSQ = .97
Disc = .31
Categories 0 1 missing
Count 7 45 0
Percent (%) 13.5 86.5
Pt-Biserial -.31 .31
p-value .013 .013
Mean Ability .54 1.18 NA
Step Labels 1
Thresholds -.92
Error .42
.............................................................................................................................................................................................................
Item 8: item 8 Infit MNSQ = 1.40
Disc = -.28
Categories 0 1 missing
Count 35 17 0
Percent (%) 67.3 32.7
Pt-Biserial .28 -.28
p-value .023 .023
Mean Ability 1.24 .79 NA
Step Labels 1
Thresholds 1.88
Error .31
.............................................................................................................................................................................................................
Item 9: item 9 Infit MNSQ = 1.11
Disc = .12
Categories 0 1 missing
Count 8 44 0
Percent (%) 15.4 84.6
Pt-Biserial -.12 .12
p-value .196 .196
Mean Ability .85 1.14 NA
Step Labels 1
Thresholds -.76
Error .40
.................................................................................................................................................................................................
............
76
Phụ lục 2: File dữ liệu mon01.map
QUEST: The Interactive Test Analysis System
----------------------------------------------------------------------------------------------
21/12/ 9 14:30
all on mon01 (N = 54 L = 60 Probability Level= .50)
----------------------------------------------------------------------------------------------
Data File = MON01.DAT
Data Format = NAME 1 ITEMS 9-68
Log file = LOG not on
Page Width = 132
Page Length = 65
Screen Width = 78
Screen Length = 24
Probability level = .50
Maximum number of cases set at 60000
VALID DATA CODES 0 1
GROUPS
1 all ( 54 cases ) : All cases
SCALES
1 all ( 60 items ) : All items
2 mon01 ( 60 items ) : 1-60
DELETED AND ANCHORED CASES:
No case deletes or anchors
DELETED AND ANCHORED ITEMS:
No item deletes or anchors
RECODES
----------------------------------------------------------------------------------------------
all on mon01 (N = 54 L = 60 Probability Level= .50)
----------------------------------------------------------------------------------------------
Summary of item Estimates
Mean .00
SD 1.05
SD (adjusted) .98
Reliability of estimate .87
Fit Statistics
Infit Mean Square Outfit Mean Square
Mean 1.00 Mean .95
SD .14 SD .24
Infit t Outfit t
Mean .13 Mean -.04
SD 1.14 SD .90
0 items with zero scores
0 items with perfect scores
----------------------------------------------------------------------------------------------
all on mon01 (N = 54 L = 60 Probability Level= .50)
----------------------------------------------------------------------------------------------
Summary of case Estimates
Mean 1.10
SD .71
SD (adjusted) .63
Reliability of estimate .79
Fit Statistics
Infit Mean Square Outfit Mean Square
Mean .99 Mean .95
SD .19 SD .32
Infit t Outfit t
Mean .09 Mean -.03
SD 1.20 SD 1.03
0 cases with zero scores
2 cases with perfect scores
==============================================================================================
77
QUEST: The Interactive Test Analysis System
----------------------------------------------------------------------------------------------
21/12/ 9 14:30
all on mon01 (N = 54 L = 60 Probability Level= .50)
----------------------------------------------------------------------------------------------
--------------------------------------
3.0 |
|
|
|
NANG LUC CAO | DO KHO CAO
X |
|
XX |
XX | 44
2.0 | 15 37 48
XXXX | 8
XX | 45
X | 23
XXXXXX |
X |
|
|
XXXXXXXXX | 30 53
1.0 XXX |
XXX | 3 32 40
X |
XXX | 14 22 26 35
XXXXXX | 24
XXX | 6
| 21 50 54
| 49 57
| 20 36
.0 X | 4 11 25 31 39 55 59
X | 13
|
XX | 17 43
| 51 58
| 33 41
| 5 52 56
| 9 16 19 46 60
|
X | 7
-1.0 |
| 18 28 29 34 38 47
|
| 1 12 42
|
| 27
|
|
| 10
-2.0 |
|
|
NANG LUC THAP | 2 DO KHO THAP
|
|
|
|
|
-3.0 |
----------------------------------------------------------------------------------------------
Each X represents 1 students
QUEST: The Interactive Test Analysis System
78
------------------------------------------------------------------------------------------------------------
-----Item Fit
21/12/ 9 14:30
all on mon01 (N = 54 L = 60 Probability Level= .50)
------------------------------------------------------------------------------------------------------------
INFIT
MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30
1.40 1.50 1.60
----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+-------
1 item 1 . | * .
2 item 2 . | * .
3 item 3 . | * .
4 item 4 . | * .
5 item 5 . * | .
6 item 6 . | * .
7 item 7 . * | .
8 item 8 . | . *
9 item 9 . | * .
10 item 10 . * | .
11 item 11 . * | .
12 item 12 . * | .
13 item 13 . * | .
14 item 14 . | . *
15 item 15 . | * .
16 item 16 . |* .
17 item 17 . * | .
18 item 18 . * | .
19 item 19 . * | .
20 item 20 . * | .
21 item 21 . |* .
22 item 22 . | . *
23 item 23 . | * .
24 item 24 . *| .
25 item 25 . *| .
26 item 26 * | .
27 item 27 . * | .
28 item 28 . |* .
29 item 29 . * .
30 item 30 . * | .
31 item 31 . * | .
32 item 32 . * | .
33 item 33 . * | .
34 item 34 . | * .
35 item 35 . * | .
36 item 36 . * | .
37 item 37 . | . *
38 item 38 . * | .
39 item 39 . * | .
40 item 40 . | * .
41 item 41 . * | .
42 item 42 . * | .
43 item 43 . * | .
44 item 44 . * | .
45 item 45 . | * .
46 item 46 . * | .
47 item 47 . * | .
48 item 48 . * | .
49 item 49 . * | .
50 item 50 . * | .
51 item 51 . | * .
52 item 52 . * | .
53 item 53 . * | .
54 item 54 . * | .
55 item 55 . * | .
56 item 56 . *| .
57 item 57 . | * .
58 item 58 . |* .
59 item 59 . | * .
60 item 60 . *| .
------------------------------------------------------------------------------------------------------------
79
Phụ lục 3: Mẫu phiếu khảo sát giảng viên ra đề thi
PHIẾU KHẢO SÁT GIẢNG VIÊN RA ĐỀ THI TNKQ
Họ tên giảng viên:.................................................. Tuổi...............Giới tính..............
Thâm niên giảng dạy..................................................................................................
Môn học đảm nhiệm giảng dạy:..................................................................................
Trình độ:......................................................................................................................
Anh (Chị) hãy đọc kỹ các phát biểu dưới đây và đánh dấu X vào 1 trong 5 số
phù hợp nhất theo sự chọn lựa của cá nhân
0 = Hoàn toàn không đúng / hoàn toàn không đồng ý
1 = Cơ bản không đúng / cơ bản không đồng ý
2 = Đúng một phần / đồng ý một phần/ phân vân
3 = Cơ bản đúng / cơ bản đồng ý
4 = Hoàn toàn đúng / hoàn toàn đồng ý
Mức độ
Stt Nội dung được đánh giá 0 1 2 3 4
I Yếu tố thời gian dành cho công việc
1 Tôi đã đầu tư nhiều thời gian cho việc ra đề thi TNKQ.
2 Nhà trường bố trí thời gian đủ cho giáo viên xây dựng bộ đề
thi TNKQ.
3 Tôi đã áp dụng thử bộ đề thi trước khi thi kết thúc môn học.
II Động cơ của người thực hiện
4 Tôi thực sự hứng thú đối với việc áp dụng phương pháp thi
TNKQ.
5 Tôi đã dành thời gian tìm hiểu kỹ về thi TNKQ.
6 Tôi đã chủ động áp dụng việc thi TNKQ trong môn học do
mình giảng dạy.
7 Tôi cho rằng thi TNKQ là không cần thiết.
8 Tôi nhận thấy thi TNKQ là tiện lợi và khoa học.
III Mức độ nắm vững kỹ thuật ra đề TNKQ của giảng viên.
9 Bộ đề thi TNKQ dùng để đánh giá SV được thiết kế theo
ma trận kiến thức của môn học tôi giảng dạy.
10 Bộ đề thi TNKQ tôi thiết kế có thể phân loại được sinh viên
theo lực học.
11 Bộ đề thi TNKQ tôi thiết kế không quá khó, phù hợp với
lực học trung bình của sinh viên.
12 Tôi hiểu rõ từng câu hỏi và có thể trả lời đúng từng câu hỏi
trong bộ đề thi của mình mà không cần tới đáp án.
13 Tôi đã được tập huấn những kiến thức cơ bản về kỹ thuật ra
đề thi TNKQ.
80
14 Các câu hỏi trong đề thi phù hợp với thời lượng của từng
nội dung trong đề cương chi tiết môn học.
15 Số lượng các câu hỏi trong đề thi phân bố đều ở các nội
dung và bao quát cả chương trình môn học.
16 Tôi đã bỏ ra khá nhiều thời gian để tự nghiên cứu về kỹ
thuật ra đề thi TNKQ.
17 Tôi đã trao đổi về nội dung bộ đề thi TNKQ trong nhóm
giảng viên của Bộ môn.
18 Bộ đề thi TNKQ của tôi được thiết kế chung cho cả nhóm
môn học trong Bộ môn.
19 Sau mỗi lần thi tôi thường đánh giá chất lượng đề (các đặc
tính đo lường) để bổ sung và chỉnh sửa bộ đề thi.
20 Tôi thiết kế đề thi TNKQ chủ yếu dựa trên kinh nghiêm cá nhân
21 Tôi chưa nắm được kỹ thuật phân tích item
22 Tôi chưa nắm được lý thuyết hồi đáp IRT
23 Tôi biết sử dụng phần mêm SPSS để đánh giá độ tin cậy
24 Tôi biết sử dụng phần mêm Quest hoặc Conquest để phân
tích item
IV Sự quan tâm của nhà trường
25 Nhà trường khuyến khích việc áp dụng thi TNKQ.
26 Xây dựng đề thi TNKQ được coi là một tiêu chuẩn nhằm
đánh giá đổi mới phương pháp giảng dạy
27 Nhà trường có hỗ trợ kinh phí thích đáng cho việc xây dựng
đề thi TNKQ
V Tính chất các nhóm môn học
28 Môn học tôi giảng dạy phù hợp với việc thi TNKQ
29 Tôi cho rằng đề thi TNKQ chỉ phù hợp với một số môn học
30 Tôi cho rằng tính chất các nhóm môn học có ảnh hưởng
đáng kể đến chất lượng đề thi TNKQ
31. Anh chị giảng dạy môn học thuộc nhóm nào?
a. Nhóm Toán, Lý, Hoá c. Nhóm Ngoại ngữ
b. Nhóm Văn, Chính trị xã hội d. Nhóm các môn Kỹ thuật
32. Theo anh chị, yếu tố nào (trong 5 nhóm yếu tố trên) có ảnh hưởng lớn nhất đến
quá trình ra đề thi TNKQ của giảng viên?
.......................................................................................................................................
33. Anh chị có kinh nghiệm như thế nào về ra đề thi TNKQ:
………………………………………………………………………………………
Xin chân thành cảm ơn!
81
Các file đính kèm theo tài liệu này:
- Đánh giá các yếu tố ảnh hưởng đến chất lượng các bộ đề thi trắc nghiệm khách quan tại Khoa Công Nghệ Thông tin - Đại học Thái Nguyên.pdf