Hệ thống thi trắc nghiệm trực tuyến cho môn ngoại ngữ

khâu khác của quá trình dạy - học. Do vậy đối với bất kỳ quá trình dạy - học nào, khâu kiểm tra đánh giá luôn là một bộ phận cấu thành. Kiểm tra đánh giá là một khâu rất quan trọng của quá trình đào tạo. Hoạt động này nhằm đánh giá chủ yếu đối với: Chất lượng học tập của người học Tính hợp lý của các phương pháp sư phạm và tài liệu được sử dụng, điều kiện dạy và học Tính hợp lý của các mục tiêu đào tạo đã được xác định. Thông qua hoạt động đánh giá trên sẽ đảm bảo được chất lượng học tập, đưa ra được tính hợp lý trong các phương pháp sư phạm và điều chỉnh mục tiêu đào tạo một cách hợp lý. 2.2.2 Qui trình thi - kiểm tra Qui trình thi - kiểm tra được tiến hành như sau: Xây dựng chuẩn để đánh giá: Đối với mỗi kỳ thi – kiểm tra đều có tiêu chí đánh giá riêng, yêu cầu riêng đối với đối tượng tham gia dự thi – kiểm tra. Người soạn đề thi – kiểm tra sẽ dựa vào các tiêu chí này để ra đề thi một cách phù hợp. Xây dựng cấu trúc đề thi và tiểu mục bài thi: Đề thi được tao ra dựa trên các chuẩn đánh giá đã xây dựng ở trên. Tổ chức thi Chấm thi Nghiên cứu kết quả thi Để đánh giá kết quả thi được tốt thì trước hết cần xây dựng các tiêu chí đánh giá. Các tiêu chí cần thiết đó là độ tin cậy, tính giá trị, khả năng phân loại tích cực và tính thực tiễn của bài thi-kiểm tra cụ thể. 2.2.2.1 Độ tin cậy Độ tin cậy thường được định nghĩa là mức độ chính xác của các phép đo. Về mặt lý thuyết, độ tin cậy có thể được xem như là một số đo về sự sai khác giữa điểm số quan sát được và điểm số thực. Điểm số quan sát được là điểm số mà thí sinh trên thực tế đã có được (kết quả thi-kiểm tra). Trong khi đó điểm số thực là điểm số lý thuyết mà thí sinh đó sẽ phải đạt được nếu không có những sai số trong đo lường. Các nhân tố dẫn đến sai số của phép đo: Các nhân tố nằm bên ngoài bản thân bài thi trắc nghiệm như: điều kiện thể lực và xúc cảm của thí sinh trong lúc làm bài, câu hỏi không rõ ràng, chấm thi chưa chính xác, phòng thi, thiết bị chưa đảm bảo tiêu chuẩn,... Các nhân tố nằm bên trong bài thi trắc nghiệm như: số lượng hạn chế của các câu hỏi chưa đủ để làm giảm tối thiểu sai số bên trong, hoặc mẫu chọn chưa mang tính đại diện. Trong thực tế có rất nhiều yếu tố ảnh hưởng tới khâu đánh giá khả năng của thí sinh. Những yếu tố này gây nên những sai số (sai lệch) trong đánh giá. Những yếu tố này có thể được xếp theo ba nhóm chính như sau: Phương pháp thi - kiểm tra: Trong phương pháp thi – kiểm tra các yếu tố có thể gây ra sai số trong đánh giá kết quả thi đó là: Môi trường thi – kiểm tra, cách ra đề thi, nội dung bài thi, tỷ lệ giữa các phần trong một bài thi cụ thể. Các phụ tố các nhân có liên quan tới khả năng giao tiếp của thí sinh Một số phụ tố phản ánh đặc tính của thí sinh như sau: Phương pháp tư duy: khả năng phân tích, tổng hợp, khái quát vấn đề… Những yếu tố trên có ảnh hưởng trực tiếp tới khả năng lực tư duy sở trường của từng thí sinh. Kiến thức về lĩnh vực cụ thể nào đó: Chủ điểm về kinh tế dùng trong một bài thi nào đó sẽ là bất lợi cho những thí sinh nào không biết nhiều về kinh tế. Dân tộc: Giữa các dân tộc khác nhau có nền văn hóa, tập quán khác nhau sẽ ảnh hưởng đến khả năng giao tiếp của thí sinh. Xuất thân: Thành phần xuất thân: nông dân, công nhân, tri thức luôn là yếu tố cần xem xét trong đánh giá. Các yếu tố bất thường không lường trước được. Trong quá trình đánh giá kết quả thi, có thể nhận ra một điều đó là: khi một thí sinh dự thi, thí sinh này có thể hoàn thành bài thi ở các mức độ khác nhau, tất nhiên kết quả khác nhau do các yếu tố ngoại lai tác động. Như vậy trong việc đánh giá cần phải xem xét các yếu tố dẫn đến những sai số đó nhằm giảm những ảnh hưởng tới mức tối thiểu, đồng thời đạt được hiệu quả đánh giá ở mức tối đa. Và như vậy ta có thể khái quát việc xem xét một bài thi – kiểm tra được coi là có độ tin cậy theo một số tiêu chí sau: Trong hai lần kiểm tra khác nhau, cùng một thí sinh đạt điểm xấp xỉ hoặc trùng nhau nếu làm cùng một nội dung kiểm tra Học sinh khó có thể gian lận trong khi kiểm tra Hai giáo viên chấm cùng một bài cho hai điểm sát hoặc trùng nhau Lời chỉ dẫn trong bài rõ ràng, người đọc không hiểu theo nhiều cách khác nhau Kết quả phản ánh đúng trình độ của người học, đo được cái muốn đo 2.2.2.2 Độ giá trị Một bài thi - kiểm tra có giá trị nếu đánh giá được chính xác cái định thi - kiểm tra. Nói cách khác là tính tới hiệu quả của bài thi - kiểm tra trong việc đạt được những mục đích đã được xác định. Điều đó có nghĩa là bài kiểm tra phải thực sự đánh giá người học về lĩnh vực cần được đánh giá, phải đo được cái cần đo. Ví dụ, bài kiểm tra về khả năng sử dụng từ vựng mà thực tế lại kiểm tra về ngữ âm thì bài kiểm tra đó không có giá trị đánh giá. Độ giá trị bao gồm: độ giá trị về nội dung, độ giá trị về cấu trúc, độ giá trị đồng thời, độ giá trị về tiên đoán. Độ giá trị về nội dung: Một bài thi - kiểm tra được gọi là có giá trị về nội dung khi chúng đại diện được cho nội dung cần thi - kiểm tra, và đặc tính chi tiết của bài thi - kiểm tra phản ánh được nội dung và sự cân đối của chương trình. Độ giá trị về câu trúc: Nhằm xem xét kết quả của bài thi - kiểm tra đó có tương quan rõ ràng với một đại lượng đánh giá nào đó. Ví dụ kết quả của chỉ số thông minh có tương quan tới điểm xếp hạng ở nhà trường không, hoặc có tương quan với một số giả định khác về khả năng thực tế của thí sinh đã được nhiều người công nhận hay không. Mối tương quan này hay loại giá trị này được gọi là độ giá trị về cấu trúc. Độ giá trị tiên đoán: Nhằm xác định xem kết quả một bài thi-kiểm tra có tiên đoán được chính xác khả năng hoàn thành nhiệm vụ của thí sinh trong tình huống nào đó trong tương lai. Ví dụ chúng ta dùng thi-kiểm tra kĩ năng nói qua phỏng vấn để tuyển giáo viên hoặc viết bài luận để xếp thi sinh vào một khoá học viết. Để đánh giá được giá trị tiên đoán qua kết quả thi-kiểm tra chúng ta cần thu thập dữ lỉệu liên quan tới kết quả thi-kiểm tra và mức độ thành công trong công việc của thí sinh sau này hoặc kết quả học tập của thí sinh sau khoá học viết đó. Tất nhiên trong thực tế chúng ta còn phải xét đến nhiều nguyên nhân có ảnh hưởng tới hiệu quả công việc trong tương lai, song ta không bàn đến những yếu tố đó ở đây. Độ giá trị đồng thời: Nhằm xem xét kết quả một bài thi-kiểm tra có cho cùng thông tin như các bài thi-kiểm tra khác cùng mục đích đánh giá hay không, so sánh kết quả của bài thi-kiểm tra này với kết quả của bài thi-kiểm tra khác. Nếu ta không tìm thấy mối tương quan cơ học thì bài thi-kiểm tra đó thiếu giá trị đồng thời. Độ giá trị đồng thời cũng có thể xây dựng bằng cách thiết lập tương quan giữa kết quả của một bài thi-kiểm tra cần được định giá trị với kết quả của bài thi-kiểm tra khác, dùng để đo những đặc điểm giống nhau, mà độ giá trị của nó - đặc biệt là giá trị tiên đoán đã được xác định. 2.2.2.3 Tính thực tiễn Ngoài độ tin cậy, một bài thi-kiểm tra phải có tính khả thi. Ví dụ, việc tổ chức một số kì thi mang tính then chốt như: thi tốt nghiệp phổ thông, thi chọn học sinh giỏi toàn quốc, thi tuyển sinh thì việc tổ chức thi kĩ năng nói hoặc kĩ năng nghe hầu như không thực hiện được vì số lượng thí sinh, giám thị, giám khảo, phòng ốc, các phương tiện kỹ thuật hiện có, điều kiện tổ chức... Thi-kiểm tra theo hình thức thi trắc nghiệm khách quan mà việc tổ chức coi thi thiếu nghiêm túc, hoặc điều kiện cơ sở vật chất, kỹ thuật đảo các phần trong tiểu mục hoặc đảo các phần trong một bài thi không thực hiện được, thì kết quả thi cũng không đảm bảo được độ tin cậy, vì thí sinh có thể coi cóp của nhau. Và như vậy hình thức thi đó cũng không mang tính khả thi. 2.2.2.4 Khả năng phân loại tích cực Bài kiểm tra phải có khả năng phan loại tích cực. Khả năng phân loại tích cực là thí sinh có khả năng cao hơn phải đạt điểm cao hơn trong bài thi - kiểm tra đó. Điều này nghe thật đơn giản, nhưng trong thực tế đã có những trường hợp bài thi - kiểm tra phân loại tiêu cực người học. Ví dụ, có tiểu mục thí sinh yếu lại có câu trả lời đúng và ngược lại thí sinh khá lại trả lời sai. Hoặc bài thi - kiểm tra yêu cầu quá thấp so với trình độ của thí sinh, tất cả thí sinh làm bài đều được điểm tuyệt đối hoặc gần tuyệt đối trong khi trình độ của họ thực tế là khác nhau. Ngược lại có bài thi yêu cầu quá cao, không có thí sinh nào làm được bài thì ta cũng không phân loại được thí sinh. Những trường hợp ví dụ trên đều không có khả năng phân loại tích cực. 2.2.3 Phương pháp phân tích và đánh giá kết quả thi – kiểm tra Như đã nói ở trên, phân tích kết quả thi - kiểm tra là một công đoạn trong quy trình xây dựng ngân hàng tiểu mục đề thi. Dựa vào những tiêu chí đánh giá đã được xác định, người viết tiểu mục tiến hành chọn lọc tư liệu, biên tập tư liệu, và bắt tay vào viết tiểu mục. Việc phân tích kết quả thi-kiểm tra (bài thi-kiểm tra và từng tiểu mục thi-kiểm tra) đóng vai trò quan trọng trong công nghệ kiểm tra đánh giá. Công việc này không những phục vụ cho việc kiểm định chất lượng của từng tiểu mục trước khi chính thức nạp vào ngân hàng nhằm đảm bảo độ an toàn cao, đồng thời cung cấp thông tin về tình hình làm bài của từng thí sinh hoặc từng nhóm thí sinh, giúp ta xem xét việc dạy và học để có những điều chỉnh cần thiết, kịp thời. Tiểu mục thu nạp cần phải tuyển chọn thông qua thi-kiểm tra thử, biên tập lại, điều chỉnh sao cho chúng cùng độ khó theo thang khái niệm bao trùm toàn bộ năng lực ngôn ngữ có thể đo được nhằm đảm bảo tính giá trị, độ tin cậy, khả năng phân loại tích cực và các yếu tố khác liên quan đến chất lượng của một tiểu mục để từ đó cấu thành đề thi-kiểm tra theo mẫu đề thi đã xác định từ trước. Chất lượng của từng tiểu mục quyết định chất lượng của cả bài thi-kiểm tra. Do vậy những ai liên quan đến thi-kiểm tra (giáo viên, người soạn thảo tiểu mục thi-kiểm tra, người thiết kế bài thi-kiểm tra, các nhà quản lý) đều cần biết về chất lượng của bài thi-kiểm tra qua việc phân tích kết quả qua những con số thống kê cơ bản vì ba lý do chính sau đây: Ra những quyết định dựa trên kết quả thi-kiểm tra của thí sinh. Thí dụ, quyết định tuyển chọn vào trường, theo học khóa học nào đó. Thống kê giúp ta có quyết định hợp lí đồng thời xem xét lại những quyết định khác. Thống kê cho ta những bằng chứng khách quan về việc một thí sinh làm bài thi-kiểm tra như thế nào, làm từng tiểu mục thi-kiểm tra như thế nào. Ví dụ nó cho ta biết liệu câu hỏi này hay tiểu mục này trong thực tế có quá dễ hay quá khó không? Thống kê giúp ta đánh giá chất lượng bài thi-kiểm tra, tiểu mục thi-kiểm tra. Ví dụ qua thống kê, ta có thể phát hiện ra lỗi, hay sự bất thường đối với một tiểu mục nào đó. Từ đó giúp ta thiết kế bài thi-kiểm tra thích hợp với mục đích thi-kiểm tra đã được xác định. Số liệu về phân tích kết quả thi-kiểm tra được chia làm hai phần sau: Các số liệu thống kê kết quả của một bài thi – kiểm tra Các số liệu thống kê kết quả của một tiểu mục thi – kiểm tra 2.2.3.1 Các số liệu thống kê kết quả của một bài thi - kiểm tra Các con số thống kê kết quả một bài thi – kiểm tra cần có như sau: Số lượng thí sinh tham gia dự thi – kiểm tra (N of Examinees) Số liệu này cho biết số lượng thí sinh tham gia dự thi. Số lượng càng lớn thì độ tin cậy càng cao. Số lượng tối thiểu để đảm bảo chất lượng đánh giá là 250. Điểm tối đa của bài thi Điểm cao nhất thí sinh đã đạt được Điểm thấp nhất thí sinh đạt được Sai số chuẩn (standard error of measurement - SEM) Đây là đơn vị đo sai số chuẩn, được tính bởi công thức . trong đó S là độ lệch chuẩn, rxx là hệ số anpha. Trị số trung bình hoặc điểm phần trăm trung bình (Mean) Số liệu này cho chúng ta điểm số trung bình. Trị số trung bình này là độ khó trung bình của bài thi – kiểm tra. Bài thi- kiểm tra lí tưởng là bài thi – kiểm tra mà kết quả phân loại về khả năng có điểm số trung bình là 50 phần trăm. Độ lệch tiêu chuẩn (standard deviation) Độ lệch tiêu chuẩn là một đại lượng diễn tả khả năng phân loại kết quả. Độ lệch chuẩn có thể được coi như một tiêu chuẩn so sánh để đánh dấu khoảng cách xung quanh giá trị trung bình của một phân bố chuẩn. Độ tin cậy lượng tính (Hệ số anfa) Đây là hệ số đo lường về độ tin cậy được tính theo khả năng phân loại của từng tiểu mục. Hệ số trên càng gần 1.0 càng tốt. Bài thi – kiểm tra trắc nghiệm thường có hệ số a > 0.9 nhưng hệ số độ tin cậy lượng tính đối với các tiểu mục tự luận, viết tự do thường thấp hơn rất nhiều. Hệ số a cho phép từ 0.7 tới 0.8. Độ tương quan giữa các phần trong bài thi – kiểm tra Độ tương quan giữa các phần của một bài thi – kiểm tra chỉ điểm số các phần tương quan với nhau như thế nào. Nhìn chung độ tương quan càng cao thì độ tin cậy càng lớn. 2.2.3.2 Các số liệu thống kê kết quả của một tiểu mục trong bài thi - kiểm tra Số liệu tiểu mục mô tả sự phân biệt của điểm số thí sinh đạt được ở từng tiểu mục. Tỷ lệ phần trăm trả lời đúng, tỷ lệ lựa chọn các giữa các đáp án của tiểu mục. Những thông số này rất quan trọng trong việc đánh giá chất lượng của từng tiểu mục. Nó thể hiện độ khó, khả năng phân loại của tiểu mục đó. Từ đó có thể quyết định hoặc phải loại bỏ hoặc phải biên tập lại trước khi nạp vào ngân hàng tiểu mục. Vì ngân hàng tiểu mục là tập hợp những tiểu mục đã được thi - kiểm tra thử và được phân loại theo năng lực của thí sinh ở một trình độ cụ thể nào đó, kèm theo thông số về độ khó, khả năng phân loại. Trong quy trình phân tích tiểu mục, ta cần đưa ra những số liệu cần thiết sau: Độ khó của tiểu mục N = số thí sinh dự thi. Theo kết quả nghiên cứu, người ta đã đưa ra kết luận: nếu số thí sinh dưới 250 thì độ tin cậy của kết quả phân tích bị hạn chế. Và như vậy số lượng thí sinh dự thi càng lớn thì kết quả phân tích càng chính xác. P = Độ khó của tiểu mục. Độ khó của một tiểu mục cho ta thấy tiểu mục ở độ khó như thế nào trong một bài thi/kiểm tra cụ thể đối với một đối tượng thi/kiểm tra cụ thể. Tới nay đã có rất nhiều phương pháp xác định độ khó của các tiểu mục, song một phương pháp đơn giản nhưng rất thoả đáng đó là việc xác nhận phần trăm thí sinh trả lời đúng tiểu mục đó. Đối với những tiểu mục loại chấm chủ quan thì phương pháp này tỏ ra đầy thuyết phục. Ví dụ, nếu trên 90% thí sinh trả lời đúng thì tiểu mục đó được coi là quá dễ. Nếu chỉ có 30% thí sinh trả lời đúng thì tiểu mục đó được coi là quá khó. Một công thức tính độ khó khác cũng được đưa ra như sau: R FV = ------ N Trong đó: FV là chỉ số độ khó R là số thí sinh trả lời đúng N là số thí sinh dự thi/kiểm tra Ví dụ: trong số 26 thí sinh dự thi/kiểm tra, nếu 21 thí sinh trả lời đúng, thì chỉ số độ khó là 0.77 (77%). Như vậy tiểu mục này tương đối dễ vì 77% thí sinh đã trả lời đúng. Nếu chỉ số độ khó là 0.5 (50%) thì tiểu mục này không nói lên được điều gì giữa thí sinh khá và thí sinh yêú. Tiểu mục này cần phải biên tập lại, thậm chí tới mức loại bỏ. Ngoài chỉ số độ khó, mỗi tiểu mục cũng cần phải đáp ứng yêu cầu thứ hai nữa đó là khả năng phân loại. 2.3.2.2 Xác định khả năng phân loại Tiểu mục phải có khả năng phân loại đối với thí sinh khá giỏi, trung bình, yếu kém. Thông thường, người phân tích kết quả thi - kiểm tra dựa vào bài làm cụ thể của thí sinh để suy ra trình độ, khả năng của thí sinh đó. Do vậy ta cần để riêng số bài có điểm số cao nhất (ta đặt tên là nhóm 1) và số bài có điểm số thấp nhất (ta đặt tên là nhóm 2). Sau đó ta xem hai nhóm đó đạt kết quả như thế nào đối với từng tiểu mục. Những tiểu mục đạt yêu cầu theo tiêu chí khả năng phân loại tích cực phải là các tiểu mục mà số thí sinh thuộc nhóm 1 sẽ trả lời đúng nhiều hơn. Nếu kết quả ngược lại thì cần phải xem lại tiểu mục đó. Có nhiều phương pháp phân tích để xác định khả năng phân loại tích cực của một tiểu mục đã được đưa ra. Ví dụ việc phân tích dựa trên 27% của số bài có số điểm cao nhất và 27% của số bài có số điểm thấp nhất. Sau đó tính tỷ lệ mỗi nhóm trả lời đúng, ta sẽ thấy được sự tương quan giữa điểm đạt được ở từng tiểu mục và điểm đạt được ở toàn bài. Nhưng một phương pháp phân tích kết quả đơn giản, giúp chúng ta có thể tính toán một cách ‘thủ công’. Phương pháp đó như sau: Bước 1: Tách lấy ra 25% số bài có điểm số cao nhất (nhóm 1) và 25% số bài có điểm số thấp nhất (nhóm 2). Bước 2: Đối với mỗi tiểu mục, lấy tổng số người thuộc nhóm 1 đã trả lời đúng trừ đi tổng số người ở nhóm 2 trả lời đúng. Nếu tổng số người có điểm số thấp lại có kết quả trả lời đúng cao hơn số người có điểm số cao thì kết quả là số âm, tiểu mục đó có chỉ số âm (-). Bước 3: Chia kết quả ở bước 2 cho tổng số thí sinh ở mỗi nhóm ta sẽ có được chỉ số phân loại của từng tiểu mục. Như vậy, nếu D là chỉ số phân loại, ta có công thức: CU - CL D = _________ n Trong đó: n là tổng số thí sinh dự thi/kiểm tra CU là số thí sinh nhóm 1 trả lời đúng CL là số thí sinh nhóm 2 trả lời đúng Ví dụ nếu ta có 100 thí sinh dự thi/kiểm tra, ta sẽ chia hai nhóm với 25 bài có số điểm cao nhất, 25 bài có số điểm thấp nhất. Tiểu mục A có 22 thí sinh ở nhóm 1 và 10 thí sinh ở nhóm 2 trả lời đúng. Lấy 22 trừ 10 ta có +12 sau đó chia cho 25 (số bài thi lấy ra từ mỗi nhóm) ta có chỉ số phân loại của tiểu mục đó là +.48. Đây là chỉ số đảm bảo được tiêu chí phân loại. Nếu kết quả dưới .30 thì tiểu mục đó sẽ phải viết lại hoặc phải loại bỏ. Chỉ số 0.45 cho ta thấy tiểu mục này có khả năng phân loại tích cực. Chỉ số phân loại có thể trong phạm vi +1 đến -1. Chỉ số +1 cho thấy sự tương quan rất hợp lý trong kết quả của thí sinh đối với toàn bộ bài thi - kiểm tra, còn chỉ số -1 đồng nghĩa với việc biên tập lại hoặc phải loại bỏ tiểu mục đó. Như vậy chỉ số phân loại cao cho ta độ khó của tiểu mục đó là vừa phải và có độ phân loại tích cực, còn chỉ số phân loại thấp cho ta khả năng phân loại yêú của tiểu mục đó. Điều này có nghĩa là tiểu mục đó hoặc quá dễ hoặc quá khó, tất nhiên tiểu mục đó không đạt yêu cầu cần biên tập lại hoặc loại bỏ. 2.2.4 Các phần mềm hỗ trợ kiểm tra đánh giá Trong phần này sẽ giới thiệu một số các phần mềm hỗ trợ kiểm tra và đánh giá kết quả thi. Mặc dù các loại công cụ khác có thể tạo ra câu hỏi kiểm tra, nhưng hiệu quả nhất là khi bạn sử dụng nó được thiết kế để vừa tạo ra các câu hỏi kiểm tra và vừa quản lí những bài kiểm tra này. Dưới đây là một số công cụ phổ biến. Một số là các sản phẩm độc lập, một số là các công cụ bổ xung cho các sản phẩm khác, và một số dựa trên công nghệ web. Perception: Được tạo ra bởi Question Mark. Perception là công cụ đánh giá kiểm tra nổi tiếng nhất hiện nay. Nó có 2 phiên bản: Perception cho Windows cho phép tạo bài kiểm tra, yêu cầu bài kiểm tra và điều hành việc đánh giá bằng việc sử dụng hệ thống cài đặt Window, cơ sở dữ liệu, mạng cục bộ. Perception cho Web bao gồm hệ thống cài đặt trên máy tính cá nhân cũng như các bộ phận trên máy chủ cho phép thiết kế các bài kiểm tra, chỉnh sửa, yêu cầu và quản lí các bài kiểm tra từ bất cứ nơi nào sử dụng trình duyệt Web. Perception cho phép thiết kế câu hỏi với nhiều dạng khác nhau gọi là question types. Các dạng câu hỏi bao gồm: TRUE - FALSE, drag and drop (di trỏ chuột và chọn), multiple choice - trắc nghiệm, lưạ chọn một đáp án (one choice), kết hợp (matching), và sắp xếp (ranking). Chúng ta có thể tổ chức các câu hỏi theo chủ đề và các ý khai triển, sắp xếp các lựa chọn theo trật tự, bao gồm hình vẽ biểu đồ minh hoạ cho câu hỏi. Từ các chủ đề máy tính đưa ra kết quả chi tiết, từ đó có thể đánh giá độ khó của chủ đề đó dựa trên kết quả thi mà thí sinh đạt được cho mỗi chủ đề. Các câu hỏi có thể lựa chọn bằng sự đánh giá, bằng chủ đề, và bằng cách kết hợp nhiều câu hỏi phụ trong suốt quá trình tạo câu hỏi. Perception tự động tải các bài kiểm tra đến máy chủ Perception, người học có thể cập nhật và nếu muốn có thể nhận được phản hồi ngay lập tức. Hệ thống trên máy chủ tự động chấm điểm, lập thành bảng thống kê, lưu giữ bài làm vào cơ sở dữ liệu ( dùng Microsoft Access cho các cài đặt bộ phận, dùng Oracle hoặc SQL Server cho các khi cài đặt toàn bộ) CourseBuilder for Dreamweaver: Được tạo bởi Macromedia, là phần mềm hoàn toàn miễn phí, có thể tải về từ trang web Coursebuilder là một nhánh mở rộng miễn phí của Macromedia Dreamweaver. CourseBuilder bao gồm rất nhiều loại câu hỏi như drag-and-drop, single-choice, multiple-choice, true-false, text-entry( điền vào chỗ trống), và các bài tập khai thác nội dung (exploratory exercises) Bằng cách đặt lựa chọn bạn có thể xem điểm của người học và gửi trực tiếp đến AICC hệ thống quản lí quá trình học tập như Lotus Learning Space hoặc lưu thông tin vào cơ sở dữ liệu như Microsoft Access, SQL Server, Oracle 9i. Hot Potatoes: Được phát triển bởi Half-Baked Software. Đây là sản phẩm thương mại với giá bán khoảng 100$. Hot Potatoes được thiết kế ra với tính năng vượt trội là tạo ra các bản đánh giá có sẵn trên Web. Hot Potatoes có thể thiết kế câu hỏi trắc nghiệm (multiple-choice), trò chơi ô chữ (crossword puzzles), câu hỏi và câu trả lời ngắn gọn (short-answer questions), điền vào chỗ trống (fillin-the-blank questions), câu hỏi kết hợp (matching), và sắp xếp câu (jumble-sentence) bằng cách sử dung một trong những hệ thống cài đặt trên bộ chương trình Hot Potatoes. Bên cạnh đó còn có công cụ khác là The Masher có thể tự động biên soạn hàng loạt câu hỏi kiểm tra của Hot Potatoes theo từng bài với cùng một dạng, tiếp đó sẽ dùng nút chỉ hướng Forward và Back để nối với câu hỏi và mục lục của bài học. Hot Potatoes không có bất cứ chức năng điều hành nào khác ngoại trừ khả năng gửi kết quả qua thư điện tử đến người hướng dẫn qua hệ thống script trên máy chủ. Hệ thống này là lý tưởng nhất cho việc thiết kế các bản tự đánh giá. Quiz Rocket: Được phát triển bởi LearningWare. Đây là sản phẩm thương mại với giá 1400$. Quiz Rocket có thể tạo ra 5 loại câu hỏi và bản kiểm tra và sau đó tải lên máy chủ dưới file flash. Sau đó người dùng có thể tổng hợp các câu hỏi lại trong một bài kiểm tra sử dụng tiện ích trên Web. Tiếp đó chương trình có thể gửi cho thí sinh một thông báo bằng email và một bản ghi vắn tắt kết quả, hoặc kết quả của được ghi trên cơ sở dữ liệu theo lựa chọn, hoặc theo cả hai phương thức. RandomTest Generator Pro: Là phần mềm thương mại của công ty Hirtle Software với giá bán là 100$. RandomTest Generator Pro là phần mềm chạy trên Windows, chương trình này có thể tạo ra trên máy, giấy thi, hoặc các bài kiểm tra sử dụng tuỳ ý các câu hỏi đã được thiết kế và được lưu trên cơ sở dữ liệu chương trình Microsoft Access. Các loại câu hỏi bao gồm multiple-choice, onechoice, true-false, fill-in-the-blank, và viết luận. Phần mềm cũng cho phép dùng hình ảnh minh họa, âm thanh trong bất kì câu hỏi nào. Trong chương trình còn có phần mềm cho phép đọc to bài kiểm qua hệ thống chuyển từ kí tự sang lời nói. Người học có thể nhận phản hồi ngay lập tức cũng như gửi bài làm qua email cho người giáo viên chấm điểm. Test Generator: Là sản phẩm thương mại của Fain & Company với giá bán là 250$. Test Generator có các phiên bản : phiên bản cho người dùng cá nhân, mạng LAN, Web, và hệ điều hành linh động. Tất cả đều sử dụng hệ điều hành Window ngoại trừ phiên bản Web. Hệ điều hành sử dung Web thiết kế các bài kiểm tra dựa trên mạng Internet và được phân phối bởi nhà cung cấp dịch vụ Veracicom. Với bất cứ phiên bản nào cũng có thể tạo ra 8 loại câu hỏi và nhóm câu hỏi vào ngân hàng câu hỏi kiểm tra, thực hiện kiểm tra, tự động ghi kết quả, và soạn báo cáo. Test Generator có thể tải audio, video, và hình ảnh để sử dụng trong bài kiểm tra. Chương trình có thể cho phép tuỳ ý lựa chọn các câu hỏi trong một bài kiểm tra. TestLinc for LearnLinc Là phần mềm thương mại của công ty Mentergy với giá bán khoảng 400$. TestLinc là công cụ để thiết kế các bài kiểm tra, phân phối bài kiểm tra và quản lý các bài kiểm tra sử dụng trong môi trường lớp học ảo LearnLinc. Bằng cách sử dung giao diện trình duyệt có thể tạo ra nhiều loại câu hỏi như multiple-choice, multiple-response (lựa chọn câu trả lời), true-false, fill-in-the-blank, formula (công thức), and shortanswer (trả lời ngắn gọn), essay (viết luận). TestLinc cũng cho phép phân phối các bài kiểm tra, đánh giá và xếp loại kết quả, soạn được rất nhiều báo cáo. Unit-Exam.Com: Được phát triển bởi Unit-Exam.Com là sản phẩm thương mại với giá $50/monthly + $1/test. Unit-Exam.Com là một trong những trình duyệt Web hoàn hảo cho phép bạn thiết kế và định dạng câu hỏi, kết hợp chúng trong các bài kiểm tra và quản lý người học. Các loại câu hỏi chỉ giới hạn ở 3 dạng: multiple-choice, one-choice, và true-false. Unit-Exam.Com là dịch vụ trình duyệt Web hơn là một sản phẩm. Giá của nó bao gồm chi phí hàng tháng là 50$ và thêm 1$ cho mỗi bài test được chấm điểm. Các công cụ kiểm tra khác: dưới đây là một số sản phẩm, công cụ và các dịch vụ khác mà chúng ta có thể dùng để thiết kế các bài kiểm tra trong các dự án E-learning: sản phẩm Nhà cung cấp dich vụ địa chỉ trang Web Brainbench Brainbench brainbench.com ExamsOnline.com ExamsOnline.com examsonline.com ITcertinfo.com MediaTec Publishing www.ITcertinfo.com Prometric Thomson Learning prometric.com Vue Testing Services VUE www.vue.com Nhận xét và đánh giá: Ở phần trên chúng ta vừa xem xét qua một số các công cụ kiểm tra và đánh giá. Hầu hết chúng đều có khả năng soạn thảo các loại câu hỏi kiểm tra, tổ chức kiểm tra, lưu kết quả kiểm tra trên cơ sở dữ liệu từ đó đánh giá kết quả kiểm tra. Tuy nhiên hầu hết chúng đều là những phần mềm hỗ trợ trong e-Learning, tích hợp trong e-Learning để kiểm tra và đánh giá quá trình học của người học. Một số khác như Perception cho phép thiết kế các loại câu hỏi, tổ chức quản lý các bài kiểm tra, tự động chấm điểm và lưu trữ kết quả thi vào cơ sở dữ liệu. Đây có thể nói là phần mềm đáp ứng được rất tốt nhu cầu thi - kiểm tra. Tuy nhiên, nó vẫn chưa đáp ứng được nhu cầu đặt ra là các câu hỏi được thiết kế phải được đánh giá đảm bảo về các tiêu chí đánh giá trước khi đưa vào ngân hàng câu hỏi. Kết quả thi vẫn chưa được đánh giá một cách cụ thể mà mới chỉ dừng lại ở việc thống kê và đánh giá một cách thủ công. Để khắc phục những hạn chế đó và đáp ứng tốt nhất những yêu cầu của kiểm tra đánh giá trong các môn học ngoại ngữ, chúng tôi đề xuất xây dựng một hệ thống thi trắc nghiệm trực tuyến cho môn ngoại ngữ. Hệ thống cho phép cùng lúc nhiều thí sinh tham gia thi qua hệ thống máy tính kết nối mạng intranet của trường. Điểm thi được hệ thống chấm tự động, kết quả làm bài và điểm thi của thí sinh được lưu vào trong cơ sở dữ liệu. Kết quả làm bài được kết xuất thành file dạng text để làm dữ liệu đầu vào cho một phần mềm đánh giá kết quả thi, phần mềm này có tên là ITEMAN, nó cho phép đánh giá kết quả bài thi - kiểm tra, độ khó và khả năng phân loại của từng tiểu mục trong bài thi. CHƯƠNG 3 HỆ THỐNG THI TRẮC NGHIỆM CHO MÔN NGOẠI NGỮ 3.1 Đặc trưng môn học ngoại ngữ Ngoại ngữ là một môn học có những đặc thù rất riêng. Khác với các môn học khác, học ngoại ngữ, người học không nhưng học về từ, ngữ, cú pháp câu mà người học phải có một môi trường giao tiếp để học cách nói, học về văn hóa dân tộc của ngôn ngữ đó. Ngoại ngữ vừa là mục đích, vừa là phương tiện để đạt mục đích học tập. Mục đích là học ngoại ngữ, để đạt được điều này người học phải lấy chính ngoại ngữ làm phương tiện để đạt được mục đích học tập. Quan điểm tiến bộ của phương pháp giao tiếp cá thể hóa là ở chỗ, cần tạo mọi điều kiện phù hợp để người học giao tiếp thực sự bằng ngoại ngữ. Khi học ngoại ngữ người ta cần phải phát triển đều cả bốn kỹ năng nghe, nói, đọc, viết. Cả bốn kỹ năng này đều đóng vai trò quan trong như nhau. Một trong bốn kỹ năng mà yếu nó sẽ ảnh hưởng đến các kỹ năng còn lại. Việc học ngoại ngữ không thể diễn ra trong một thời gian ngắn mà nó cần phải có một thời gian lâu dài, quá trình tích lũy và giao tiếp thực tế bằng chính ngôn ngữ mình đang học. Đặc thù của môn ngoại ngữ là có rất nhiều dạng câu hỏi thi khác nhau. Nhưng tổng kết chung lại chúng ta có thể chia thành 14 lĩnh vực và 16 loại câu hỏi khác nhau. Các lĩnh vực: Đọc Nghe Nói Viết Từ vựng - Cấu tạo từ Từ vựng - Sử dụng từ Ngữ pháp - Cụm danh từ Ngữ pháp - Cụm động từ Ngữ pháp - Giới từ Ngữ pháp - Từ nối Ngữ pháp - Nguyên âm Ngữ pháp - Phụ âm Ngữ pháp - Trọng âm Ngữ pháp - Ngữ điệu Các loại câu hỏi: Lọai câu khớp: Khớp câu hỏi với câu trả lời Khớp các thành phần của câu Khớp các cặp từ Khớp từ với định nghĩa Khớp từ với nội dung Khớp trật tự hội thoại Khớp trật tự bài đọc Loại câu chọn: Điền từ/ngữ vào ô trống MCQ với văn bản nền (1) MCQ với văn bản nền (2) Chọn (T/F/NI) Chọn câu trả lời đúng Chọn câu trả lời đúng nhất Loại câu trả lời: Hoàn thành câu Trả lời câu hỏi Điền từ vào ô trống 3.1.1 Khớp câu hỏi với câu trả lời Dạng câu hỏi này gồm có hai vế, một bên là danh sách các câu hỏi và bên kia là một dang sách các câu trả lời. Số câu hỏi và câu trả lời có thể không bằng nhau. Số câu hỏi không được nhiều hơn số câu trả lời. Thông thường thì dạng câu hỏi này có số câu trả lời nhiều hơn số câu hỏi Hình 3.1.1 Khớp câu hỏi với câu trả lời 3.1.2 Khớp các thành phần của câu Câu hỏi gồm có hai vế, mỗi vế chứa một loạt các thành phần của câu. Số lượng các thành phần câu ở hai vế thường là không giống nhau. Chúng ta phải chọn các thành phần câu ở vế trái và vế phải sao cho khớp với nhau về nội dung. Hình 3.1.2 khớp các thành phần của câu 3.1.3 Khớp các cặp từ Dạng câu hỏi này bao gồm hai vế, mỗi vế chứa danh sách các từ. Số từ trong hai danh sách là thông thường là khác nhau và mỗi từ chỉ được chọn một lần. thí sinh phải kết hợp chính xác các cặp từ sao cho chúng có nghĩa. Hình 3.1.3 Khớp các cặp từ 3.1.4 Khớp từ với định nghĩa Dạng câu hỏi này bao gồm hai vế , một vế chứa các từ, và một vế chứa các định nghĩa. Số các định nghĩa thường nhiều hơn so với các từ. Để trả lời câu hỏi này bạn phải chọn chính xác từ với định nghĩa của chúng. Mỗi từ chỉ kết hợp với một định nghĩa. Hình3.1.4 Khớp từ với định nghĩa 3.1.5 Khớp từ với nội dung Dạng câu hỏi bao gồm một danh sách các câu có nội dung nào đó và một danh sách các từ. Bạn phải chọn các từ phù hợp với nội dung được nói tới trong câu. Số các từ là nhiều hơn hoặc bằng số các câu. Mỗi câu chỉ phù hợp với một từ. Hình3.1.5 Khớp từ với nội dung 3.1.6 Khớp trật tự hội thoại Dạng câu hỏi này bao gồm một danh sách các câu đã đảo vị trí trật tự hội thoại. Thí sinh phải xác định thứ tự các câu theo trật tự hội thoại. Hình3.1.6 Khớp trật tự hội thoại 3.1.7 Khớp trật tự bài đọc Dạng câu hỏi này gắn liền với bài một bài đọc. Với mỗi bài đọc sẽ có một loạt các câu hỏi không được sắp xếp theo thứ tự bài đọc. Thí sinh sẽ phải chọn và sắp xếp các câu theo thứ tự bài đọc Hình3.1.7 Khớp trật tự hội thoại 3.1.8 Điền từ/ngữ vào ô trống Dạng câu hỏi này có dạng cho một đoặn văn với một số các chỗ bị bỏ trống và cho một loạt các từ/ngữ (nhiều hơn hoặc bằng số chỗ trống). Thí sinh phải chọn từ/ngữ thích hợp để điền vào chỗ trống. Hình 3.1.8 Điền từ ngữ vào ô trống 3.1.9 MCQ với văn bản nền (1) Đây là dạng câu hỏi cho các văn bản nền là các câu, mỗi câu có một chỗ trống và nhiều sự lựa chọn là các từ để điền vào chỗ trống đó cho phù hợp. Hình 3.1.9 MCQ với văn bản nền (1) 3.1.10 MCQ với văn bản nền (2) Khác với dạng câu hỏi MCQ với văn bản nền (1). Dạng câu hỏi này cho một đoặn văn với những chỗ trống và một loạt các từ thường nhiều hơn các chỗ trống trong văn bản để thí sinh chọn và điền vào chỗ trống cho thích hợp. Hình 3.1.10 MCQ với văn bản nền (2) 3.1.11 Chọn (T/F/NI) Cho một đoạn văn bản thí sinh đọc đoạn văn bản này và trả lời T(True) F(False) hoặc NI(None) cho các câu được đưa ra ở bên dưới. Hình 3.1.11 Chọn (T/F/NI) 3.1.12 Chọn câu trả lời đúng Dạng câu hỏi này là cho một bài đọc và một danh sách các câu chưa hoàn chỉnh. Với mỗi câu sẽ có nhiều lựa chọn là các mệnh đề. Thí phải đưa ra lựa chọn phù hợp nhất để điền vào phần câu còn thiếu. Hình 3.1.12 Chọn câu trả lời đúng 3.1.13 Chọn câu trả lời đúng nhất Mỗi câu hỏi sẽ có nhiều đáp án đúng, nhưng thí sinh phải đưa ra được đáp án đúng nhất cho mỗi câu hỏi. 3.1.14 Hoàn thành câu Đây là dạng câu hỏi cho các câu chưa hoàn chỉnh. Thí sinh phải tự điền vào phần còn thiếu của câu để hoàn thành câu đã cho. Hình3.1.13 Hoàn thành câu hỏi 2.2.15 Trả lời câu hỏi Đây là dạng câu hỏi cho một đoạn văn bản, thí sinh phải đọc và trả lời các câu hỏi được cho bên dưới. Hình 3.1.14 Trả lời câu hỏi 2.2.16 Điền từ vào chỗ trống Đây là dạng câu hỏi cho dưới dạng một đoạn văn bản chưa hoàn chỉnh, có một số chỗ bị bỏ trống. Thí sinh phải điền từ vào các chỗ trống để hoàn chỉnh đoạn văn bản đó. Hình 3.1.15 Điền từ vào chỗ trống 3.2 Hệ thống thi trắc nghiệm môn học ngoại ngữ Chúng tôi đã khảo sát hệ thống thi trắc nghiệm hiện có tại trường Đại học Ngoại Ngữ - ĐHQGHN. Hệ thống phần mềm này có tên là MITS, được xây dựng và hoàn thành trong hai năm 2003 – 2004. Phần mềm hoàn thiện quy trình tổ chức thi trắc nghiệm trên giấy cho các môn ngoại ngữ của trường với các chức năng chính sau: Hỗ trợ soạn thảo tiểu mục, quản lý ngân hàng tiểu mục và tổ chức thi trắc nghiệm. Phần mềm bao gồm một sản phẩm chính và các sản phẩm phụ: + Sản phẩm chính (MITS): Phần mềm quản lý ngân hàng tiểu mục, hoạt động trên môi trường Intranet của nhà trường. Phần mềm cung cấp các tính năng: Soạn thảo, chỉnh sửa, cập nhật các thông tin về tiểu mục Quản lý ngân hàng tiểu mục Tạo mới, cập nhật, quản lý cấu trúc đề thi Sinh đề ngẫu nhiên, tổ chức thi Quản lý kết quả thi Quản lý khung chương trình đào tạo Nhập và kết xuất nhiều loại thông tin (tiểu mục, cấu trúc đề, khung chương trình đào tạo…) Bảo mật hệ thống + Sản phẩm phụ: Phần mềm soạn thảo tiểu mục(ItemEditor): là một phần mềm đóng gói, có thể cài đặt dễ dàng trên máy tính dùng MS Windows. Phần mềm hoạt động độc lập trên các máy tính đơn không kết nối Intranet. Người dùng không cần cài đặt bất cứ phần mềm hay cơ sở dữ liệu nào khác. Phần mềm hỗ trợ các công tác soạn thảo, quản lý các tiểu mục tương tự như trên sản phẩm chính. Sau khi soạn thảo, người sử dụng có thể tự chọn lọc kết xuất tiểu mục ra một tệp duy nhất, nộp lại cho đơn vị quản lý để cập nhật vào cơ sở dữ liệu tiểu mục của sản phẩm chính. Phần mềm in đề: Là một phần mềm đóng gói, có thể cài đặt dễ dàng trên máy tính dùng MS Windows 2000 hay XP, sử dụng Acrobat Reader. Với phần mềm này, người dùng có thể đọc vào một tệp đề thi, in đề thi trên một máy tính-máy in không kết nối Intranet của nhà trường. 3.2.1 Các chức năng chính của MITS Phần mềm MITS cung cấp những nhóm chức năng chính sau đây: 3.2.1.1 Quản lý hệ, ngành, chuyên ngành đào tạo, khung chương trình đào tạo Nhóm chức năng này hỗ trợ khai báo các hệ đào tạo, ngành, chuyên ngành đào tạo, khung chương trình đào tạo và khung chương trình môn học tương ứng. Các dữ liệu khung này có thể kết xuất thành một tệp duy nhất, phục vụ công tác soạn thảo tiểu mục trên các máy tính không kết nối mạng Intranet của nhà trường. Từ điển Môn học: Quản lý các môn học cho hệ thống, ví dụ: tiếng Nga, tiếng Anh,... Từ điển Học phần: Quản lý các thông tin về học phần cho các môn học Từ điển Khoa: Quản lý các thông tin về các khoa trong trường. Từ điển Lớp: Quản lý thông tin về các lớp trong từng khoa. Từ điển Sinh viên: Quản lý thông tin về các sinh viên theo lớp và khoa. 3.2.1.2 Soạn thảo tiểu mục Nhóm chức năng này cho phép import hoặc soạn thảo tất cả các loại hình tiểu mục (kèm theo đáp án) tương ứng với từng hệ, ngành, chuyên ngành, khung chương trình đào tạo và khung chương trình môn học. Ngoài các thuộc tính nói trên, mỗi tiểu mục còn có thêm các thuộc tính về dạng đóng/mở, mức độ đánh giá, độ khó, thời gian, điểm ... Nhóm chức năng nàycũng cho phép kết xuất thông tin ra dạng tệp hay máy in phục vụ công tác thẩm định, biên tập ngân hàng tiểu mục. 3.2.1.3 Quản lý ngân hàng tiểu mục Nhóm chức năng này phục vụ cho công tác quản lý ngân hàng tiểu mục trên máy chủ với đầy đủ các tính năng tìm kiếm, thêm mới, cập nhật và kết xuất tiểu mục. Để đảm bảo chất lượng của ngân hàng tiểu mục, các tiểu mục sau khi được soạn thảo chỉ được lưu trữ trong cơ sở dữ liệu ở dạng chưa chính thức. Chỉ sau khi được đánh giá đạt yêu cầu hay đã được điều chỉnh theo yêu cầu, các tiểu mục này mới được lưu trữ chính thức trong cơ sở dữ liệu dùng làm đề thi. Chỉ những người dùng có thẩm quyền mới có thể chọn lọc, in ấn, sửa đổi các tiểu mục đã chính thức được lưu trữ chính thức trong ngân hàng tiểu mục. 3.2.1.4 Quản lý khung đánh giá chất lượng Nhóm chức năng này cho phép xây dựng các cấu trúc đề thi chuẩn: tên, loại đề thi cho từng hệ, ngành, chuyên ngành đào tạo, số lượng, mức độ các kỹ năng cần kiểm tra đánh giá cùng số lượng, độ khó của các tiểu mục tương ứng. Những cấu trúc đề thi này có thể được xây dựng, chuẩn hoá một lần và sử dụng nhiều lần trong một giai đoạn đào tạo nhất định của Nhà trường. 3.2.1.5 Khai báo kỳ thi, môn thi, đề thi, lập danh sách dự thi Nhóm chức năng này hỗ trợ cán bộ nghiệp vụ khai báo các môn thi-cấu trúc đề thi sử dụng, hình thức tổ chức thi (thi trên máy hoặc thi trên giấy), lập danh sách thí sinh dự thi, sinh mật khẩu dự thi (đối với hình thức thi trên máy) và in ra danh sách thí sinh. 3.2.1.6 Tổ chức thi, đánh giá kết quả Nhóm chức năng này cho phép tổ chức thi theo một trong hai hình thức: Thi trên giấy và thi trên máy tính. Đối với hình thức thi trên giấy: Phần mềm hỗ trợ sinh ngẫu nhiên một số lượng đề thi (kèm theo đáp án) có khuôn dạng tương ứng với một cấu trúc đề thi người dùng chọn. Đề thi có thể được kết xuất ra máy in hay một têp duy nhất dạng PDF (dùng mang đi xa và tổ chức in ấn ở xa). Thí sinh được phát một trong một số đề thi. Bài thi được chấm theo phương pháp thủ công hoặc trên máy chấm điểm. Điểm thi được hỗ trợ cập nhật và quản lý trong Cơ sở dữ liệu của phần mềm. Đối với hình thức thi trên máy: Modul này chưa được xây dựng. Tuy nhiên ta có thể hình dung ra quy trình tổ chức thi trên máy như sau: Mỗi thí sinh đến dự thi, sau khi đã làm thủ tục xác nhận dự thi sẽ được cung cấp mật khẩu dự thi. Sau khi nhập đúng mật khẩu, thí sinh sẽ nhận được một bài thi do phần mềm sinh một cách ngẫu nhiên theo cấu trúc đề quy định. Mật khẩu chỉ có giá trị sử dụng một lần. Phần mềm tự tính thời gian và thu bài chấm điểm theo đáp án từ cơ sở dữ liệu. Điểm thi được cập nhật vào Danh sách thí sinh dự thi. Sau kỳ thi, kết quả thi được đánh giá bằng các phương pháp thống kê toán học. Từ đây, những nhận xét sẽ được rút ra hữu ích cho những đối tượng sau: Những người viết tiểu mục: Tiểu mục nào đáp ứng được yêu cầu, tiểu mục nào cần biên tập lại, tiểu mục nào phải loại bỏ. Người dạy: Điểm yếu của người học, điểm yếu của khâu dạy và biện pháp cải thiện. 3.2.1.7 Quản lý người dùng và đảm bảo an ninh Nhóm chức năng này cho phép khai báo, cấp phát quyền và quản lý người sử dụng trong hệ thống. Mỗi giáo viên khi sử dụng hệ thống cần đăng nhập với một tài khoản (tên, mật khẩu) đã được cấp phát. Với tài khoản này, giáo viên chỉ đựoc phép sử dụng những chức năng hệ thống và dữ liệu đúng với quyền hạn của mình. 3.2.2 Một số đánh giá Hệ thống thi trắc nghiệm cho môn ngoại ngữ MITS đã đáp ứng được công việc tổ chức thi trắc nghiệm cho các môn ngoại ngữ. Phần mềm có đầy đủ chức năng từ khâu soạn thảo câu hỏi, lưu trữ câu hỏi, tạo cấu trúc đề, sinh đề theo cấu trúc, cho đến việc quản lý sinh viên, môn học, tạo danh sách thí sinh dự thi cho từng môn học. Đề sinh ra là hoàn toàn ngẫu nhiên và số lượng đề được sinh một cách tự động bằng việc tráo đổi vị trí các câu hỏi và vị trí các câu trả lời. Hệ thống đã đảm bỏ được việc tổ chức thi một cách khách quan và công bằng. Tuy hệ thống đã có được hầu hết các chức năng cần thiết cho việc tổ chức thi trắc nghiệm, xong bên cạnh đó hệ thống vẫn tồn tại những nhược điểm cần khắc phục. Đó là hệ thống mới chỉ được phát triển để tổ chức thi trắc nghiệm trên giấy, điều này mang lại nhiều hạn chế như: Việc tổ chức thi trên giấy tốn kém vì phải sử dụng nhiều phòng thi, giám thị coi thi, việc bảo mật trong vận chuyển đề thi. Kết quả thi cũng phải qua một thời gian mới có. Việc đánh giá kết quả hoàn toàn thủ công khi điểm thi của thí sinh được nhập bằng tay vào cơ sở dữ liệu của hệ thống. Vì những hạn chế đó, trong khóa luận của mình, tôi đề xuất phát triển modul tổ chức thi trực tuyến nhằm đánh giá nhanh chóng kiến thức của một thí sinh. Hệ thống sẽ cho phép nhiều thí sinh thi cùng một lúc thông qua mạng máy tính của trường. Ngay sau khi kết thúc bài thi, thí sinh có thể xem điểm số của mình đạt được. Hệ thống sẽ cập nhật điểm của thí sinh vào cơ sỏ dữ liệu và kết quả làm bài của thí sinh để làm dữ liệu đánh giá kết quả kỳ thi. Bên cạnh đó sẽ sử dụng phần mềm đánh giá kết quả thi để thực hiện việc đánh giá chất lượng bài thi và chất lượng của từng tiểu mục trong bài thi. 3.3 Hệ thống thi trắc nghiệm trực tuyến 3.3.1 Mục tiêu Hệ thống cho phép nhiều thí sinh tham gia thi cùng một lúc Có khả năng chấm điểm tự động Cho phép thí sinh xem điểm ngay sau khi kết thúc bài thi Lưu kết quả làm bài và điểm của mỗi thí sinh vào cơ sở dữ liệu Đánh giá bài thi và từng tiểu mục bài thi bằng phần mềm với dữ liệu là kết quả làm bài của tất cả thí sinh tham gia dự thi 3.3.2 Qui trình thi trắc nghiệm trực tuyến Qui trình thi trắc nghiệm trực tuyến cũng gần giống như thi trắc nghiệm trên giấy. Tất cả các khâu như soạn tiểu mục đề thi, tạo cấu trúc đề đều giống như thi trên giấy. Điều khác biệt ở đây là cách thức làm bài thi là trên máy và chấm thi được thực hiện tự động. Điểm số của thí sinh cũng được lưu trữ một cách tự động không phải nhập thủ công như thi trên giấy. Khâu đánh giá kết quả thi cũng dễ dàng hơn do kết quả làm bài của tất cả thí sinh đã được lưu vào cơ sở dữ liệu và có thể kết xuất thành file để làm dữ liệu đầu vào cho phần mềm đánh giá kết quả thi. Qui trình thi bao gồm hai qui trình: Đối với giáo viên và đối với thí sinh Qui trình đối với giáo viên: Soạn thảo tiểu mục đề thi Tổ chức thi: Tạo cấu trúc đề thi Lập danh sách thí sinh Sinh mật khẩu đăng nhập hệ thống cho từng thí sinh Đánh giá kết quả thi: sử dụng phần mềm đánh giá Qui trình đối với thí sinh: Nhận mật khẩu và đăng nhập hệ thống Làm bài thi 3.3.3 Các vấn đề về kỹ thuật Hệ thống được xây dựng là một ứng dụng dựa trên nền web, sử dụng ngôn ngữ lập trình nguồn mở PHP và hệ quản trị cơ sở dữ liệu MySQL. Sử dụng phần mềm đánh giá kết quả thi ITEMAN đây là sản phẩm thương mại của công ty Assessment Systems Corporation thuộc Đại học Cambridge nước Anh. ITEMAN phân tích kết quả dựa trên dữ liệu đầu là một file dạng text chứa các thông tin về kết quả làm bài của thí sinh. Kết quả sau khi phân tích là một file output dạng text chứa các thông số thống kê và phân tích về từng tiểu mục và cả bài thi. Trước khi thực hiện lệnh phân tích, chương trình yêu cầu phải cấu hình: chỉ ra tên và đường dẫn thư mục chứa file input và tên và đường dẫn đến file chứa kết quả sau khi phân tích (output). File input có dạng như hình bên. 15 chỉ số câu hỏi trong bài thi, 8 là số ký tự phần định dạng số báo danh của thí sinh. Dòng thứ 2 là đáp án đúng của 15 câu trắc nghiệm trong bài thi. Dòng 3 và 4 là để phân chia mức độ: mức 0 gồm 5 câu hỏi mỗi câu có 4 đáp án lựa chọn, mức 1 chứa 10 câu hỏi mỗi câu chỉ có hai đáp án lựa chọn. Từ dòng 5 trở đi là kết quả làm bài của từng thí sinh được gắn kèm trước là 8 ký tự giống như số báo danh của thí sinh. File output định dạng *.out là file dạng text thống kê được về: Các tiểu mục và các lựa chọn trong tiểu mục Các thống kê cho mối mức độ (scale) Các bảng biểu thể hiện sự phân bố điểm số File output chứa kết quả phân tích các tiểu mục như trên hình vẽ, nó được chia thành hai phần: Các thống kê về tiểu mục (Item Statistics) và các thống kê về các lựa chọn trong tiểu mục (Alternative Statistics). Các thông số đưa ra trong phần thống kê về tiểu mục bao gồm: Seq.No là số thứ tự câu hỏi, Scale-Item chia mức độ câu hỏi, Prop.Correct là tỷ lệ trả lời đúng tiểu mục, Disc.Index là chỉ số phân loại câu hỏi (khó, dễ), Point Biser chỉ sự tương quan giữa các phần trong cùng một mức độ. Các thống kê về các lựa chọn cho từng tiểu mục: Alt các lựu chọn (vi dụ A, B,C,D…), Prop.Total là tỷ lệ được chọn giữa các chọ lựa… Hình 3.2.1 Thống kê về tiểu mục Các thống kê cho mỗi mức cho các thống kê sau: Số thí sinh tham gia thi (N of Examinees), sai số chuẩn (standard error of measurement - SEM), Trị số trung bình hoặc điểm phần trăm trung bình (Mean), Trị số trung bình hoặc điểm phần trăm trung bình (Mean), Độ tin cậy lượng tính (Hệ số anfa), Độ tương quan giữa các phần trong bài thi – kiểm tra… Hình 3.2.2 Thống kê trong mỗi mức 3.3.4 Triển khai 3.3.4.1 Module thi trực tuyến Module có sẵn của hệ thống: Trong hệ thống cũ đã có sẵn một số các module mà chúng tôi có thể sử dụng lại trong việc triển khai xây dựng hệ thống thi trực tuyến. Các module đó là: Các module khai báo các hệ đào tạo, ngành, chuyên ngành đào tạo, khung chương trình đào tạo và khung chương trình môn học tương ứng: Từ điển Môn học: Quản lý các môn học cho hệ thống, ví dụ: tiếng Nga, tiếng Anh,... Từ điển Học phần: Quản lý các thông tin về học phần cho các môn học Từ điển Khoa: Quản lý các thông tin về các khoa trong trường. Từ điển Lớp: Quản lý thông tin về các lớp trong từng khoa. Từ điển Sinh viên: Quản lý thông tin về các sinh viên theo lớp và khoa. Module soạn thảo tiểu mục, quản lý ngân hàng tiểu mục Module tạo cấu trúc đề thi, quản lý cấu trúc đề thi Module xây dựng thêm: Dựa trên các module có sẵn, chúng tôi đã xây dựng thêm các module mới để tiến hành tổ chức thi trực tuyến bao gồm: Module tổ chức thi: Lập danh sách thí sinh dự thi Sinh mật khẩu Tạo lại mật khẩu Sinh đề và hiển thị đề thi ngẫu nhiên theo cấu trúc đề thi đã chọn lên màn hình sau khi thí sinh đăng nhập thành công Module chấm thi: chấm theo từng câu hỏi và tự động lư điểm và kết quả làm bài của thí sinh vào cơ sở dữ liệu, thông báo điểm cho thí sinh Đánh giá kết quả thi: xuất file kết quả làm bài của các thí sinh tham gia thi theo khuôn dạng đã định. Đánh giá kết quả thi dùng phần mềm ITEMAN với file input là file kết quả làm bài của thí sinh ở trên 3.3.4.2 Thử nghiệm chương trình Chúng tôi đã thử nghiệm chương trình với tổ chức thi thử nghiệm cho 5 thí sinh tham gia thi trắc nghiệm trực tuyến thử với môn tiếng Anh. Số lượng 5 thí sinh dự thi là quá ít không đủ để đảm bảo tính tin cậy trong đánh giá kết quả thi (tối thiểu 250 thí sinh), tuy nhiên ở đây gọi là thử nghiệm nên chúng tôi chỉ tiến hành với 5 thí sinh. Việc thử nghiệm được tiến hành như sau: Trước tiên là giáo viên đăng nhập vào hệ thống cũ: Hình 3.2.3 Đăng nhập Tạo cấu trúc đề thi Hình 3.2.4 Tạo cấu trúc đề thi Lập danh sách thí sinh dự thi Hình 3.2.5 Lập danh sách thí sinh Lập danh sách và tạo mật khẩu cho thí sinh Hình 3.2.6 Tổ chức thi Hình 3.2.7 Danh sách thí sinh và mật khẩu Qui trình tiếp theo thí sinh nhận mật khẩu và đăng nhập vào hệ thống Hình 3.2.8 Thí sinh đăng nhập thi Hình 3.2.9 Làm bài thi Thông báo điểm thi cho thí sinh Hình 3.2.10 Thông báo điểm thi Đánh giá kết quả thi với phần mềm ITEMAN Nội dung file dữ liệu vào tuan.dat (kết quả làm bài của 5 thí sinh) như sau: 15 S N 7 // 15 câu hỏi; 7 kí tự SBD ABCDDAABBBBBABB // Đáp án đúng của 15 câu hỏi 444442222222222 // 5 câu có 4 lựa chọn, 10 câu 2 có lựa chọn 000001111111111 // chia 2 mức độ 0 và 1 AS37218ABCDDAABBABAABB // 7 kí tự SBD, 15 kí tự là kết quả làm AS37219ABCDDAABAABBAAB // bài của mỗi thí sinh AS37220ABCBDAAABBBAABA AS37221ABCCDAABAAABBBA AS37222ABCDDAABBABBAAB Thiết lập cấu hình cho chương trình trước khi phân tích: Chọn file input và output kết quả phân tích. Hình 3.2.11 Config ITEMAN File output kết quả cho ta những thống kê sau: Thống kê về các tiểu mục câu hỏi Hình 3.2.12 Các đánh giá tiểu mục Chúng ta có những số liệu sau: giả sử với câu hỏi 9, câu này có hai lựa chọn A hoặc B. Tỷ lệ lựa chọn đáp án A là 0.4 và B là 0.6 trong 5 thí sinh có 2 chọn A và 3 chọn B. Tỷ lệ trả lời đúng là 0.6 (đáp án đúng là B). Chỉ số phân loại Disc.Index là 1.0 cho thấy đây là câu hỏi có khả năng phân loại tốt. Thống kê đối trong mỗi mức độ (scale) Hình 3.2.13 Các thống kê cho mỗi mức độ Chúng ta có thể thấy các thông số phân tích cho 2 mức độ 0 và 1. Số câu hỏi ở mỗi mức là 5 và 10. Số thí sinh dự thí là 5. Tỷ lệ điểm số trung bình (Mean) tương ứng là 4.6 và 7.0. Độ lệch chuẩn Std.Dev. 0.49 và 1.095 khá lớn. Hệ số tin cậy Alpha tính theo khả năng phân loại của từng câu hỏi, kết quả ở đây là 0.0 và -0.37 chúng ta thấy độ tin cậy rất thấp, thứ nhất do số thí sinh tham gia thi thấp, thứ hai là do khả năng phân loại của các câu hỏi cũng thấp. Bảng phân phối điểm số Có hai bảng cho mỗi mức độ 0 và 1 cho thấy sự phân phối điểm số ở mỗi cấp độ. Hình 3.2.14 Bảng phân phối điểm số CHƯƠNG 4 KẾT LUẬN CHUNG VÀ HƯỚNG TIẾP THEO Nhìn chung khóa luận đã đáp ứng được những mục tiêu đạt ra ban đầu là tìm hiểu tổng quan về e-Learning (các khái niệm e-Learning, sự khác biệt với đào tạo truyền thống, những thuận lợi và khó khăn và tình hình phát triển e-Learning ở Việt Nam cũng như trên thế giới) và các lý thuyết về qui trình thi - kiểm tra và đánh giá kết quả thi – kiểm tra. Khoá luận cũng đã tìm hiểu được hệ thống thi trắc nghiệm hiện có cho các môn ngoại ngữ của trường Đại học Ngoại Ngữ - ĐHQGHN. Kết quả chính của khoá luận là bước đầu xây dựng thử nghiệm hệ thống thi trắc nghiệm trực tuyến cho các môn học ngoại ngữ có sử dụng lại các module có sẵn của hệ thống cũ. Đồng thời, khóa luận đã nghiên cứu và đưa vào sử dụng phần mềm đánh giá kết quả thi ITEMAN, bước đầu thử nghiệm đã cho kết quả khá tốt. Mặc dù khóa luận cơ bản đã đáp ứng được yêu cầu, tuy nhiên nó mới chỉ là những nghiên cứu và triển khai thử nghiệm. Hướng phát triển tiếp theo là hệ thống cần được triển khai thử nghiệm quy mô lớn hơn để đánh giá chính xác và hiệu quả của chương trình, dựa vào đó để có những cái tiến và điều chỉnh hợp lý để chương trình được hoàn thiện hơn cả về mặt lý thuyết lẫn cài đặt. Tài liệu tham khảo [1] John.Wiley and Sons E-learning Tools and Technologies [2] Best Practices Guide for Content Developers 1st-ed . Carnegie Mellon University, 2003. [3] [4] [5] Trang web về e-Learning của bộ giáo dục đào tạo [6] Vũ Văn Phúc. Phân tích kết quả thi/kiểm tra một bộ phận quan trọng trong công nghệ thi - kiểm tra [7] Công cụ đánh giá kết quả thi – kiểm tra: [8] [9]