Luận văn Các kỹ thuật xác định collocation và ứng dụng cho tiếng việt

Nói cách khác, chúng ta có thể chắc chắn hơn rằng Ruhollah sẽ xuất hiện tại ví trí tiếp theo nếu chúng ta biết rằng Ayatollah là từ đang xét. Có thể thấy rằng thông tin tương hỗ phản ánh khá tốt tính độc lập giữa hai sự kiện. Giá trị thông tin tương hỗ tiệm cận 0 chứng tỏ hai sự kiện độc lập nhưng giá trị thông tin tương hỗ lớn hơn 0 không thực sự phản ánh được quan hệ phụ thuộc giữa hai biến vì quan hệ phụ thuộc còn phụ thuộc rất nhiều vào tần suất xuất hiện 2 sự kiện. Nói cách khác, hai từ có giá trị thông tin tương hỗ lớn chưa hẳn đã là một collocation. Một giải pháp cho vấn đề này được đưa ra đó là tách ngưỡng với một tần suất lớn hơn một giá trị ngưỡng. Tuy nhiên, điều này vẫn chưa thực sự giải quyết được vấn đề đang tồn tại, mà chỉ giảm nhẹ tác động của nó. Một hạn chế nữa của phương pháp này là do nó dựa trên giả định là hai từ tạo thành collocation phải có quan hệ phụ thuộc lẫn nhau, tập kết quả thường bao gồm cả các cụm từ không phải là collocations nhưng có quan hệ với nhau về nghĩa (ví dụ: doctor-nurse, doctor-dentist). Như đã nói ở trên, thông tin tương hỗ không thực sự phản ánh khả năng có thể tạo thành collocation của 2 từ (x,y), do đó, phương pháp trích chọn collocations dựa trên thông tin tương hỗ thường chỉ tồn tại trong các nghiên cứu về lý thuyết và thường không được sử dụng trong các ứng dụng thực tế. Bảng 2-6 minh họa một số collocations được trích chọn bằng phương pháp sử dụng thông tin tương hỗ. Bảng 2-6: Một số collocation trích chọn được bằng phương pháp dựa trên thông tin tương hỗ w1 w2 w1 w2 freq w1 freq w2 freq PMI – score nền kinh_tế_thị_trường 67 1544 84 6.69599122813447 15 tài_nguyên thiên_nhiên 28 111 161 7.80551708204994 lý_luận chính_trị 21 35 940 6.90754163914149 đội quân 106 1835 461 5.28221694345149 sạt_lở nặng 22 82 1166 5.88723597735516 kháng_chiến chống 104 281 2121 5.61064041341448 gây hoang_mang 12 5308 12 5.68727674271944 2.4. KẾT QUẢ THỰC NGHIỆM Do cả 4 phương pháp được đề cập ở trên đều nhận đầu vào là tập các bigram và thông tin về tần suất xuất hiện của chúng, chúng tôi chia quá trình trích chọn collocations dựa trên các phương pháp thống kê làm 3 bước chính: bước 1: trích chọn bigram; bước 2: chạy thử nghiệm trên các mô hình; và bước 3: đánh giá kết quả thu được. Từ việc xây dựng các mô hình thử nghiệm khác nhau, thu thập kết quả, đánh giá và so sánh, chúng tôi đề xuất mô hình hiệu quả cho việc trích chọn collocations trong tiếng Việt dựa trên thống kê. Phần bên dưới sẽ trình bày chi tiết hơn về dữ liệu sử dụng, ba bước chính trong quá trình trích chọn collcations và một số đề xuất, nhận xét về kết quả thu được. 2.4.1. Khái quát về dữ liệu sử dụng Chúng tôi tiến hành thử nghiệm bốn phương pháp trên với đầu vào là ba bộ dữ liệu. Ba bộ dữ liệu này đều xuất phát từ cùng một tập dữ liệu được sưu tầm từ báo Lao Động và PCWorld gồm khoảng 300,000 câu, tương đương với 7,142,500 từ. Điểm khác nhau duy nhất giữa các bộ dữ liệu là ở thông tin về nhãn từ loại và cú pháp. Ba bộ dữ liệu được đề cập bao gồm một bộ dữ liệu chỉ được tách từ đơn thuần, một bộ được gán nhãn từ loại và một bộ đã được phân tích cú pháp. Thông tin về nhãn từ loại và cú pháp sẽ được sử dụng để loại bỏ các bigrams không phù hợp; từ đó, làm tăng độ chính xác của chương trình trích chọn. Bộ gán nhãn từ loại được chúng tôi sử dụng là bộ vnTagger – một bộ công cụ mã nguồn mở được phát triển bởi tác giả Lê Hồng Phương, có thể được download từ trang với độ chính xác đạt xấp xỉ 95% (*). Bộ nhãn được sử dụng bao gồm 17 nhãn chính. Bảng 2-7 trình bày bộ nhãn sử dụng bởi bộ vnTagger. Bảng 2-7: Bộ nhãn sử dụng bởi vnTagger STT Nhãn Chú thích 1 N Danh từ 16 2 Np Danh từ riêng 3 Nc Danh từ chỉ loại 4 Nu Danh từ đơn vị 5 V Động từ 6 A Tính từ 7 P Đại từ 8 L Định từ (lượng từ) 9 M Số từ 10 R Phụ từ 11 E Giới từ 12 C Liên từ 13 I Thán từ 14 T Trợ từ, tiểu từ, từ tình thái 15 U Từ đơn lẻ 16 X Từ viết tắt 17 Y Các từ không phân loại được (*): Bộ phân tích cú pháp được sử dụng là bộ phân tích được phát triển bởi nhóm Lê Anh Cường, Nguyễn Phương Thái, Vương Hoài Vũ, Phạm Minh Thu, Hồ Tú Bảo; được trình bày trong bài báo “An Experimental on Lexicalized Statiscal Parsing for Vietnamese” trình bày tại hội nghị KSE năm 2009, tổ chức tại trường ĐH Công Nghệ, ĐH Quốc Gia Hà Nội; với độ chính xác khoảng 78%. Bộ phân tích cú pháp cũng sử dụng bộ nhãn được miêu tả trong bảng 2-7. 2.4.2. Trích chọn bigrams Vì cả bốn phương pháp đều nhận đầu vào là một file chứa thông tin về các bigrams và tần suất xuất hiện của chúng, chúng tôi xây dựng một module riêng chỉ đảm nhiệm việc trích chọn bigram, và kết quả của quá trình trích chọn sẽ được dùng làm đầu vào cho cả 4 phương pháp. Như đã đề cập ở phần trên, chúng tôi tiến hành chạy thử nghiệm cả 4 phương pháp trên 3 bộ dữ liệu. Các bộ dữ liệu đều xuất phát từ cùng một nguồn, nên có thể nói về cơ bản chúng giống nhau. Điểm khác nhau duy nhất giữa ba tập dữ liệu là thông tin về nhãn từ loại và thông tin cú pháp. Tuy nhiên, nhìn vào công thức của cả bốn phương pháp, chúng ta thấy không chỗ nào đề cập đến thông tin về cú pháp hay thông tin từ loại. Công thức được sử dụng trong cả 3 trường hợp đều như nhau nhưng kết quả thực nghiệm lại khác nhau. Điều này có thể được giải thích đơn giản là do chúng tôi áp dụng ba cách trích chọn bigram khác nhau cho 3 tập dữ liệu. Nói cách khác, các thông tin thêm vào ở mỗi tập dữ liệu được đưa vào mô hình trích chọn bigram để lọc ra các bigram không phù hợp. Chi tiết về các mô hình trích chọn bigram cho từng bộ dữ liệu sẽ được trình bày chi tiết ở phần bên dưới. 17 2.4.2.1. Mô hình trích chọn bigrams cho bộ dữ liệu đã được tách từ Với đầu vào là một file văn bản đơn thuần, chương trình sinh các bigram thỏa mãn hai điều kiện sau: - Hai từ tạo thành bigram phải nằm trong cùng 1 câu và có khoảng cách giữa chúng không quá window_size từ nhất định. - Hai từ tạo thành bigram phải không được là một trong số các từ: {là, hả, hử, à, ừ, và, không, rất, sẽ, đã, rồi, được, đây, đó, nay, này, kia, sao, tại, ở, về, thì, rằng, để, nhiều, ít, chỉ, với, bằng, của, cho, các, có, vẫn, những, lại, mà, kia, quá, một, cũng, như, đây, đấy, đó, sau, khi, một, trong, cả, tới, từ, đến, bị} Vì các từ tạo thành collocation có quan hệ với nhau, nên ta giới hạn hai từ tạo thành bigram phải nằm trong cùng một cửa sổ có độ lớn window_size từ. Các nghiên cứu về collocations trong tiếng Anh cho thấy, độ lớn cửa sổ thích hợp nhất cho hai từ tạo thành bigram là 5 từ. Với tiếng Việt, chưa nghiên cứu nào đưa ra độ lớn cửa sổ thích hợp nhất cho việc trích chọn collocation trong tiếng Việt; vì vậy, với nỗ lực tìm ra độ lớn cửa sổ phù hợp nhất cho việc trích chọn bigram trong tiếng Việt, trong phạm vi luận văn này, chúng tôi cho window_size chạy từ 1 đến 5. 5 file bigram được chiết xuất đều được dùng làm đầu vào cho các phương pháp được nêu ở chương 3. Thêm vào đó, qua thực nghiệm chúng tôi xác định được các từ được đưa ra trong điều kiện thứ 2 làm giảm đáng kể độ chính xác của chương trình trích chọn; do đó, chúng tôi quyết định loại bỏ các từ đó trong quá trình sinh bigrams. Cũng dựa trên thực nghiệm, chúng tôi nhận thấy việc lọc ngưỡng tần số cho file bigram đầu vào sẽ cải thiện đáng kể độ chính xác các phương pháp, do đó các file bigram trong giới hạn luận văn này đều được lọc ngưỡng tần số bằng 10. Kết quả sau khi chạy chương trình là 2 file: file bigram chứa thông tin về bigram (hai từ tạo thành cách nhau bởi dấu cách trắng) cùng tần suất xuất hiện của nó trong văn bản, và file unigram chứa thông tin về các từ đơn lẻ và tần suất xuất hiện của chúng trong file bigram kết quả. 2.4.2.2. Mô hình trích chọn bigrams cho bộ dữ liệu đã được gán nhãn Một số nghiên cứu cho tiếng Đức[15, 35] hay nghiên cứu cho tiếng Anh của Justeson và Katz[28] đã khẳng định việc trích chọn các collocations theo các mẫu cho trước sẽ đem lại hiệu quả cao hơn. Do đó, chúng tôi tiến hành thử nghiệm phương pháp này cho tiếng Việt, với các mẫu trích chọn có dạng: VN, VA, NA và NN. Trong đó N là danh từ, A là tính từ, V là động từ. Tập dữ liệu đầu vào đã được gán nhãn với bộ nhãn sử dụng được miêu tả trong bảng 2-7. Do chúng tôi trích chọn các bigram dựa trên mẫu, nên độ lớn cửa sổ không cần giới hạn trong bước này. Giả sử một bigram có 18 cấu trúc dạng w1w2; khi đó, w1w2 là kết quả sau khi chạy chương trình khi và chỉ khi nó thỏa mãn 2 điều kiện sau: - w1 là một động từ hoặc 1 danh từ - w2 là một danh từ hoặc tính từ xuất hiện đầu tiên sau w1 trong cùng một cụm danh từ (tương ứng với w1 là danh từ) hoặc động từ (tương ứng với w1 là động từ) và không có động từ nào xen ngang giữa w1 và w2. Kết quả sau khi chạy chương trình là 2 file: file bigram chứa thông tin về bigram cùng tần suất xuất hiện của nó trong văn bản; và file unigram chứa thông tin về các unigram và tần suất xuất hiện của nó trong danh sách bigram. Các bigram có tần suất nhỏ hơn 10 sẽ bị loại khỏi danh sách kết quả. 2.4.2.3. Mô hình trích chọn bigrams cho bộ dữ liệu đã được phân tích cú pháp Mô hình trích chọn bigram cho bộ dữ liệu đã được phân tích cú pháp cũng tương tự như mô hình trích chọn bigram cho bộ dữ liệu đã gán nhãn. Tuy nhiên, với bộ dữ liệu đã gán nhãn: các bigram có dạng VN và VA phải có hai từ thành phần thuộc cùng một cụm động từ; các bigram có dạng NA hoặc NN phải có hai từ thành phần thuộc cùng một cụm danh từ; và trong cả hai trường hợp, không có động từ xen ngang giữa hai từ. Kết quả sau khi chạy chương trình cũng là hai file: file bigram chứa thông tin về bigram cùng tần suất xuất hiện của nó trong văn bản; và file unigram chứa thông tin về các unigram và tần suất xuất hiện của nó trong danh sách bigram. Các bigram có tần suất nhỏ hơn 10 cũng bị loại khỏi danh sách kết quả. 2.4.3. Các mô hình thử nghiệm Với các bộ dữ liệu được miêu tả trong phần trên, chúng tôi xây dựng các mô hình thử nghiệm trên bốn phương pháp đã được đề cập. Vì mục đích của luận văn là nghiên cứu độ chính xác của các phương pháp trích chọn cho tiếng Việt cũng như tác động của việc tiền xử lý văn bản lên các phương pháp trích chọn và do số lượng các file bigram được sinh ra từ tập dữ liệu chỉ được tách từ khá lớn(do độ lớn cửa sổ thay đổi, với mỗi cửa sổ, ta lại thu được một tập bigram); chúng tôi tiến hành thử nghiệm từng phương pháp trên cả ba bộ dữ liệu, và chỉ tiến hành thử nghiệm các phương pháp kết hợp trên bộ dữ liệu đã được gán nhãn và được phân tích cú pháp. Các mô hình thử nghiệm được chia làm hai nhóm chính: thử nghiệm trên từng phương pháp và thử nghiệm bằng cách kết hợp ba hoặc bốn phương pháp. Với các phương pháp kết hợp, trong phạm vi luận văn này, việc kết hợp mới chỉ dừng lại ở mức lọc ra các kết quả trùng khớp từ tập kết quả chạy riêng lẻ của 3 hoặc cả 4 phương pháp trên cùng một tập dữ liệu đầu vào. Như vậy, chúng ta sẽ có tất cả 9 mô hình thử nghiệm (4 đơn lẻ, 4 kết 19 hợp của 3 phương pháp, và 1 kết hợp của cả 4 phương pháp) để chạy với các bộ dữ liệu đầu vào thay đổi. Trong phần tiếp theo, chúng tôi sẽ trình bày chi tiết hơn về kết quả thu được từ việc chạy chương trình trên các mô hình thử nghiệm đã được trình bày. 2.4.4. Kết quả thực nghiệm Phương pháp kiểm thử chủ yếu trong các nghiên cứu về collocations đến thời điểm này[19, 34, 40] vẫn là phương pháp thủ công. Do vậy, trong giới hạn của luận văn này, chúng tôi cũng áp dụng phương pháp kiểm thử bằng tay để đánh giá độ chính xác của chương trình trích chọn. Với mỗi tập kết quả, chúng tôi lấy ra 500 kết quả đầu tiên. Từ 500 kết quả đó, chúng tôi cho sinh ngẫu nhiên 100 kết quả. 100 kết quả thu được từ quá trình sinh ngẫu nhiên này sẽ được đánh giá bằng tay từ đó dùng để đánh giá độ chính xác của chương trình. Phần bên dưới trình bày chi tiết hơn về kết quả thực nghiệm thu được. 2.4.4.1. Bộ dữ liệu chỉ được tách từ đơn thuần Chạy thử nghiệm bốn phương pháp trên bộ dữ liệu chỉ được tách từ, với độ lớn cửa sổ thay đổi từ 1 đến 5, ta sẽ thu được 20 tập kết quả. Bảng 2-8 và hình 2-1 minh họa kết quả thu được bằng phương pháp kiểm thử bằng tay khi chạy các mô hình thực nghiệm trên bộ dữ liệu đã được tách từ. Bảng 2-8: Kết quả chạy thực nghiệm 4 phương pháp trên bộ dữ liệu đã được tách từ với độ lớn cửa sổ thay đổi từ 1 đến 5 Window size Freq- based Chi- square PMI T-test 1 62% 66% 69% 71% 2 57% 65% 67% 65% 3 46% 59% 55% 64% 4 47% 66% 68% 61% 5 43% 60% 69% 70% 20 Hình 2-1: Kết quả chạy 4 phương pháp khi chạy trên bộ dữ liệu chỉ được tách từ với độ lớn cửa sổ thay đổi từ 1 đến 5 Nhìn vào hình vẽ và bảng chúng ta thấy độ lớn cửa sổ bằng 1 đem lại kết quả khả quan nhất. Khi so sánh các phương pháp, phương pháp kiểm tra t đem lại độ chính xác cao nhất cho tiếng Việt, phương pháp kiểm tra Chi bình phương và phương pháp dựa trên thông tin tương hỗ (PMI) cũng đem lại kết quả khá khả quan, trong khi đó, phương pháp dựa trên tần số mang lại độ chính xác thấp hơn hẳn, đặc biệt khi độ lớn cửa sổ tăng lên và có độ chính xác bị ảnh hưởng nhiều nhất bởi độ lớn cửa sổ. Độ chính xác của phương pháp trích chọn dựa trên tần số tỉ lệ nghịch với độ lớn của cửa sổ. Qua thực nghiệm, chúng tôi cũng nhận thấy phương pháp kiểm tra t và phương pháp kiểm tra Chi có độ trùng khớp về kết quả khác lớn, và cả hai phương pháp này thích hợp hơn cho việc trích chọn các collocations có dạng cụm danh từ cố định, đặc biệt là cụm danh từ riêng (ví dụ: Bộ Công_An, Đoàn thanh_tra, Bí_thư Đảng_ủy, Công_nương Diana…). 2.4.4.2. Bộ dữ liệu đã được tách từ và gán nhãn từ loại Bảng 2-9 và hình 2-2 minh họa kết quả thu được khi chạy thử nghiệm 9 mô hình trên tập dữ liệu đã gán nhãn. Bảng 2-9: Kết quả thu được khi chạy 9 mô hình trên bộ dữ liệu đã được gán nhãn từ loại Freq- based Chi- square PMI T-test Freq- Chi-PMI Freq-Chi- T-test Chi-PMI- T-test Freq-PMI- T-test Freq-Chi- PMI-T-test 65% 63% 65% 64% 57% 56% 66% 55% 66% 0% 10% 20% 30% 40% 50% 60% 70% 80% Freq-based Chi-square PMI T-test Window_size = 1 Window_size = 2 Window_size = 3 Window_size = 4 Window_size = 5 21 Hình 2-2: Kết quả thử nghiệm trên bộ dữ liệu đã được gán nhãn Nhìn vào bảng kết quả và hình vẽ, chúng ta thấy, nếu xét các mô hình thực nghiệm dựa trên các phương pháp riêng lẻ, các phương pháp đạt độ chính xác xấp xỉ nhau, trong khoảng từ 63%-65%; phương pháp dựa trên thông tin tương hỗ và phương pháp dựa trên tần số đem lại kết quả cao nhất. Khi xét các phương pháp kết hợp, việc kết hợp cả 4 phương pháp và việc kết hợp 3 phương pháp: phương pháp kiểm tra chi, phương pháp kiểm tra t, và phương pháp dựa trên thông tin tương hỗ tỏ ra thích hợp nhất. Sở dĩ kết quả trích chọn từ 3 bộ 3 phương pháp còn lại thấp là do tập kết quả của các phương pháp đó khác nhau khá nhiều, độ lớn của tập kết quả nhỏ, do đó, tập kết quả chung của 3 phương pháp sẽ chứa nhiều bigram không phải là collocation; dẫn đến làm giảm độ chính xác của các phương pháp. Qua đánh giá kết quả, chúng ta cũng nhận thấy thông tin về nhãn từ loại, với cách áp dụng đã được trình bày, không cải thiện độ chính xác của quá trình trích chọn. 2.4.4.3. Bộ dữ liệu đã được phân tích cú pháp Hình 2-9 và bảng 2-3 minh họa kết quả chạy thực nghiệm trên 9 mô hình, với bộ dữ liệu đầu vào đã được phân tích cú pháp. Bảng 2-10: Kết quả chạy thực nghiệm 9 mô hình trên bộ dữ liệu đã được phân tích cú pháp Freq- based Chi- square PMI T-test Freq- Chi-PMI Freq-Chi- T-test Freq-PMI- T-test Chi-PMI- T-test Fre-Chi- PMI-T-test 78% 75% 89% 84% 87% 92% 86% 85% 88% 0% 10% 20% 30% 40% 50% 60% 70% Hiệu suất 22 Hình 2-3: Kết quả chạy thực nghiệm 9 mô hình trên bộ dữ liệu đã được phân tích cú pháp Nhìn vào bảng và hình vẽ chúng ta thấy thông tin cú pháp làm cải thiện đáng kể độ chính xác chương trình trích chọn trên cả 9 mô hình thử nghiệm. Sự kết hợp 3 phương pháp: phương pháp dựa trên tần số, phương pháp dựa trên thông tin tương hỗ, và phương pháp kiểm tra t đem lại độ chính xác cao nhất, tuy nhiên, phương pháp kết hợp cả 4 phương pháp, phương pháp dựa trên thông tin tương hỗ cũng đem lại độ chính xác rất cao. 2.4.4.4. Đánh giá Hình 2-4: Kết quả chạy thực nghiệm trên tất cả các mô hình với 3 tập dữ liệu đầu vào 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Hiệu suất 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Window_size = 1 Window_size = 2 Window_size = 3 Window_size = 4 Window_size = 5 POS_TAGGED PARSED 23 Bảng 2-11: Kết quả chạy thực nghiệm trên tất cả các mô hình thực nghiệm Phương pháp Dữ liệu chỉ được tách từ Dữ liệu đã gán nhãn Dữ liệu đã phân tích cú pháp w = 1 w = 2 w = 3 w = 4 w = 5 Freq-based 62% 57% 46% 47% 43% 65% 78% Chi-square 66% 65% 59% 66% 60% 63% 75% PMI 69% 67% 55% 68% 69% 65% 89% t-test 71% 65% 64% 61% 70% 64% 87% Freq-Chi-PMI 57% 87% Freq-Chi-T-test 56% 92% Chi-PMI-T-test 66% 86% Freq-PMI-T-test 55% 85% Freq-Chi-PMI-T-test 66% 88% Nghiên cứu và thực nghiệm cho thấy, các phương pháp thống kê cổ điển đạt độ chính xác khá cao trong trích chọn collocations trong tiếng Việt. Hình 2-4 minh họa kết quả thu được từ tất cả các mô hình thực nghiệm trên tất cả các bộ dữ liệu. Nhìn vào đồ thị ta thấy, phương pháp dựa trên tần số có độ chính xác thấp hơn cả và phương pháp kiểm tra t tỏ ra khả quan nhất. Khi xét các phương pháp kết hợp, kết quả cho thấy phương pháp kết hợp cả 4 phương pháp đã giúp cải thiện độ chính xác chương trình, đặc biệt trên bộ dữ liệu đã được phân tích cú pháp. Quả thật, độ chính xác của chương trình trích chọn dựa trên tần số với bộ dữ liệu gán nhãn đã được cải thiện đáng kể, tuy nhiên, độ chính xác của các phương pháp còn lại trên bộ dữ liệu đã được gán nhãn không đạt được độ chính xác cao như mong đợi. Có thể nói, thông tin về nhãn từ loại không làm cải thiện độ chính xác các phương pháp kiểm định giả thuyết và dựa trên thông tin tương hỗ, thậm chí còn làm giảm đáng kể độ chính xác của các phương pháp kết hợp so với việc áp dụng cho các phương pháp riêng lẻ. Nguyên nhân của vấn đề này có thể là do độ chính xác của chương trình gán nhãn cũng như việc áp dụng các mô hình trích chọn không phù hợp với các phương pháp đó. Kết quả chạy thử nghiệm cả 9 mô hình thử nghiệm trên cả 3 bộ dữ liệu cho thấy thông tin cú pháp thêm vào làm cải thiện đáng kể độ chính xác của chương trình trích chọn. Thông tin cú pháp thêm vào đã có tác dụng tích cực đối với độ chính xác của chương trình. Độ chính xác cao nhất trong trích chọn collocations cho bộ dữ liệu đã được phân tích cú pháp, sử dụng phương pháp kết hợp cả bốn phương pháp lên tới khoảng 90%. Như vậy, phương pháp trích chọn collocations bằng cách kết hợp cả 4 phương pháp trên bộ dữ liệu đã được phân tích cú pháp có thể nói là hướng trích chọn collocations thích hợp nhất cho tiếng Việt. 24 Tuy nhiên cần phải chú ý là độ chính xác của chương trình cũng bị ảnh hưởng không nhỏ bởi độ chính xác của chương trình phân tích cú pháp và chương trình gán nhãn từ loại. Do vậy, lựa chọn một chương trình phân tích cú pháp phù hợp cũng làm ảnh hưởng không nhỏ tới độ chính xác chương trình 25 Chương 3. MỘT PHƯƠNG PHÁP KẾT HỢP ÁP DỤNG CHO TRÍCH CHỌN COLLOCATIONS CÓ DẠNG CỤM DANH TỪ Các phương pháp được trình bày ở chương 2 chỉ có thể trích chọn được các collocations là bigrams. Song trên thực tế, collocations có dạng n-grams cũng xuất hiện khá thường xuyên trong các văn bản. Do vậy, một yêu cầu rất tự nhiên là trích chọn cả các collocations có dạng n-grams. Một phương pháp đơn giản được đề xuất có thể là trích chọn tất cả các n-grams trong tập dữ liệu để làm đầu vào cho các phương pháp thống kê nhằm trích chọn danh sách collcoations. Tuy nhiên, cách tiếp cận đó có độ phức tạp và thời gian tính toán khổng lồ. Chính vì vậy, khi corpus dữ liệu lớn, n lớn, việc trích chọn collocations là n-gram sử dụng phương pháp này là không thể thực hiện được và đặc biệt kém hiệu quả. Trong chương này, chúng tôi đề xuất một phương pháp trích chọn collocations có dạng bigram hoặc n-gram là cụm danh từ trong văn bản. Phương pháp này xuất phát từ ý tưởng được sử dụng trong công cụ Xtract[19] được Frank Smadja trình bày vào năm 1993 và dựa chủ yếu trên nghiên cứu của Chouka, sử dụng các giả định thống kê dựa trên các đặc trưng của collocations kết hợp với sử dụng các thông tin về ngữ nghĩa. Cụ thể hơn, chúng tôi sẽ trích chọn các collocations có quan hệ ngữ pháp giữa các từ thành phần, và sẽ trích chọn các collocation có dạng n-gram xuất phát từ tập collocations có dạng bigram. Chương trình có thể trích chọn được các bigram liền nhau cũng như ngắt quãng, có thể trích chọn các collcations là bigram hay n-gram. Dữ liệu đầu vào của chương trình là một bộ dữ liệu đã được đi qua bộ phân tích cú pháp. Trong phạm vi luận văn này, chúng tôi sử dụng tập dữ liệu khoảng 300,000 câu đã được phân tích cú pháp, tương đương với khoảng 7,142,500 từ. Tuy nhiên, trong giới hạn của luận văn này, chúng tôi chỉ trích chọn các bigram là collocations có dạng N+A và N+N trong tiếng Việt và các n-gram collocations là cụm danh từ cố định. Do vậy, từ bộ dữ liệu đã được phân tích cú pháp, chúng tôi viết chương trình lọc các cụm danh từ. Các cụm danh từ này sẽ được sử dụng làm đầu vào cho chương trình trích chọn collocation trình bày bên dưới. Có khoảng 719,000 cụm danh từ đã được trích chọn từ tập dữ liệu văn bản gồm 300,000 câu. Quá trình trích chọn collocation được chia ra làm 2 giai đoạn chính. Kết quả của giai đoạn thứ nhất sẽ được đưa vào làm đầu vào của giai đoạn thứ hai. Giai đoạn thứ nhất có nhiệm vụ chiết xuất các collocation có dạng bigram sử dụng một số phép lọc và phép kiểm tra thống kê. Giai đoạn thứ hai có nhiệm vụ trích chọn các collocation có dạng n-gram từ các cặp bigram là kết quả của bước 1. Cụ thể hơn, so với mô hình thông thường, chúng tôi không giới hạn n mà chỉ giới hạn các câu dùng trong quá trình 26 trích chọn. Chúng tôi không sử dụng tất cả các câu đầu vào ở bước 1 để trích chọn danh sách n-gram mà chỉ sử dụng các câu có chứa các bigram với vị trí tương đối của hai từ thành phần là kết quả của giai đoạn một. Danh sách các từ xuất hiện xung quanh hai từ thành phần tạo thành bigram gốc sẽ được lưu lại cùng với tần suất và vị trí tương đối của chúng so với bigram. Một bước lọc thống kê sẽ được đưa vào để loại bỏ các từ có xác suất xuất hiện nhỏ hơn một ngưỡng nhất định. Từ kết quả của bước lọc, chúng tôi thu được danh sách các collocations là n-gram. Chi tiết về các bước xử lý được thực hiện tại mỗi giai đoạn sẽ được chúng tôi trình bày chi tiết ở phần còn lại của chương. 3.1. GIAI ĐOẠN 1: TRÍCH CHỌN CÁC COLLCOATIONS CÓ DẠNG BIGRAM. Do mục đích của chương trình là trích chọn các collocations là cụm danh từ và do độ phức tạp, thời gian chạy chương trình khá lớn; trong giới hạn của luận văn này, chúng tôi chỉ tập trung trích chọn các collocation có dạng N+A hoặc N+N. Dữ liệu đầu vào đã được đưa qua một bộ phân tích cú pháp, sau đó được đi qua một chương trình do chúng tôi tự phát triển nhằm lọc ra các cụm danh từ và gán nhãn các từ theo từ loại. Tập nhãn sử dụng gồm 4 nhãn: {N, A, V, U} trong đó, N: danh từ, A: tính từ, V: động từ và U cho các từ còn lại. Sau khi được phân tích cú pháp và thông qua bước tiền xử lý dữ liệu, file dữ liệu đầu vào cho bước 1 là file văn bản gồm các cụm danh từ, mỗi cụm danh từ trên một dòng và mỗi từ được gán một trong bốn nhãn trong tập nhãn đã đề cập ở trên. Quá trình trích chọn các collocation từ tập bigram dựa trên hai giả định: - Hai từ phải xuất hiện cùng nhau lặp đi lặp lại, trên mức bình thường trong văn bản. - Hai từ phải thuộc cùng một cụm danh từ. Dựa vào hai giả định này, chương trình thực hiện các bước lọc dựa trên thống kê để trích chọn ra các bigram có khả năng tạo thành collocations. Kết thúc giai đoạn một, chúng ta sẽ nhận được danh sách các bigram cùng thông tin về tần suất, vị trí tương đối của hai từ được lưu trữ dưới dạng một file văn bản có phần mở rộng “.txt” và danh sách các unigram và thông tin về tần suất xuất hiện của nó trong tập bigram; danh sách này cũng được lưu trữ dưới dạng file văn bản có phần mở rộng “.txt”. Quá trình trích chọn và lọc các bigram được chia làm 2 bước chính: 3.1.1. Bước 1: Trích chọn bigram Chương trình đọc dữ liệu từ file văn bản đầu vào bao gồm các cụm danh từ, với mỗi cụm danh từ trên một dòng. Các bigram được trích chọn trong bước này có dạng wwi và phải thỏa mãn hai điều kiện sau: 27 - w là danh từ chính trong cụm danh từ - wi là danh từ hoặc tính từ đầu tiên ngay sau w và với điều kiện không có động từ nào xen ngang. Các bigram là kết quả của chương trình sẽ được lưu trữ dưới dạng từ điển cùng thông tin về tần suất xuất hiện và vị trí tương đối của hai từ thành phần trong tập ngữ liệu. Trong chương này, chúng ta sẽ ký hiệu freqi là tần suất xuất hiện của wwi và p i j là tần suất xuất hiện của wi xung quanh w sao cho khoảng cách của chúng là j từ. Bảng 3-1 minh họa một số bigram cùng thông tin về tần suất, vị trí của chúng trích chọn được từ tập dữ liệu. Bảng 3-1: Một số bigrams và thông tin về vị trí và tần suất xuất hiện của chúng STT w wi freqi j 1 báo_cáo chính_trị 12 1 2 báo_cáo Ngành 12 5 3 báo_cáo mới 12 2 4 báo_cáo nhất 12 2 5 lãnh_đạo tỉnh 114 3 6 lãnh_đạo tỉnh 13 5 7 lãnh_đạo tỉnh 29 4 8 lãnh_đạo tỉnh 3 2 9 lãnh_đạo Cty 66 1 10 lãnh_đạo Cty 1 3 11 lãnh_đạo Cty 5 5 12 lãnh_đạo Cty 3 4 13 vai_trò quan_trọng 83 2 14 vai_trò quan_trọng 28 3 3.1.2. Bước 2: Lọc các bigram không hợp lệ Bước 2 nhận dữ liệu vào là các cặp từ {w, wi} trích chọn được ở bước 1 cùng các thông tin về vị trí, tần suất xuất hiện của chúng trong corpus dữ liệu. Chương trình sẽ tiến hành lọc dựa trên các giá trị thống kê để lọc ra các cụm từ có tính chất: Hai từ xuất hiện cùng nhau lặp đi lặp lại, trên mức bình thường trong văn bản, với khoảng cách tương đối cố định. 28 Bước đầu tiên trong quá trình lọc, chúng tôi loại bỏ các bigram có tần suất xuất hiện nhỏ hơn 10. Sau đó, chương trình tiến hành phân tích phân phối xác suất của các từ xuất hiện xung quanh w. Chúng ta kí hiệu freqi là tần suất xuất hiện của wi xung quanh w. là giá trị tần suất trung bình tần suất của tất cả các từ xuất hiện xung quanh w,  là độ lệch chuẩn ứng với giá trị trung bình tần suất đó. Giả sử có tất cả n từ wi1, wi2, … win có khả năng kết hợp với w để tạo thành bigram. Tần suất xuất hiện tương ứng với n từ này lần lượt là freqi1, freqi2, …, freqin. Khi đó, tần suất trung bình . được tính theo công thức: = ⋯ Độ lệch σ được tính theo công thức: σ = ⋯ Từ các giá trị về tần suất, độ lệch tính được, chúng ta tính được chỉ số z (kí hiệu là: ki) tương ứng với nó. ki đại diện cho mức độ gắn kết của cặp từ, nó đại diện cho độ lệch tiêu chuẩn so với giá trị trung bình tần suất của cặp từ w và wi, ki lớn chứng tỏ w và wi thường xuất hiện cùng nhau trên mức bình thường trong văn bản, và có thể nói chúng có quan hệ với nhau. ki được tính theo công thức: = (1a) Sau hai bước lọc, một bigram chứa w là đầu ra của giai đoạn 1 sẽ được xác định bởi bộ {wi, ki, j} thỏa mãn: tần suất xuất hiện của wi xung quanh w lớn hơn 10 và thỏa mãn bất đẳng thức: = − > (C1) Điều kiện C1 giúp loại bỏ các cặp từ có tần suất xuất hiện nhỏ hơn hoặc chỉ xung quanh giá trị tần suất trung bình. Trong hầu hết các phân phối thống kê, bước tách ngưỡng này loại bỏ phần lớn các cặp từ không phù hợp. Bước lọc dựa trên giá trị trung bình và độ lệch giúp loại bỏ các cặp từ có phân phối tần suất xuất hiện theo vị trí dàn trải. Bảng 3-2 minh họa một số bigram là kết quả của giai đoạn 1. 3.2. GIAI ĐOẠN 2: TRÍCH CHỌN CÁC COLLOCATIONS LÀ CỤM DANH TỪ CÓ DẠNG N-GRAM. 29 Nhiệm vụ của bước 2 là sinh các collocation có nhiều hơn 2 từ và lọc bỏ những chuỗi từ không phù hợp. Giai đoạn 2 liên quan đến nghiên cứu của Choueka[5], và trong một số giới hạn nào đấy, nó đã được áp dụng trong bài toán nhận dạng ngôn ngữ. Với mỗi bigram được xác định ở giai đoạn 1, chương trình duyệt tất cả các câu có chứa bigram đó, với khoảng cách giữa hai từ cố định được xác định ở bước một, để lưu lại thông tin về tần suất, vị trí của các từ xung quanh bigram đó. Từ việc phân tích tần suất, vị trí của các từ lân cận đó, chương trình trả ra các collocation có dạng n- gram. Giai đoạn chia làm 3 bước chính. Phần bên dưới sẽ trình bày chi tiết hơn về các công việc xử lý thực hiện tại mỗi bước. 3.2.1. Bước 1: Giống như trong giai đoạn 1, đầu vào của bước này là một cặp {wi, w} và tần suất xuất hiện, khoảng cách giữa hai từ. Bước này sẽ trả ra tất cả các câu chứa hai từ này với thông tin về vị trí như vậy. 3.2.2. Bước 2: Từ các câu nhận được sau bước 1, chương trình trích chọn được thông tin về các từ lân cận của w, wi, tần suất xuất hiện, cũng như vị trí của chúng. Trong bước này, ta cũng thực hiện việc duyệt và lưu trữ giống hệt bước 1 trong giai đoạn 1, tuy nhiên, các từ được đưa thêm vào không chỉ giới hạn ở các từ có nhãn tính từ hoặc danh từ, mà bao gồm tất cả các từ xuất hiện xung quanh vị trí của w và wi. 3.2.3. Bước 3: Một từ w0 là lân cận của w, chỉ được giữ lại trong n-gram kết quả nếu và chỉ nếu xác suất để w0 xuất hiện ở vị trí i so với w lớn hơn một ngưỡng T nhất định. Nói cách khác, w0 phải thỏa mãn đẳng thức sau đây: p(word[i] = w0 ) > T, với p(word[i] = w0) là xác suất để w0 xuất hiện ở vị trí i xung quanh w. Vai trò của giai đoạn 2 là loại bỏ các quan hệ từ vựng không phù hợp. Giai đoạn này có thể sinh ra cả các cụm từ khuôn mẫu và cụm danh từ cố định, tuy nhiên, trong phạm vi luận văn này, chúng tôi chỉ trích chọn các cụm danh từ cố định, vì tập nhãn sử dụng còn hạn chế, dựa chủ yếu vào thông tin từ bộ phân tích cú pháp. Như vậy, giai đoạn 2 đã mở rộng các collocation là bigram thành n-gram. Phương pháp này làm đơn giản hơn rất nhiều độ phức tạp của chương trình so với cách tiếp cận được đưa ra bởi Choueka[5]. Có thể khái quát phương pháp tiếp cận bởi Choueka như sau: với mỗi giá trị n, sinh tất cả chuỗi có độ dài bằng n và sắp xếp chúng giảm dần theo tần số. Với bộ dữ liệu gồm 12 triệu từ, Chouka nhận được 10 collocations có độ dài 30 bằng sáu; 115 collocations có độ dài bằng năm; 1024 collocaitions có độ dài bằng bốn; 4,777 collocations có độ dài bằng ba, và 15,973 collocations có độ dài bằng 2. Ngưỡng được đưa ra bằng 14. Phương pháp được sử dụng bởi chương trình có hai ưu điểm nổi bật so với cách tiếp cận bởi Chouka: - Nó giúp loại bỏ các m-grams là chuỗi con của một n-gram cho trước. Vì giai đoạn hai sinh chuỗi có độ dài lớn nhất từ một bigram cho trước, cho nên chuỗi m-gram (m<n) sẽ không được sinh ra. - Thêm vào đó, nó là đơn giản hóa hơn rất nhiều quá trình tính toán các collocation là n-gram, vì nó chỉ xét các câu có chứa các bigram với các khoảng cách cho trước là kết quả của giai đoạn một. So với các phương pháp đã được tiến hành trước đó như của Chouka, phương pháp này tỏ ra hiệu quả rõ rệt, đặc biệt là trên một tập dữ liệu lớn vì nó giúp giảm đáng kể thời gian tính toán. 3.3. KẾT QUẢ THỰC NGHIỆM Bảng 3-2: Một số bigram là kết quả của giai đoạn 1 W wi Distance freq doanh nghiệp tư_nhân 1 94 doanh nghiệp tư_nhân 2 112 cơ_sở pháp_lý 1 60 cơ_sở sản_xuất 1 136 cơ_sở vật_chất 1 146 cơ_sở y_tế 1 80 cơ_sở y_tế 3 9 vai_trò quan_trọng 2 83 vai_trò quan_trọng 3 28 Chúng tôi tiến hành chạy chương trình với bộ dữ liệu được sưu tầm từ các báo Lao động và PCWorld, gồm khoảng 300,000 câu tương đương với 7,142,500 từ. Sau khi cho tập dữ liệu qua chương trình tiền xử lý (nhằm trích chọn các cụm danh từ), chúng tôi thu được khoảng 719,000 cụm danh từ. Trong giai đoạn một, ngưỡng k0 (được đưa vào để lọc các bigrams theo điều kiện C1) được cho chạy từ 0.1 đến 0.5 với độ lệch bằng 0.05. Như vậy, chúng ta sẽ thu được 9 tập kết quả. Từ 9 tập kết quả đó, chúng tôi cho sinh ngẫu nhiên 100 kết quả, và đánh giá 100 kết quả đó bằng tay. Bảng 3-2 minh họa một số kết quả thu được sau giai đoạn 1 và bảng 3-3 minh họa độ chính xác của chương trình ở giai đoạn 1 sau khi đánh giá tập kết quả: Bảng 3-3: Kết quả chạy chương trình ở giai đoạn 1 k0 Độ chính xác 31 0.1 80% 0.15 75% 0.2 84% 0.25 88% 0.3 84% 035 84% 0.4 83% 0.45 80% 0.5 80% Với k0 là ngưỡng được đưa vào để lọc các bigram theo điều kiện C1 Như vậy, độ chính xác của giai đoạn 1 đạt được khá cao. Nhìn vào bảng ta thấy, ngưỡng k0 = 0.25 làm cho chương trình có độ chính xác cao nhất. Chúng tôi lấy tập kết quả của giai đoạn 1 với ngưỡng k0 = 0.25 làm đầu vào cho giai đoạn 2. Với ngưỡng T được xác định bằng 0.3, chúng tôi thu được thêm 150 collocations có dạng từ 3-gram trở lên. Có thể nói, phương pháp được đề xuất trong chương này là phương pháp khả thi cho trích chọn collocations trong tiếng Việt. Độ chính xác đạt được ở cả hai giai đoạn đều khá cao. Điểm nổi bật của phương pháp này là nó cho phép trích chọn các collocations là n-gram. Giai đoạn 1 đóng vai trò trích chọn các collocation là bigram. Độ chính xác giai đoạn này đạt được trong khoảng trên 80% và trong phạm vi luận văn này, độ chính xác cao nhất đạt được khi ngưỡng k0 bằng 0.25 là 88%. Giai đoạn 2 có nhiệm vụ trích chọn các collocations là n-gram. Phương pháp được áp dụng giúp giảm đáng kể thời gian tính toán và độ phức tạp so với việc sinh tất cả các cụm n-gram và áp dụng các công thức thống kê vào để trích chọn. Bảng 3-4 minh họa một số bigram được trích chọn từ giai đoạn 2: Bảng 3-4: Một số cụm danh từ cố định được trích chọn từ giai đoạn 2 quyền hợp_pháp của quyền và nghĩa_vụ của người lao_động Cty tài_chính Sài_Gòn nhiều nội_dung về tình_hình kinh_tế vốn đầu_tư trực_tiếp 32 thông_tin về tình_hình chính_trị xã_hội điều_kiện để thúc_đẩy tăng_trưởng chủ_quyền từng tấc đất từng mét biển của ta vùng đồng_bào dân_tộc miền những nhiệm_vụ kinh_tế xã_hội 33 Chương 4. KẾT LUẬN Luận văn đã trình bày nghiên cứu về đề tài “Các kỹ thuật xác định collocations và ứng dụng cho tiếng Việt” và đạt các kết quả sau:  Về mặt lý thuyết, trong giới hạn của luận văn, chúng tôi đã tìm hiểu các khái niệm và kỹ thuật chung áp dụng cho trích chọn collocations. Từ đó, chúng tôi đưa ra cơ sở lý thuyết liên quan đến collocations cho tiếng Việt: định nghĩa, đặc trưng, phân loại và ứng dụng. Dựa trên cơ sở lý thuyết đó, chúng tôi xây dựng các phương pháp trích chọn, nghiên cứu tác động của việc tiền xử lý văn bản lên chương trình trích chọn, tìm ra độ lớn cửa sổ, thao tác tiền xử lý văn bản phù hợp cho chương trình trích chọn, đồng thời đề xuất một số phương pháp kết hợp nhằm tăng độ chính xác.  Về mặt thực nghiệm, chúng tôi đã xây dựng hệ thống trích chọn collocations dựa trên tất cả các phương pháp đã trình bày, tiến hành chạy thực nghiệm và đánh giá độ chính xác của các phương pháp, từ đó tìm ra, đề xuất, xây dựng mô hình hiệu quả cho trích chọn collocation trong tiếng Việt. Mô hình trích chọn collocation là cụm danh từ đạt được độ chính xác khá cao, hoàn toàn có thể mở rộng để trở thành một hệ thống trích chọn collcoations hiệu quả cho tiếng Việt.  Về việc đóng góp và xây dựng tài nguyên, luận văn đóng vai trò là một trong những nghiên cứu đầu tiên về collocations cho tiếng Việt. Chúng tôi đã xây dựng cơ sở lý thuyết liên quan, đưa ra một số phương pháp trích chọn khá hiệu quả cho tiếng Việt. Phương pháp trích chọn collocations có dạng cụm danh từ được đề xuất chứng tỏ là một hướng nghiên cứu khả thi trong trích chọn collocations trong tiếng Việt.  Hướng nghiên cứu trong tương lai trong thời gian tới, chúng tôi dự định sẽ tiếp tục nghiên cứu sâu hơn việc vận dụng các thông tin cú pháp vào chương trình trích chọn, mở rộng phương pháp trích chọn collocations là cụm danh từ để có thể trích chọn các loại collocations còn lại, đồng thời, nghiên cứu ứng dụng của từ điển collocation vào các ứng dụng xử lý ngôn ngữ tự nhiên (như dịch máy, sinh ngôn ngữ…). ii TÀI LIỆU THAM KHẢO [1]. Adam Kilgarriff and David Tugwell. WORD SKETCH: Extraction and Display of Significant Collocations for Lexicography. Proc. ACL workshop on COLLOCATION: Computational Extraction, Analysis and Exploitation. Toulouse, July: 32-38. [2]. Benson & Morton 1989. The structure of the collocational dictionary. In International Journal of Lexicography 2:1-14. [3]. Brigitte Krenn and Stefan Evert. Can we do better than frequency? A case study on extracting PP-verb collocations. In Proceedings of the ACL Workshop on Collocations, Toulouse, France, 39-46. [4]. Caroll J.,Minnen G., Pearse D., Canning Y., Delvin S. and Tait J. (1999). Simplifying text for language-impaired readers. In preceedings of 9th Conference of European Chapter of the ACL (EACL ’99), Bergen, Norway, June. [5]. Choueka, Yaacov, Fraenkel, Aviezri S., Klein, S.T.. "Compression of Concordances in Full-Text Retrieval Systems" (ed.) Proc. SIGIR, p. 597-612, 1988. [6]. Church, K. and Hanks, P. Word association norms, mutual information, and lexicography. In Proceedings of the 27th annual meeting on Association for Computational Linguistics, p. 76-83, 1989. [7]. Cowie, A. P. "The treatment of collocations and idioms in learners' dictionaries". In Applied Linguistics, Vol.II, No. 3, p.223-235, 1981. [8]. Cruse, D.A Lexical semantics. Cambridge University Press, 1991. [9]. Danieala Kurz, Feiyu Xu. Text Mining for the Extraction of Domain Relevant Terms and Term Collocations, In International Workshop on Computational Approaches to Collocations, Vienna, 2002. [10]. Darren Pearce. A Comparative Evaluation of Collocation Extraction Techniques. In The third International Conferene on Language Resources and Evaluation, p. 1530- 1536, 2002. [11]. Darren Pearce. Synonymy in Collocation Extraction. In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing: Volume 2 - Volume 2, Singapore, p.487-495, 2009. [12]. Darren Pearce. Using conceptual similarity for collocation extraction. In Proc. of the 4th UK Special Interest Group for Computational Linguistics (CLUK4), 2001. [13]. Dekang Lin. Extracting Collocations from Text Corpora. In First Workshop on Computational Terminology, p. 57--63, Montreal. iii [14]. Dekang Lin. Using Collocation Statistics in Information Extraction. In Proceedings of the 7th Message Understanding Conference, 1998c. [15]. Elisabeth Breidt. Extraction of V-N-Collocations from Text Corpora: A feasibility Study for German. In Proceedings of the Workshop on Very Large Corpora: Academic and Industrial Perspectives, Ohio State University, Columbus, OH, pp. 74-83. [16]. Eric Gaussier, David A. Hull, Salah Ait-Mokhatar. Term Alignment in Use: Machine-Aided Human Translation. In J. Veronis (Ed.), Parallel Text Processing Alignment and Use of Translation Corpora. Kluwer Academic Publishers. [17]. Firth J. R. A synopsis of linguistic theory 1930-1955. In Studies in Linguisti Analysis, pp 1-32. Oxford: Philological society. [18]. Frank Smadja and Kathleen McKeown, Translating Collocations for Use in Bilingual Lexicons. In Proceedings of a Workshop about Human Language Technology held at Plainsboro, New Jerey, USA, March 8-11, 1994. [19]. Frank Smadja. Retrieving Collocations from text: Xtract. In Computational Linguistics, Vol 19, p.143-177 (1993) [20]. Gerlof Bouma. Normalized (Pointwise) Mutual Information in Collocation Extraction. In: Chiarcos, Eckart de Castilho & Stede (eds), Von der Form zur Bedeutung: Texte automatisch verarbeiten / From Form to Meaning: Processing Texts Automatically, Proceedings of the Biennial GSCL Conference 2009, pp31-40, Tübingen, Gunter Narr Verlag. [21]. Gitsaky C.Daigaku N. and Tailor R. (2000). English collocations and their place in the EFL. In Iranian Journal of Applied Linguistics, 6, p.137-169. [22]. Halliday, M. (1966). Patterns in words. The Listener, Vol. LXXV, no. 1920: p.53- 55. [23]. Howarth P. and Nesi H. The teaching of collocations in EAP. Technical report University of Leeds, June, 1996. [24]. Hua WU, Ming ZHOU, Synonymous Collocation Extraction Using Translation Information. In Proceedings of the 41st Annual Meeting on Association for Computational Linguistics, p.120-127, July 07-12, 2003, Sapporo, Japan [25]. Janyce Wiebe and Theresa Wilson and Matthew Bell. Identifying Collocation fro Recognizing Opinions. In Proceedings of the ACL-01 Workshop on Collocations: Computational Extraction, Analysis, and Exploitation, p.24-31. iv [26]. Jiansheng Yu, Zihui Jin, Zhenshan Wen. Automatic Detection of Collocation. In The 4th Chinese lexical semantics workshop, 2003. [27]. Johannes Matiasek and Marco Baroni. Exploiting long distance collocational relations in predictive typing. In project FASTY(IST-2000-25420). [28]. Justeson, John S., and Slava M. Katz. Technical terminology: some linguistic properties and an algorithm for identification in text. In Natural Language Engineering (1995), 1:9-27 Cambridge University Press. [29]. Kathleen R. McKKeown and Dragomir R. Radev. Collocations. In Robert Dale, Hermann Moisl, and Harold Somers, editors, A Handbook of NaturalLanguage Processing. Marcel Dekker, 2000. [30]. Kostas Fragos, Yannis Maistros, Christos Skourlas. Extracting Collocations in Modern Greek Language. In Proceedings of the 1st International Workshop on Natural Language Understanding and Cognitive Science, NLUCS 2004, In conjunction with ICEIS 2004, Porto, Portugal, April 2004 2004. [31]. Lin D. Extracting collocations from text corpora. In First Workshop on Computational Terminology, Montreal, Canada, Augaust. [32]. Manning C. and Schutze H. Foundations of Statiscal Natural Language Processing (Fifth Printing 2002). The MIT Press.A14 [33]. Pavel Pecina and Pavel Schlesinger. Combining Association Measures for Collocation Extraction. In Proceedings of the COLING/ACL on Main conference poster sessions, p.651-658, July 17-18, 2006, Sydney, Australia [34]. Qin Lu, Yin Li and Ruifeng Xu. Improving Xtract for Chinese Collocation Extraction. In Proceedings of IEEE Int. Conf. Natural Language Processing and Knowledge Engineering 2003, Beijing, p. 333-338 [35]. Sasa Petrovic. Collocation Extraction measures for text mining applications. Diploma Thesis num. 1693. 2007. [36]. Sabine Schulte In Walde. A Collocation Database for German Verbs and Nouns. In Proceedings of the 7th Conference on Computational Lexicography and Text Research. Budapest, Hungary, April 2003 [37]. Sayori Shimohata, Toshiyuki Sugio and Junji Nagata. Retrieving Collocations by Co-occurrences and Word Order Constraints. In Proceedings of the 35th Annual Meeting of the ACL and 8th Conference of the EACL (ACL-EACL'97), p. 476-81, Madrid, Spain, 1997 v [38]. Smith A. David (2002). Searching across language, time, and space: Detecting events with date and place information in unstructured text. In Proceedings of the second ACM/IEEE-CS joint conference on Digital libraries, July 2002. [39]. Violeta Seretan, Eric Wehrli. Accurate Collocation Extraction Using a Multilingual Parser. In Proceedings of the Workshop on Multilingual Language Resources and Interoperability, Sydney, Australia, p.40-49, 2006 [40]. Wan Yin Li, Qin Lu, James Liu. TCtract-A Collocation Extraction Approach for Noun Phrases Using Shallow Parsing Rules and Statistic Models. In 20th Pacific Asia Conference on Language, Information and Computation (PACLIC¡¦06), Wuhan, China, November 1-3, 2006, p. 109-116. vi PHỤ LỤC A: Bảng giá trị chỉ số t df\p 0.4 0.25 0.1 0.05 0.025 0.01 0.005 0.0005 1 0.32492 1 3.077684 6.313752 12.7062 31.82052 63.65674 636.6192 2 0.288675 0.816497 1.885618 2.919986 4.30265 6.96456 9.92484 31.5991 3 0.276671 0.764892 1.637744 2.353363 3.18245 4.5407 5.84091 12.924 4 0.270722 0.740697 1.533206 2.131847 2.77645 3.74695 4.60409 8.6103 5 0.267181 0.726687 1.475884 2.015048 2.57058 3.36493 4.03214 6.8688 6 0.264835 0.717558 1.439756 1.94318 2.44691 3.14267 3.70743 5.9588 7 0.263167 0.711142 1.414924 1.894579 2.36462 2.99795 3.49948 5.4079 8 0.261921 0.706387 1.396815 1.859548 2.306 2.89646 3.35539 5.0413 9 0.260955 0.702722 1.383029 1.833113 2.26216 2.82144 3.24984 4.7809 10 0.260185 0.699812 1.372184 1.812461 2.22814 2.76377 3.16927 4.5869 11 0.259556 0.697445 1.36343 1.795885 2.20099 2.71808 3.10581 4.437 12 0.259033 0.695483 1.356217 1.782288 2.17881 2.681 3.05454 4.3178 13 0.258591 0.693829 1.350171 1.770933 2.16037 2.65031 3.01228 4.2208 14 0.258213 0.692417 1.34503 1.76131 2.14479 2.62449 2.97684 4.1405 15 0.257885 0.691197 1.340606 1.75305 2.13145 2.60248 2.94671 4.0728 16 0.257599 0.690132 1.336757 1.745884 2.11991 2.58349 2.92078 4.015 17 0.257347 0.689195 1.333379 1.739607 2.10982 2.56693 2.89823 3.9651 18 0.257123 0.688364 1.330391 1.734064 2.10092 2.55238 2.87844 3.9216 19 0.256923 0.687621 1.327728 1.729133 2.09302 2.53948 2.86093 3.8834 20 0.256743 0.686954 1.325341 1.724718 2.08596 2.52798 2.84534 3.8495 21 0.25658 0.686352 1.323188 1.720743 2.07961 2.51765 2.83136 3.8193 22 0.256432 0.685805 1.321237 1.717144 2.07387 2.50832 2.81876 3.7921 23 0.256297 0.685306 1.31946 1.713872 2.06866 2.49987 2.80734 3.7676 24 0.256173 0.68485 1.317836 1.710882 2.0639 2.49216 2.79694 3.7454 25 0.25606 0.68443 1.316345 1.708141 2.05954 2.48511 2.78744 3.7251 26 0.255955 0.684043 1.314972 1.705618 2.05553 2.47863 2.77871 3.7066 27 0.255858 0.683685 1.313703 1.703288 2.05183 2.47266 2.77068 3.6896 28 0.255768 0.683353 1.312527 1.701131 2.04841 2.46714 2.76326 3.6739 29 0.255684 0.683044 1.311434 1.699127 2.04523 2.46202 2.75639 3.6594 30 0.255605 0.682756 1.310415 1.697261 2.04227 2.45726 2.75 3.646 inf 0.253347 0.67449 1.281552 1.644854 1.95996 2.32635 2.57583 3.2905 vii PHỤ LỤC B: Bảng giá trị chỉ số Chi bình phương df\area 0.995 0.99 0.975 0.95 0.9 0.75 0.5 0.25 0.1 0.05 0.025 0.01 0.005 1 0.00004 0.00016 0.00098 0.00393 0.01579 0.10153 0.45494 1.3233 2.70554 3.84146 5.02389 6.6349 7.87944 2 0.01003 0.0201 0.05064 0.10259 0.21072 0.57536 1.38629 2.77259 4.60517 5.99146 7.37776 9.21034 10.59663 3 0.07172 0.11483 0.2158 0.35185 0.58437 1.21253 2.36597 4.10834 6.25139 7.81473 9.3484 11.34487 12.83816 4 0.20699 0.29711 0.48442 0.71072 1.06362 1.92256 3.35669 5.38527 7.77944 9.48773 11.14329 13.2767 14.86026 5 0.41174 0.5543 0.83121 1.14548 1.61031 2.6746 4.35146 6.62568 9.23636 11.0705 12.8325 15.08627 16.7496 6 0.67573 0.87209 1.23734 1.63538 2.20413 3.4546 5.34812 7.8408 10.64464 12.59159 14.44938 16.81189 18.54758 7 0.98926 1.23904 1.68987 2.16735 2.83311 4.25485 6.34581 9.03715 12.01704 14.06714 16.01276 18.47531 20.27774 8 1.34441 1.6465 2.17973 2.73264 3.48954 5.07064 7.34412 10.21885 13.36157 15.50731 17.53455 20.09024 21.95495 9 1.73493 2.0879 2.70039 3.32511 4.16816 5.89883 8.34283 11.38875 14.68366 16.91898 19.02277 21.66599 23.58935 10 2.15586 2.55821 3.24697 3.9403 4.86518 6.7372 9.34182 12.54886 15.98718 18.30704 20.48318 23.20925 25.18818 11 2.60322 3.05348 3.81575 4.57481 5.57778 7.58414 10.341 13.70069 17.27501 19.67514 21.92005 24.72497 26.75685 12 3.07382 3.57057 4.40379 5.22603 6.3038 8.43842 11.34032 14.8454 18.54935 21.02607 23.33666 26.21697 28.29952 13 3.56503 4.10692 5.00875 5.89186 7.0415 9.29907 12.33976 15.98391 19.81193 22.36203 24.7356 27.68825 29.81947 14 4.07467 4.66043 5.62873 6.57063 7.78953 10.16531 13.33927 17.11693 21.06414 23.68479 26.11895 29.14124 31.31935 15 4.60092 5.22935 6.26214 7.26094 8.54676 11.03654 14.33886 18.24509 22.30713 24.99579 27.48839 30.57791 32.80132 16 5.14221 5.81221 6.90766 7.96165 9.31224 11.91222 15.3385 19.36886 23.54183 26.29623 28.84535 31.99993 34.26719 17 5.69722 6.40776 7.56419 8.67176 10.08519 12.79193 16.33818 20.48868 24.76904 27.58711 30.19101 33.40866 35.71847 18 6.2648 7.01491 8.23075 9.39046 10.86494 13.67529 17.3379 21.60489 25.98942 28.8693 31.52638 34.80531 37.15645 19 6.84397 7.63273 8.90652 10.11701 11.65091 14.562 18.33765 22.71781 27.20357 30.14353 32.85233 36.19087 38.58226 20 7.43384 8.2604 9.59078 10.85081 12.44261 15.45177 19.33743 23.82769 28.41198 31.41043 34.16961 37.56623 39.99685 21 8.03365 8.8972 10.2829 11.59131 13.2396 16.34438 20.33723 24.93478 29.61509 32.67057 35.47888 38.93217 41.40106 22 8.64272 9.54249 10.98232 12.33801 14.04149 17.23962 21.33704 26.03927 30.81328 33.92444 36.78071 40.28936 42.79565 23 9.26042 10.19572 11.68855 13.09051 14.84796 18.1373 22.33688 27.14134 32.0069 35.17246 38.07563 41.6384 44.18128 24 9.88623 10.85636 12.40115 13.84843 15.65868 19.03725 23.33673 28.24115 33.19624 36.41503 39.36408 42.97982 45.55851 25 10.51965 11.52398 13.11972 14.61141 16.47341 19.93934 24.33659 29.33885 34.38159 37.65248 40.64647 44.3141 46.92789 26 11.16024 12.19815 13.8439 15.37916 17.29188 20.84343 25.33646 30.43457 35.56317 38.88514 41.92317 45.64168 48.28988 27 11.80759 12.8785 14.57338 16.1514 18.1139 21.7494 26.33634 31.52841 36.74122 40.11327 43.19451 46.96294 49.64492 28 12.46134 13.56471 15.30786 16.92788 18.93924 22.65716 27.33623 32.62049 37.91592 41.33714 44.46079 48.27824 50.99338 29 13.12115 14.25645 16.04707 17.70837 19.76774 23.56659 28.33613 33.71091 39.08747 42.55697 45.72229 49.58788 52.33562 30 13.78672 14.95346 16.79077 18.49266 20.59923 24.47761 29.33603 34.79974 40.25602 43.77297 46.97924 50.89218 53.67196