Luận văn Nghiên cứu bài toán xác định Collocation trong tiếng Việt

s=1.07) và trung bình . 15 Hình 2c. Sự xuất hiện của strong cùng với for là một phân bổ đều hơn. Có xu hƣớng strong xuất hiện trƣớc for (vì vậy, trung bình là ), nhƣng thực ra nó có thể xuất hiện ở bất cứ vị trí nào xung quanh for. Độ chênh lệch cao s = 2.15 đã chỉ ra sự thay đổi này. Từ đó thấy rằng for và strong không tạo thành collocation. Bảng 5 đƣa ra các collocation có thể đƣợc tìm thấy bằng phƣơng pháp Kỳ vọng và phƣơng sai. Bảng 5. Tìm kiếm collocation dựa vào Kỳ vọng và phƣơng sai. Bảng này cho biết độ lệch mẫu s và trung bình mẫu của các khoảng cách giữa 12 cặp từ. Nếu trung bình gần với 1.0 và độ lệch thấp (nhƣ trƣờng hợp từ New York), phƣơng pháp Kỳ vọng và phƣơng sai cho kết quả tìm kiếm collocation không khác mấy so với phƣơng pháp Tần suất của Justeson và Katz. Nếu trung bình lớn hơn rất nhiều so với 1.0 thì độ lệch thấp sẽ cho biết các cụm từ nào đáng đƣợc quan tâm. Ví dụ: - Cặp từ previous / games (khoảng cách là 2) tƣơng ứng với các cụm từ nhƣ in the previous 10 games hoặc in the previous 15 games... - Cặp từ minus / points tƣơng ứng với các cụm từ nhƣ minus 2 percentage points, minus 3 percentage points... 16 Độ lệch cao chỉ ra rằng hai từ không có mối quan hệ mật thiết với nhau. Điều này đƣợc chứng minh qua nhóm thứ hai (gồm 4 cặp từ với giá trị phƣơng sai cao) trong ví dụ ở Bảng 5. Phƣơng pháp tìm kiếm collocation dựa vào giá trị kỳ vọng và phƣơng sai đƣợc trình bày ở trên là của Smadja [24]. Smadja chỉ ra rằng phƣơng pháp của ông khá thành công trong việc trích ra các thuật ngữ (với độ chính xác ƣớc lƣợng khoảng 80%) và trong việc xác định các cụm từ phù hợp cho việc sinh ngôn ngữ – natural language generation (Smadja và McKeown 1990 [23]). Tuy nhiên, sự kết hợp knocked / door không phải collocation ta muốn phân loại – mặc dù có thể nó rất có ích cho mục đích sinh văn bản (text generation). Phƣơng pháp phát hiện collocation dựa vào phƣơng sai là một phƣơng pháp phù hợp nếu chúng ta muốn tìm kiếm kiểu kết hợp từ nhƣ knocked... door. 2.3. Kiểm thử Giả thuyết (Hypothesis testing) Trong thực tế, có nhiều sự kết hợp từ mà giá trị tần suất cao và phƣơng sai thấp. Điều mà chúng ta cần tìm hiểu, đó là có hay không hai từ xuất hiện cùng với nhau thƣờng xuyên mà không phải là sự xuất hiện ngẫu nhiên. Việc đánh giá một biến cố có xảy ra hay không là một trong những bài toán kinh điển. Nó thƣờng bị ẩn đi trong các thuật ngữ của Kiểm thử Giả thuyết (hypothesis testing). Có một giả thuyết đƣợc gọi là Giả thuyết Không (null hypothesis) , chỉ xét sự kết hợp từ ngẫu nhiên. Ta sẽ tính toán xác suất p mà biến cố sẽ xảy ra nếu đúng, và sau đó loại nếu p quá nhỏ (p < 0.05, 0.01, 0.005, 0.001, thông thƣờng ngƣời ta lấy ngƣỡng là trong các thực nghiệm khoa học) hoặc giữ lại trong trƣờng hợp ngƣợc lại. Đây là một cách phân tích dữ liệu mà chúng ta phải xem xét cùng lúc hai việc. Trƣớc mắt, chúng ta sẽ đi tìm kiếm các mẫu đặc biệt trong dữ liệu, nhƣng bên cạnh đó, cần phải tính toán đƣợc lƣợng dữ liệu đã đƣợc quan sát. Thậm chí nếu có một mẫu rất tốt, thì chúng ta vẫn sẽ đánh giá thấp nó nếu nhƣ không có đủ dữ liệu quan sát để có thể chắc chắn rằng mẫu đó tồn tại không phải do ngẫu nhiên. Giả thuyết Không là đúng nếu hai từ không tạo thành một collocation. Giả sử rằng mỗi từ và đƣợc sinh ra một cách hoàn toàn độc lập với nhau, vì vậy khả năng chúng xuất hiện cùng nhau là: 17 Công thức cho thấy rằng xác suất cùng xuất hiện của hai từ chỉ là kết quả của các xác suất riêng của mỗi từ . 2.3.1. Kiểm thử t (t test) Cần phải có một phép thử thống kê để kiểm tra xác suất cùng xuất hiện của các từ. Phép thử đƣợc sử dụng rộng rãi trong việc tìm kiếm collocation là t test. T test xem xét trung bình và phƣơng sai của một mẫu các phép đo, mà theo Giả thuyết Không, mẫu đó đƣợc rút ra từ một phân bổ với trung bình μ. Phép thử xét sự khác nhau giữa trung bình đƣợc quan sát và trung bình kỳ vọng (đƣợc đo bằng phƣơng sai của dữ liệu) sẽ cho chúng ta một giá trị trung bình và phƣơng sai đặc biệt hơn, với giả thiết mẫu đƣợc rút ra từ một phân phối thông thƣờng với trung bình μ. Để xác định đƣợc xác suất của một mẫu đặc biệt, cần tính toán giá trị thống kê t: là trung bình mẫu là phƣơng sai mẫu là kích thƣớc mẫu là trung bình của phân phối Nếu t đủ lớn, chúng ta có thể loại bỏ Giả thuyết Không. Chúng ta có thể tìm ra chính xác là t cần phải lớn nhƣ thế nào bằng cách tra cứu trong Bảng phân phối t (Phụ lục). Để thấy rõ hơn việc sử dụng t test để tìm kiếm collocation, chúng ta sẽ tính giá trị t cho cụm từ new companies. Vấn đề là chúng ta sẽ đo giá trị trung bình và phƣơng sai của một mẫu nhƣ thế nào. Có một cách, là coi kho ngữ liệu nhƣ một chuỗi dài gồm N bigram, các mẫu sẽ đƣợc lấy bằng 1 nếu bigram đang kiểm tra xuất hiện, và bằng 0 trong trƣờng hợp ngƣợc lại. Các xác suất để new và companies xuất hiện trong kho ngữ liệu đƣợc tính nhƣ sau: 18 Trong kho ngữ liệu ví dụ, new xuất hiện 15828 lần, companies xuất hiện 4675 lần, và có tất cả 14307668 bigram. Giả thuyết Không quy ƣớc rằng sự xuất hiện các biến cố new và companies phải độc lập với nhau. Trung bình của phân phối này là và phƣơng sai là (xấp xỉ này đƣợc sử dụng cho tất cả các bigram có xác suất p nhỏ). Cụm từ new companies xuất hiện 8 lần trên tổng số 14307668 bigram trong kho ngữ liệu. Vì thế, đối với mẫu này, chúng ta có trung bình mẫu là . Theo công thức tính t: Vì số mẫu rất lớn nên có thể xem bậc tự do (degrees of freedom) df = ∞, với ngƣỡng cho xác suất p là , tra trong Bảng phân phối t (Phụ lục) đƣợc giá trị 2.57583. Dễ thấy t < 2.57583 nên không thể loại bỏ Giả thuyết Không (Giả thuyết Không là đúng vì new và companies tuy cùng xuất hiện nhƣng vẫn độc lập với nhau), vì vậy new companies không phải là collocation. Bảng 6 cho thấy các giá trị t của 10 bigram xuất hiện với tần suất 20 lần trong kho ngữ liệu. Đối với 5 bigram đầu tiên, chúng ta có thể loại bỏ Giả thuyết Không với , vì vậy các bigram này rất có thể là các collocation. Phép tính t cho 5 bigram cuối cùng không cho kết quả tốt, vì vậy có khả năng chúng không phải là collocation. 19 Bảng 6. Xếp hạng 10 bigram xuất hiện với cùng tần suất là 20 với Kiểm thử t. Chú ý rằng phƣơng pháp Tần suất không thể xếp hạng đƣợc 10 bigram khi chúng xuất hiện với tần suất bằng nhau. Nhìn vào Bảng 6, có thể thấy phép thử t test tính số lần cùng xuất hiện của hai từ trong bigram. C( ) liên quan đến tần suất của các từ thành phần. Nếu tần suất của cả hai từ là cao (Ayatollah Ruhollah, videocassette recorder) hoặc ít nhất là tần suất của một trong hai từ (unsaled) trong bigram là rất cao thì giá trị t của chúng cũng cao. Đánh giá này dựa nhiều vào trực giác. Phép thử t test và các phép thử thống kê khác rất có ích trong một số phƣơng pháp xếp hạng collocation (ranking collocation). 2.3.2. Kiểm thử Giả thuyết để đo sự khác biệt giữa hai tập hợp (Hypothesis testing of differences) Trong lĩnh vực từ điển học, công thức t test không thể tìm ra các từ để phân biệt tốt nhất nghĩa của strong và powerful. Church và Hanks (1989) [11] đã khắc phục điều này bằng việc đề xuất một công thức tính t khác. Bảng 7 liệt kê các từ đi cùng với powerful có ý nghĩa hơn là với strong (10 từ đầu), và các từ đi cùng với strong có ý nghĩa hơn là với powerful (10 từ cuối). 20 Bảng 7. Kiểm thử giả thuyết để đo sự khác biệt giữa hai tập hợp: các từ xuất hiện có ý nghĩa với powerful và strong. Giá trị t trong trƣờng hợp này đƣợc tính toán bằng cách sử dụng mở rộng của phép thử t test để so sánh các trung bình của hai tập hợp: Ở đây, Giả thuyết Không quy định rằng sai khác trung bình bằng 0 (μ = 0), vì thế ta có . Mẫu số là tổng các giá trị phƣơng sai riêng của hai tập hợp đang đƣợc so sánh. Các giá trị t trong Bảng 7 đƣợc tính toán nhƣ sau: Nếu w là một từ có ý nghĩa (ví dụ, computers hoặc symbol) và , là các từ chúng ta sẽ so sánh (ví dụ, powerful và strong), thì ta có (sử dụng lại xấp xỉ với p rất nhỏ): 21 Rút gọn lại công thức trên, thu đƣợc: C(x) là số lần x xuất hiện trong văn bản. Công thức tính t do Church và Hanks (1989) [10] xây dựng rất có ích cho việc biên soạn từ điển. Khi biên soạn từ điển, ngoài việc nhìn vào ý nghĩa của từ, còn phải xem xét đến những đặc trƣng riêng về văn hóa. Ví dụ, ngƣời ta thƣờng nói strong tea, nhƣng mặt khác lại nói powerful drugs, sự khác nhau đã nói cho chúng ta biết về thói quen dùng từ nhiều hơn là về ngữ nghĩa của hai tính từ strong và powerful (Church 1991) [11]. 2.4. Kiểm thử khi-bình phƣơng (Pearson’s chi-square test) T test có nhƣợc điểm là nó thừa nhận các xác suất đƣợc phân bổ theo cách xấp xỉ thông thƣờng, điều này trong thực tế là không đúng (theo Church và Mercer 1993) [7]. Vào năm 1900, Karl Pearson đã phát triển một thống kê ( ) so sánh các giá trị đƣợc quan sát và kỳ vọng khi dữ liệu đƣợc chia thành các mục riêng biệt. Các giá trị quan sát (observed) và kỳ vọng (expected) có thể đƣợc giải thích trong phạm vi các giả thuyết kiểm tra (hypothesis testing). Tức là nếu dữ liệu đƣợc phân chia thành các mục riêng và có định nghĩa Giả thuyết Không trên dữ liệu đó thì giá trị đƣợc kỳ vọng là giá trị của mỗi mục nếu nhƣ Giả thuyết Không là đúng, giá trị đƣợc quan sát là giá trị mỗi mục mà ta quan sát từ dữ liệu mẫu [17]. Kiểm thử khi-bình phƣơng ( test) của Pearson là phép thử đáng tin cậy hơn phép Kiểm thử t [17]. Trong trƣờng hợp đơn giản nhất, phép thử khi-bình phƣơng đƣợc sử dụng với bảng 2x2 nhƣ minh họa ở Bảng 8. 22 8 (new companies) 4667 (e.g., old companies) 15820 (e.g., new machines) 14287173 (e.g., old machines) Bảng 8. Bảng 2x2 chỉ ra sự phụ thuộc của sự xuất hiện new và companies. Cụm new companies xuất hiện 8 lần trong kho ngữ liệu, có 4667 bigram mà từ thứ hai là companies và từ đầu tiên không phải là new, có 15820 bigram mà từ đầu tiên là new và từ thứ hai không phải là companies, và 14287181 bigram không chứa cả new và companies. Bản chất của phép thử là so sánh các giá trị tần suất đƣợc quan sát trong bảng với các giá trị tần suất đƣợc kỳ vọng cho sự độc lập. Nếu sự sai khác giữa các giá trị này là lớn thì chúng ta có thể loại bỏ Giả thuyết Không về tính độc lập. Bảng 8 cho thấy phân phối của new và companies trong kho ngữ liệu. Nhớ lại rằng , , , và có 14307668 bigram trong kho ngữ liệu. Điều đó có nghĩa là số lƣợng các bigram với từ tố đầu tiên khác new và từ tố thứ hai là companies là 4667 = 4675 – 8. Hai ô ở hàng cuối cùng đƣợc tính toán tƣơng tự. Thống kê cộng tổng các sai khác giữa giá trị tần suất quan sát đƣợc và giá trị tần suất đƣợc kỳ vọng trong tất cả các ô của bảng. Giá trị đƣợc tính theo công thức: i là các hàng j là các cột là giá trị tần suất quan sát đƣợc ở ô (i,j). là giá trị tần suất đƣợc kỳ vọng cho ô (i,j). 23 Các giá trị tần suất đƣợc kỳ vọng đƣợc tính toán từ các xác suất giới hạn, có nghĩa là từ toàn bộ các hàng và các cột của bảng. Sau đây là các tính toán chi tiết với ví dụ về cụm từ new companies: Giá trị tần suất quan sát đƣợc: Row total Column total Giá trị tần suất đƣợc kỳ vọng: Row total Column total Nếu new và companies xuất hiện hoàn toàn độc lập với nhau thì ta sẽ kỳ vọng tần suất xuất hiện trung bình của new companies trong kho ngữ liệu là . Áp dụng công thức tính giá trị : 24 Cách tính nhƣ trên có thể đƣợc ứng dụng với các bảng có kích thƣớc bất kỳ. Với bảng 2x2, công thức đƣợc khai triển nhƣ sau: Áp dụng công thức này để tính giá trị cho ví dụ ở Bảng 8: Bậc tự do (degrees of freedom): df = (row total - 1)(column total - 1) = (2 - 1)(2 - 1) = 1. Tra trong Bảng phân phối (Phụ lục), nếu chọn thì ứng với df = 1, giá trị tới hạn của là 3.84146. Vì vậy không thể loại bỏ Giả thuyết Không, có nghĩa là new và companies xuất hiện độc lập với nhau, chứng tỏ new companies rất có thể không phải là một collocation. Kết quả này tƣơng tự kết quả đạt đƣợc với thống kê t (trong phép thử t test). Thông thƣờng, đối với bài toán tìm kiếm collocation, sự khác nhau giữa thống kê t và không quá lớn. Ví dụ, 20 bigram với giá trị t lớn nhất trong kho ngữ liệu ví dụ cũng là 20 bigram có giá trị lớn nhất. Phép thử cũng phù hợp với các xác suất lớn, cho những giả thiết thông thƣờng mà phép thử t test thất bại. Điều này có lẽ là lý do khiến đƣợc ứng dụng trong những miền rộng hơn của bài toán tìm kiếm collocation. Một trong số các cách sử dụng phép thử trong lĩnh vực thống kê xử lý ngôn ngữ tự nhiên là nhận diện các cặp dịch trong tập các kho ngữ liệu tƣơng ứng (Church và Gale 1991 dùng một độ đo gọi là ) [7]. 25 Dữ liệu trong Bảng 9 đã đƣa ra một khẳng định chắc chắn rằng vache trong tiếng Pháp dịch sang tiếng Anh là cow. Ở đây, 59 là số các cặp câu tiếng Anh và câu tiếng Pháp có chứa tƣơng ứng cow và vache... Giá trị tính toán đƣợc ở đây rất cao: . Vì thế chúng ta có thể loại bỏ Giả thuyết Không, cow và vache xuất hiện một cách độc lập với nhau với một độ tin cậy cao. Cặp từ này là rất có thể là một cặp dịch. Bảng 9. Tƣơng ứng của vache và cow trong hai kho ngữ liệu đã sắp xếp tƣơng ứng. Bằng cách sử dụng phép thử cho bảng này, có thể chỉ ra rằng vache và cow là hai từ dịch ra của nhau trong tiếng Pháp và tiếng Anh. Một ứng dụng quan trọng của là sử dụng nhƣ một chuẩn đo (metric) sự tƣơng đồng kho ngữ liệu (Kilgarriff và Rose 1998) [20]. Để làm đƣợc điều này, cần sử dụng một bảng nx2 với n rất lớn (ví dụ n = 500), 2 cột tƣơng ứng với hai kho ngữ liệu. Mỗi hàng ứng với một từ riêng biệt. Ví dụ đƣợc mô tả trong Bảng 10. Bảng 10. Phép thử cho sự độc lập của các từ trong các kho ngữ liệu khác nhau, sử dụng . Phép thử này có thể đƣợc sử dụng nhƣ là một chuẩn đo sự tƣơng đồng của các kho ngữ liệu. Nếu tỉ số các lần đếm gần nhƣ là bằng nhau (nhƣ trƣờng hợp trong Bảng 10, mỗi từ xuất hiện trong kho ngữ liệu 1 nhiều hơn trong kho ngữ liệu 2 khoảng 6 lần) thì chúng ta không thể loại bỏ Giả thuyết Không (Giả thuyết Không trong trƣờng hợp này quy ƣớc: cả hai kho ngữ liệu đƣợc rút ra dƣới cùng một nguồn). Mặt khác, nếu tỉ số khác nhau nhiều thì giá trị sẽ cao, điều này chứng tỏ độ không tƣơng đồng cao. 26 2.5. Các tỉ lệ likelihood (Likelihood ratios) 2.5.1. Tỉ lệ likelihood (Likelihood ratio) Likelihood ratio là phƣơng pháp khác để tìm kiếm collocation. Phƣơng pháp này phù hợp đối với các dữ liệu rải rác hơn là phép thử . Giá trị thống kê mà ta sẽ tính toán sau đây (likelihood ratio) dễ hiểu hơn là thống kê . Đơn giản, đó là một số đo cho chúng ta biết rằng, một Giả thuyết thích hợp hơn so với các Giả thuyết khác nhƣ thế nào. Để áp dụng phép thử likelihood radio cho việc tìm kiếm collocation, xem xét hai giả thuyết sau về tần suất xuất hiện của bigram (Dunning 1993) [13]: Giả thuyết 1. Giả thuyết 2. Giả thuyết 1 là hình thức hóa của tính độc lập (sự xuất hiện của không phụ thuộc vào việc đã xuất hiện hay chƣa). Giả thuyết 2 là hình thức hóa của tính phụ thuộc, là một dấu hiệu tốt cho sự xuất hiện một collocation (giả thiết rằng nếu Giả thuyết 2 đúng, hiếm có trƣờng hợp , nếu có, nó sẽ tạm thời đƣợc bỏ qua). Sử dụng các ƣớc lƣợng likelihood cực đại thông thƣờng cho và gán cho số lần xuất hiện của trong kho ngữ liệu: Công thức 1 (N = 14307668) Với phân phối nhị thức: Likelihood từ việc tính toán mà chúng ta đã quan sát thực sự là: (theo Giả thuyết 1) (theo Giả thuyết 2) Bảng 11 tổng kết lại những công thức tính toán này. 27 Bảng 11. Cách tính toán giá trị likelihood của Dunning. Ví dụ, likelihood của Giả thuyết là kết quả của hai dòng cuối cùng trong cột ngoài cùng bên phải. Ta thu đƣợc các likelihood và bằng cách nhân hai dòng cuối cùng, tƣơng ứng là các likelihood của số lần xuất hiện theo lý thuyết của và . Logarit của tỉ lệ giữa hai likelihood và là: Trong đó . Bảng 12 liệt kê 20 bigram chứa powerful có hạng cao nhất theo tỉ lệ likelihood khi phép thử likelihood ratio đƣợc ứng dụng trong kho ngữ liệu New York Times. Tất cả các bigram xuất hiện ở đây đều đƣợc xét đến, kể cả những bigram ít xuất hiện (ví dụ, powerful cudgels xuất hiện 2 lần). 28 Bảng 12. Các bigram có chứa powerful với hạng cao nhất theo phép thử likelihood ratio của Dunning. Phép thử likelihood ratio cũng có ƣu điểm là thích hợp dùng cho các dữ liệu rải rác hơn là phép thử . Nhƣng vấn đề là sử dụng phép thử likelihood ratio nhƣ thế nào? Nếu là tỉ số các giá trị likelihood của một “hình thái đặc biệt” thì đại lƣợng là phân bổ tiệm cận (Mood 1974) [20]. Vì thế có thể dùng các giá trị trong Bảng 12 để kiểm tra Giả thuyết và Giả thuyết . Ví dụ, có thể tra giá trị của phân phối cho powerful cudgels và loại bỏ Giả thuyết cho bigram này (với độ tin cậy thì giá trị xác suất giới hạn là 7.88). “Hình thái đặc biệt” của tỉ số likelihood cần tìm ở đây là tỉ số giữa ƣớc lƣợng likelihood cực đại trên một phần của không gian biến và tỉ số ƣớc lƣợng likelihood cực đại trên toàn bộ không gian biến. Đối với tỉ số likelihood trong công thức , toàn bộ miền không gian là không gian của cặp xác suất : là xác suất xuất hiện ở vị trí sau và là xác 29 suất xuất hiện sau một từ bất kỳ khác . Lấy likelihood cực đại cho dữ liệu đã quan sát nếu giả thiết rằng các ƣớc lƣợng likelihood cực đại đƣợc tính toán theo Công thức 1. Một phần không gian là tập con của các trƣờng hợp có . Ƣớc lƣợng trong Công thức 1 đƣa lại giá trị likelihood cực đại trên một phần không gian dữ liệu đã quan sát. Nếu là tỉ số của hai likelihood (likelihood cực đại trên một phần không gian, và trên toàn bộ miền không gian), thì là phân bổ tiệm cận . Khái niệm “tiệm cận” có thể hiểu là khi “một số đủ lớn”. Có hay không các số đủ lớn trong các trƣờng hợp riêng biệt là rất khó để xác định đƣợc. Nhƣng Dunning đã chỉ ra rằng phép thử likelihood ratio nói chung là phù hợp để trích chọn collocation hơn là phép thử của Pearson [20]. 2.5.2. Các tỉ lệ tần suất tƣơng đối (Relative Frequency Ratios) Phần trên đã trình bày một vài phƣơng pháp xác định collocation trong một kho ngữ liệu. Tỉ lệ tần suất tƣơng đối giữa hai hay nhiều kho ngữ liệu khác nhau có thể đƣợc sử dụng để phát hiện collocation đặc trƣng cho mỗi kho ngữ liệu khi so sánh với một kho ngữ liệu khác (Damerau 1993) [20]. Mặc dù các tỉ lệ tần suất không thích hợp lắm trong một hệ các Giả thuyết kiểm tra, nhƣng có thể xem tỉ lệ tần suất nhƣ là tỉ lệ của các likelihood. Bảng 13 liệt kê 10 bigram xuất hiện chính xác là 2 lần trong kho ngữ liệu. Các bigram này đƣợc xếp hạng dựa vào tỉ lệ các tần suất tƣơng đối của chúng trong kho ngữ liệu năm 1990 so với kho ngữ liệu năm 1989 (vẫn là ấn bản của tờ New York Times từ tháng 8 đến tháng 11). Ví dụ, Karim Obeid xuất hiện 68 lần trong kho ngữ liệu năm 1989. Vì thế tỉ số tần suất tƣơng đối r là: 30 Bảng 13. Phép thử tỉ lệ tần suất của Damerau. Các ví dụ cho thấy rằng các tỉ lệ tần suất đó chủ yếu có ích trong việc tìm kiếm các collocation có dạng chủ thể - đặc trƣng (subject-specific). Damerau đã ứng dụng điều này để so sánh văn bản nói chung với văn bản chủ thể - đặc trƣng. 2.6. Thông tin tƣơng hỗ MI (Mutual information) Một thông tin về mặt lý thuyết đã thúc đẩy tiêu chuẩn để đánh giá tìm kiếm collocation, đó là thông tin tƣơng hỗ theo từng điểm (pointwise mutual information) [20]. Fano (1961) [20] đã khởi đầu định nghĩa về thông tin tƣơng hỗ giữa các biến cố riêng x’ và y’, sự xuất hiện của các từ riêng biệt là: Công thức 2 Công thức 3 Công thức 4 31 Loại thông tin tƣơng hỗ này gần nhƣ là để đo lƣợng thông tin từ mà một từ cho biết về từ kia. Trong lý thuyết về thông tin, thông tin tƣơng hỗ thƣờng đƣợc định nghĩa là các biến ngẫu nhiên (random variable) chứ không phải là giá trị của các biến ngẫu nhiên (values of random variable) nhƣ định nghĩa ở đây. Bảng 14. Tìm kiếm collocation dựa vào thông tin tƣơng hỗ. Trên Bảng 14 là 10 bigram xuất hiện với tần suất 20, đƣợc xếp hạng dựa vào thông tin tƣơng hỗ. Khi chấp nhận định nghĩa này với 10 collocation ở Bảng 6, chúng ta có đƣợc cùng một thứ hạng nhƣ đối với phép thử t test (Bảng 14). Thông thƣờng, sử dụng các ƣớc lƣợng likelihood cực đại để tính toán các tần suất, ví dụ: Vậy định nghĩa thông tin tương hỗ chính xác là gì, đúng ra phải đƣợc tính theo Công thức 2, 3 hay 4? Theo Fano: Lƣợng thông tin đƣợc cung cấp bởi sự xuất hiện biến cố [y’] về sự xuất hiện của biến cố [x’] đƣợc định nghĩa nhƣ sau: (Công thức 3) 32 Ví dụ, độ đo thông tin tƣơng hỗ cho biết lƣợng thông tin có đƣợc về sự xuất hiện của Ayatollah tại vị trí thứ i trong kho ngữ liệu sẽ tăng thêm 18.38 bit nếu biết trƣớc rằng Ruhollah xuất hiện ở vị trí i+1. Nói cách khác, Công thức 3 và 4 là tƣơng đƣơng nhau, nên lƣợng thông tin có đƣợc về sự xuất hiện của Ruhollah ở vị trí i+1 trong kho ngữ liệu cũng tăng 18.38 bit nếu biết trƣớc rằng Ayatollah xuất hiện ở vị trí thứ i. Cũng có thể nói rằng, tính bất định bị giảm đi 18.83 bit. Có thể chắc chắn hơn nhiều rằng Ruhollah sẽ xuất hiện tiếp theo nếu biết rằng từ hiện tại là Ayatollah. Đáng tiếc là độ đo thông tin tăng thêm này (increased information) trong nhiều trƣờng hợp không phải là một độ đo tốt về sự phù hợp giữa hai biến cố. Xem xét hai ví dụ trong Bảng 15, về sự phù hợp giữa câu Tiếng Anh và Tiếng Pháp trong kho ngữ liệu Hansard – một kho ngữ liệu đã đƣợc đồng chỉnh bởi Nghị viện Canada (tƣơng tự Bảng 9) [20]. Bảng 15. Sự phù hợp của chambre và house, communes và house trong kho ngữ liệu. Thông tin tƣơng hỗ của communes và house cao hơn, trong khi phép thử cho giá trị cao hơn đối với cặp dịch đúng (chambre, house). Trong kho ngữ liệu Hansard, cụm House of Commons trong câu Tiếng Anh tƣơng ứng với cụm Chambre de communes trong câu Tiếng Pháp. Có thể giải thích sự khác nhau giữa hai độ đo MI và khá dễ dàng nếu nhìn vào định nghĩa (Công thức 3) về thông tin tƣơng hỗ và so sánh giá trị I(chambre,house) với I(communes,house): 33 Từ communes trong Tiếng Pháp phù hợp với house trong Tiếng Anh hơn là từ chambre. Giá trị thông tin tƣơng hỗ cho communes cao hơn chứng tỏ communes đã làm giảm tính bất định ở đây. Nhƣng nhƣ ví dụ cho thấy sự giảm tính bất định không mấy phù hợp với những gì chúng ta muốn đo. Ngƣợc lại, là một phép thử trực tiếp sự phụ thuộc xác suất, mà trong ngữ cảnh này là mức độ liên kết giữa hai từ. Bảng 16 minh họa việc sử dụng thông tin tƣơng hỗ để tìm kiếm collocation: nửa bên trái bảng là 10 bigram xuất hiện đúng 1 lần trong 1000 tài liệu đầu tiên trong kho ngữ liệu và giá trị thông tin tƣơng hỗ của chúng trên 1000 tài liệu đó. Nửa bên phải bảng cho biết thông tin tƣơng hỗ dựa trên toàn bộ kho ngữ liệu (23000 tài liệu). Bảng 16. Thông tin tƣơng hỗ từ các dữ liệu rải rác. Bảng chỉ ra 10 bigram xuất hiện một lần trong 1000 tài liệu đầu tiên trong kho ngữ liệu đƣợc xếp hạng theo giá trị thông tin tƣơng hỗ trong 1000 tài liệu đầu (nửa bên trái bảng) và xếp hạng theo giá trị thông tin tƣơng hỗ trong toàn bộ kho ngữ liệu (nửa bên phải bảng). Kho ngữ liệu rộng hơn gồm 23000 tài liệu tạo ra nhiều ƣớc lƣợng tốt hơn. Các bigram marijuana growing và new converts (các cụm đƣợc cho là các collocation) đƣợc chuyển lên trên, còn Reds survived (chắc chắn không phải collocation) đƣợc chuyển xuống dƣới. Tuy nhiên, điều đặc biệt là có 6 bigram chỉ xuất hiện một lần, kết quả là có 34 các ƣớc lƣợng likelihood cực đại, và các giá trị thông tin tƣơng hỗ MI sai. Cả 6 bigram đó đều không phải collocation và cần có một độ đo để xếp hạng chúng. Không độ đo nào có thể làm việc tốt với các biến cố có tần suất xuất hiện thấp. Rõ ràng sự rải rác dữ liệu là một vấn đề đặc biệt khó khăn đối với thông tin tƣơng hỗ. Để thấy đƣợc lý do tại sao, chú ý rằng thông tin tƣơng hỗ là logarit tỉ số likelihood của xác suất và kết quả của các xác suất riêng , . Có hai trƣờng hợp đặc biệt về sự xuất hiện hai từ: sự phụ thuộc hoàn toàn (hai từ chỉ xuất hiện cùng nhau) và sự hoàn toàn không phụ thuộc (sự xuất hiện của một từ không cho chúng ta chút thông tin nào về sự xuất hiện của từ kia). Đối với sự phụ thuộc hoàn toàn, ta có: Đối với các bigram phụ thuộc hoàn toàn, thông tin tƣơng hỗ của chúng đƣợc tăng lên. Đối với sự hoàn toàn không phụ thuộc, ta có: Có thể nói rằng thông tin tƣơng hỗ MI là một độ đo tính độc lập rất tốt, các giá trị MI dần về 0 chỉ ra sự không phụ thuộc (độc lập về tần suất). Nhƣng đó là một độ đo tồi về tính phụ thuộc, vì đối với tính phụ thuộc, giá trị đo dựa vào tần suất của các từ riêng lẻ. Các bigram có các từ xuất hiện với tần suất thấp sẽ nhận giá trị cao hơn các bigram có các từ xuất hiện với tần suất cao. Điều này rất mâu thuẫn với độ đo mà chúng ta mong muốn, vì tần suất cao có ý nghĩa hơn so với tần suất thấp. Định nghĩa MI đƣợc trình bày ở trên là định nghĩa đƣợc chấp nhận rộng rãi trong lĩnh vực nghiên cứu ngôn ngữ học, nhƣng không phổ biến trong lý thuyết về thông tin. Thông tin tƣơng hỗ trong lý thuyết thông tin đề cập đến sự kỳ vọng : 35 Bảng 17 trình bày các định nghĩa khác nhau về thông tin tƣơng hỗ của Cover, Thomas (1991) [20] và Fano (1961) [17]. Bảng 17. Các định nghĩa khác nhau về thông tin tƣơng hỗ. Thông tin tƣơng hỗ thƣờng đƣợc sử dụng trong các ứng dụng thực hành (Fontenelle 1994) [20] hoặc nó đƣợc định nghĩa là để bù cho độ chênh lệch của định nghĩa gốc trong các biến cố có tần suất thấp (Fontenelle 1994, Hodges 1996) [20][15]. 36 Chƣơng 3. COLLOCATION TRONG TIẾNG VIỆT 3.1. Đặc điểm từ vựng Tiếng Việt T ỗ ằ . Dƣới đây là một số đặc điểm của từ vựng tiếng Việt theo quan điểm của các nhà ngôn ngữ học Việt Nam. 3.1.1. Đơn vị cấu tạo từ Đơn vị cơ sở để cấu tạo từ Tiếng Việt là các tiếng, cái mà ngữ âm học vẫn gọi là các âm tiết. Mặc dù nguyên tắc phổ biến là các từ đƣợc cấu tạo từ các hình vị, nhƣng hình vị trong các ngôn ngữ khác nhau có thể không nhƣ nhau. g, . Tiếng của Tiếng Việt có giá trị tƣơng đƣơng nhƣ hình vị trong các ngôn ngữ khác, và ngƣời ta cũng gọi chúng là các hình tiết (morphemesyllable) – âm tiết có giá trị hình thái học... [2] 3.1.2. Phƣơng thức cấu tạo từ Từ Tiếng Việt đƣợc cấu tạo hoặc là bằng các dùng một tiếng, hoặc là tổ hợp các tiếng lại theo lối nào đó. Phƣơng thức dùng một tiếng làm một từ sẽ cho ta các từ đơn (còn gọi là từ đơn tiết). Vậy từ đơn ở đây đƣợc hiểu là những từ cấu tạo bằng một tiếng. V T . Ví dụ: tôi, bác, người, nhà, cây, hoa, trâu, ngựa... đi, chạy, cười, đùa, vui, buồn, hay, đẹp... vì, nếu, đã, đang, à, ư, nhỉ, nhé... Việc tổ hợp tiếng phƣơng thức . : ... ừ : (e-mail), 37 (voice mail), (version), ... : ... [5] 3.1.3. Biến thể của từ Trong hoạt động của mình, một số từ tiếng Việt có thể có biến động về cấu trúc. Tuy nhiên, cần nói rằng đó không phải là những biến dạng theo nguyên tắc hình thái học nhƣ các dạng thức khác nhau của từ trong ngôn ngữ biến hình. Ở đây chúng thƣờng chỉ đƣợc coi là dạng lâm thời biến động hoặc dạng “lời nói” của từ. Có nghĩa rằng, những biến động ấy không đều đặn, không thƣờng xuyên ở tất cả mọi từ. Chúng chỉ lâm thời xảy ra ở một số từ trong một số trƣờng hợp sử dụng. Đại thể có những dạng biến động nhƣ sau [2]: a. Biến một từ có cấu trúc lớn, phức tạp hơn sang cấu trúc nhỏ, đơn giản hơn. Thực chất đây là sự rút gọn một từ dài thành từ ngắn hơn. Ví dụ: ki-lô-gram  ki lô/kí lô (ông) cử nhân  (ông) cử Xu hƣớng biến đổi này không có tính bắt buộc, không đều đặn ở mọi từ, và nhiều khi chỉ vì lí do tiết kiệm trong ngôn ngữ. Không phải ngày nay tiếng Việt mới có hiện tƣợng rút gọn nhƣ vậy, mà những cặp từ song song tồn tại giữa một bên là từ đa tiết với một bên là từ đơn tiết chứng tỏ rằng hiện tƣợng này đã có từ lâu. Chẳng hạn: ve ve  ve bươm bướm  bướm Rất nhiều tên gọi các tổ chức chính trị, xã hội, tôn giáo, các danh nhân, địa danh... trong tiếng Việt ngày nay đã đƣợc rút gọn lại nhƣ vậy. Ví dụ: Đảng Cộng sản Việt Nam  Đảng hợp tác xã  hợp 38 Xu hƣớng biến đổi một từ đơn giản thành một từ có cấu trúc phức tạp hơn, trong tiếng Việt hiện nay không thấy có. Rất có thể vì nó trái với nguyên tắc tiết kiệm mà ngƣời sử dụng ngôn ngữ thƣờng xuyên phải tính đến. b. Lâm thời phá vỡ cấu trúc của từ, phân bố lại yếu tố tạo từ với những yếu tố khác ngoài từ chen vào. Ví dụ: khổ sở  lo khổ lo sở ngặt nghẽo  cười ngặt cười nghẽo Sự biến đổi theo kiểu này rất đa dạng, nhằm nhiều mục đích. Cũng có khi ngƣời nói, với dụng ý ít nhiều mang tính chơi chữ, đã phá vỡ cấu trúc từ để dùng yếu tố tạo từ với tƣ cách nhƣ một từ. Ví dụ: tìm hiểu  tìm mà không hiểu đánh đổ  đánh mãi mà không đổ 3.1.4. Những quá trình diễn ra trong sự phát triển từ vựng Tiếng Việt Trong sự phát triển của từ vựng tiếng Việt mấy chục năm qua đã diễn ra những quá trình chủ yếu sau đây [3]: a. Sự hình thành, phát triển và toàn thắng của những từ ngữ cách mạng tiến bộ Những thuật ngữ cách mạng, tiến bộ về chính trị, xã hội và triết học đã phôi thai ở Việt Nam từ những năm 1930. Cho đến năm 1945, những từ ngữ cách mạng chỉ đƣợc lƣu hành trong phạm vi nào đó. Phải chờ đến năm 1945, khi Cách mạng Tháng Tám thành công, vốn từ cách mạng dồi dào sau bao năm tích luỹ mới bùng ra mạnh mẽ. Tất cả mọi ngƣời dân Việt Nam đều quen thuộc và hay dùng những từ ngữ mới của cách mạng nhƣ: cách mạng, cứu quốc, đế quốc, độc lập, phản đế, phản phong, quốc dân, thực dân, tiến bộ, Việt Minh... Từ đó đến nay, cùng với những bƣớc tiến vĩ đại của dân tộc trong hai cuộc chiến tranh bảo vệ Tổ quốc và công cuộc xây dựng chủ nghĩa xã hội, vốn từ ngữ cách mạng ngày càng phát triển, trở thành lớp từ tích cực, thâm nhập vào lời ăn tiếng nói hàng ngày của quần chúng. Trong khi đó, hàng loạt từ ngữ phản ánh những tƣ tƣởng chính trị, tôn giáo, triết học... lạc hậu, phản động trƣớc đây đƣợc dùng rộng rãi, ngày nay đã bị thu hẹp phạm vi 39 sử dụng hoặc có khi bị loại hẳn ra khỏi vốn từ tiếng Việt. Ví dụ: a dong, a hành, a đảng, ái quốc chủ nghĩa, can vanh chủ nghĩa, cao hoàng, cao môn, đạo nhân, đăng đệ... b. Sự thâm nhập mạnh mẽ của các từ ngữ dân gian vào ngôn ngữ văn hoá Cho đến những năm 20 của thế kỉ XX, Phạm Quỳnh vẫn coi “tiếng Nôm là lời tục trong dân gian của những kẻ không biết chữ” [4] và không thể dùng chúng trong văn chƣơng cao quý của các bậc học giả, trí thức. Thế nhƣng, mấy chục năm qua là thời kì vƣơn mình mạnh mẽ của tiếng nói dân tộc. Các từ ngữ dân gian đã thâm nhập mạnh mẽ vào ngôn ngữ văn hoá, trở thành bộ phận nòng cốt của ngôn ngữ văn hoá dân tộc. Tuy nhiên, ngày nay, chẳng mấy ai còn dùng những từ nhƣ: bằng hữu, bỉ nhân, cố nhân, đại huynh, lữ khách, ngõ hầu, phụng hành, tấu nhạc, tiện thiếp, tiểu đệ... c. Sự thâm nhập lẫn nhau của từ vựng khẩu ngữ và từ vựng sách vở Trong khi các từ thuộc khẩu ngữ hàng ngày của nhân dân đƣợc sử dụng rộng rãi trên sách báo các loại, là nguồn quan trọng để cấu tạo ra các thuật ngữ khoa học, kĩ thuật thì chúng ta lại thấy một quá trình ngƣợc lại: sự thâm nhập ngày càng nhiều của các từ vựng sách vở vào khẩu ngữ của quần chúng. Những thuật ngữ chính trị, xã hội thông thƣờng đã trở nên rất quen thuộc với tất cả mọi ngƣời: bình đẳng, cách mạng, cộng sản chủ nghĩa, dân chủ, hợp tác xã, làm chủ tập thể, phổ thông đầu phiếu,... Những thuật ngữ thuộc các lĩnh vực khác nhau nhƣ: chiến dịch, chiến lược, chiến thuật, hạt nhân, kế hoạch, mặt trận, nguyên tử, phân phối, tấn công, tiêu dùng... cũng khá phổ biến. Sở dĩ có tình hình trên là vì tình hình chính trị văn hoá của quần chúng ngày càng đƣợc nâng cao. Khoa học, kĩ thuật, sách vở, không còn là của cải riêng của một số ngƣời nào đó nữa mà dần dần trở thành vốn quý mà mọi ngƣời đều có quyền biết. d. Sự thâm nhập của các từ địa phƣơng vào ngôn ngữ văn học toàn dân và sự phổ biến rộng rãi của ngôn ngữ văn hoá toàn dân Sự phát triển của từ vựng tiếng Việt chẳng những là một quá trình làm giàu thêm kho từ ngữ của tiếng Việt mà còn là một quá trình thống nhất từ vựng, tiêu chuẩn hoá từ vựng tiếng Việt. Từ vựng tiếng Việt ngày càng thống nhất thì lẽ tự nhiên, những từ địa phƣơng sẽ bị gạt bỏ dần dần. Chính nhờ khuynh hƣớng đó mà ngôn ngữ văn hoá ngày càng trong sáng, mẫu mực hơn ngôn ngữ thƣờng ngày. Hơn nữa, những từ địa phƣơng 40 trong tác phẩm văn học sau này, nói chung, là những từ thƣờng dùng, có tần suất sử dụng cao [1]. Trong quá trình phát triển của từ vựng tiếng Việt, rất nhiều từ địa phƣơng đã đƣợc thu hút vào vốn từ toàn dân, làm giàu thêm cho ngôn ngữ văn hoá của toàn dân. Đó chính là những từ ngữ chỉ sản vật của địa phƣơng, những từ ngữ nghề nghiệp của riêng từ vựng, chẳng hạn: lúa vào sữa, lúa toát đòng, lợn kéo xác, mạ ngồi, ngô xoáy uốn, tằm ăn rỗi... 3.2. Khái niệm collocation trong Tiếng Việt Theo nhƣ cách dịch trong các cuốn từ điển Anh – Việt, Collocation nghĩa là “sự sắp xếp vào một chỗ, sự sắp đặt theo thứ tự”. Trong lĩnh vực ngôn ngữ, collocation có thể hiểu nôm na là “(cách) dùng từ, (cách) kết hợp từ”. Tiếng Việt có một khái niệm rất gần với ý nghĩa của từ collocation, đó chính là cụm từ cố định. Cụm từ cố định là đơn vị do một số từ hợp lại, tồn tại với tƣ cách một đơn vị có sẵn nhƣ từ, có thành tố cấu tạo và ngữ nghĩa cũng ổn định nhƣ từ [2]. Nghĩa của cụm từ cố định đƣợc xây dựng và tổ chức theo lối tổ chức nghĩa của cụm từ, và nói chung là mang tính hình tƣợng. Chính vì vậy, nếu chỉ căn cứ vào bề mặt, vào nghĩa của từng thành tố cấu tạo thì nói chung là không thể hiểu đƣợc đích thực của toàn cụm từ. Ví dụ: anh hùng rơm, đồng không mông quạnh, tiếng bấc tiếng chì… Thêm nữa, cụm từ cố định có ý nghĩa nhƣ một chỉnh thể tƣơng ứng với một chỉnh thể cấu trúc vật chất của nó. Có nghĩa là nó có tính thành ngữ rất cao, ví dụ, chỉnh thể ý nghĩa của cụm từ cố định: rán sành ra mỡ, méo miệng đòi ăn xôi vò, say như điếu đổ… có tính thành ngữ cao đến mức tối đa. Cụm từ cố định cần đƣợc phân biệt với những đơn vị lân cận, dễ lầm lẫn với chúng, là từ ghép và cụm từ tự do. Nếu tạm thời chấp nhận tên gọi mà chƣa xác định ngay nội dung khái niệm của chúng, thì có thể tóm tắt một trong những bức tranh phân loại cụm từ cố định Tiếng Việt nhƣ sau [1]: 41 Hình 3. Phân loại cụm từ cố định Tiếng Việt. Việc phân loại các cụm từ cố định tiếng Việt trên đây không phải là đã vạch ra những ranh giới tuyệt đối giữa các loại, và không phải các đơn vị trong mỗi loại đều thể hiện những thuộc tính thuần khiết của loại. Có những đơn vị trung gian đƣợc cấu tạo theo lối thành ngữ nhƣng tính tự do, kém ổn định vẫn còn rõ nét. Có những đơn vị đã đạt đƣợc tính thành ngữ khá cao nhƣng tính bền chắc, tính chỉnh thể về cấu trúc lại kém ổn định. Nghĩa là số thành tố cấu tạo nên chúng có thể còn tăng hay giảm đƣợc một cách tuỳ nghi. 3.3. Bài toán xác định collocation trong Tiếng Việt Khái niệm collocation và cụm từ cố định Tiếng Việt tuy rất gần nhau, nhƣng với Bài toán xác định collocation trong Tiếng Việt, collocation đƣợc hiểu theo nghĩa rộng hơn cụm từ cố định. Bắt nguồn từ đặc trƣng của collocation (cụm từ gồm hai hay nhiều từ thƣờng xuyên cùng xuất hiện), Bài toán xác định collocation trong Tiếng Việt trở thành bài toán trích chọn ra các n-gram gồm nhiều từ thƣờng xuyên xuất hiện cùng với nhau. Collocation trong Bài toán xác định collocation trong Tiếng Việt bao gồm: từ ghép, cụm từ cố định, hay thậm chí là cụm từ tự do... nếu chúng cùng xuất hiện với tần suất rất lớn trong kho ngữ liệu. Từ hơn 20 năm trƣớc, lĩnh vực Xử lý ngôn ngữ tự nhiên đã đạt đƣợc nhiều thành tựu (nhƣ gán nhãn từ loại, phát hiện chủ đề, hoặc thu hồi thông tin...). Tuy nhiên, hầu hết những công trình này đƣợc thực hiện cho các ngôn ngữ phƣơng Tây và giá trị của chúng bị mất mát tƣơng đối khi đƣợc áp dụng vào các ngôn ngữ khác [7]. Chỉ rất gần đây, những nhà nghiên cứu Việt Nam mới bắt đầu bị thu hút vào lĩnh vực Xử lý ngôn ngữ tự nhiên. Nên có rất ít các công trình nghiên cứu chính thức về ngôn ngữ học cùng với các chuẩn từ loại Tiếng Việt, các công trình phân tích văn bản Tiếng Việt cơ sở nhƣ gán nhãn từ loại, phân tích cú pháp... đƣợc đƣa ra. Những kho ngữ liệu cần 42 thiết đƣợc xây dựng không theo một tiêu chuẩn nhất định, và cho đến nay hầu nhƣ không có tài nguyên nào đƣợc chia sẻ công khai [7]. Đây là khó khăn cho những ngƣời không chuyên muốn tìm hiểu, nghiên cứu về lĩnh vực này. Trong Luận văn Cao học của Thạc sỹ Nguyễn Cẩm Tú [27] (về vấn đề Phát hiện chủ đề ẩn cho việc phân lớp và phân cụm tài liệu web tiếng Việt), đã sinh ra các nhãn dựa vào Ngram testing để trích ra các cụm từ có ý nghĩa (hay các collocation) từ các n-gram trên cơ sở các phép thử thống kê. Luận văn này có kể đến tên một vài phƣơng pháp thống kê để xác định collocation, nhƣ Đo thông tin tƣơng hỗ (mutual information), các kỹ thuật Kiểm thử Giả thuyết (hypothesis testing technologies), Giả thuyết Không (null hypothesis) về tính độc lập của các từ trong n-gram và các các cách Kiểm thử để kiểm tra tính hợp lệ của Giả thuyết Không... Trong đó, tác giả đã sử dụng phƣơng pháp Kiểm thử Giả thuyết với n-gram (n<=2), dựa vào Kiểm thử khi-bình phƣơng để tìm ra các collocation. Giá trị khi-bình phƣơng của chúng đƣợc tính toán từ một tập hợp dữ liệu lớn (dữ liệu Vnexpress (199MB) và Wikipedia (270MB) với khoảng 200 chủ đề), và có đƣa vào giá trị ngƣỡng để xác định collocation (mà tác giả gọi là coloThreshold). Sau đây là Bảng liệt kê các collocation với giá trị khi-bình phƣơng cao nhất. 43 Bảng 18. Các collocation có giá trị khi-bình phƣơng cao nhất. 44 Chƣơng 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ 4.1. Dữ liệu thực nghiệm 4.1.1. Chuẩn bị dữ liệu Để áp dụng các phƣơng pháp xác định collocation trong Tiếng Việt, Khóa luận này sử dụng một bộ dữ liệu Tiếng Việt lấy từ VnExpress [5] – tờ báo điện tử đầu tiên tại Việt Nam không có phiên bản báo giấy, là một trong những tờ báo có số ngƣời truy cập lớn nhất Việt Nam. Kho ngữ liệu bao gồm nhiều chủ đề thuộc nhiều lĩnh vực khác nhau, nhƣ Xã hội, Đời sống, Văn hóa, Khoa học, Thể thao... với 135 MB dữ liệu tƣơng ứng với các trang web đƣợc crawl bằng cách sử dụng Nutch [26]. 4.1.2. Tiền xử lý dữ liệu Dữ liệu trƣớc hết sẽ đƣợc tiền xử lý qua các bƣớc sau: - Loại bỏ các thẻ HTML (HTML remover). - Tách câu (Sentence segmentation): thông thƣờng, mỗi câu đƣợc phân tách nhau bởi dấu chấm câu, dấu hỏi chấm, hoặc dấu chấm cảm (., ?, !). Tuy nhiên chúng ta phải phân biệt dấu hiệu phân tách các câu với các trƣờng hợp khác (ví dụ, dấu chấm trong số thập phân, địa chỉ thƣ điện tử...). - Từ tố hóa từng câu (Sentence tokenization): tách câu thành từng từ tố (token) riêng biệt. - Tách từ (Word segmentation): Tiếng Việt thƣờng bao gồm từ một âm tiết, tuy nhiên một từ có thể có nhiều hơn một am tiết. Điều này gây ra khó khăn trong việc tách từ. Ở bƣớc này, chúng ta kết hợp hai hay nhiều âm tiết để tạo thành một từ và phân cách chúng bởi khoảng trắng (white space). - Lọc (Filter): sau khi tách từ, đến bƣớc loại bỏ các từ tố nói về con số, ngày tháng, thời gian... và các từ không quan trọng (ví dụ, các từ chức năng, các từ xuất hiện quá ít hoặc quá thƣờng xuyên). Công việc tiền xử lý dữ liệu đƣợc thực hiện bằng công cụ JvnTextPro [28] [26]. 45 4.2. Thiết kế thực nghiệm 4.2.1. Phƣơng pháp thực nghiệm Do trong Tiếng Việt, hiếm gặp những cụm từ kiểu knock... door nhƣ trong Tiếng Anh nên phần thực nghiệm tạm thời bỏ qua phƣơng pháp Kỳ vọng và phương sai (Mean and variance). Các phƣơng pháp đƣợc tiến hành thử nghiệm để xác định collocation là: Tần suất (Frequency), Kiểm thử t (t test), Kiểm thử khi-bình phương (chi-square test), Tỉ lệ likelihood (likelihood ratio) và Thông tin tương hỗ (mutual information). Các phƣơng pháp này sẽ thao tác trên kho ngữ liệu VnExpress đã qua bƣớc tiền xử lý. 4.2.2. Môi trƣờng thực nghiệm a. Cấu hình phần cứng Quá trình thực nghiệm đƣợc tiến hành trên máy tính có cấu hình phần cứng nhƣ sau: Thành phần Chỉ số CPU 1 Pentium IV 2.40 GHz RAM 1.0 GB OS WindowsXP Service Pack 2 Bộ nhớ ngoài 120GB Bảng 19. Cấu hình phần cứng sử dụng trong thực nghiệm. b. Cài đặt chƣơng trình Chƣơng trình thử nghiệm viết trên ngôn ngữ python, thực hiện trích ra các bigram (với gram ở mức từ) từ kho ngữ liệu VnExpress đã qua bƣớc tiền xử lý nói trên, tính các số đo cho các bigram dựa vào các phƣơng pháp thống kê kể trên. Chƣơng trình thực hiện những công việc cụ thể nhƣ sau: - Đọc dữ liệu từ các file text chứa trong các thƣ mục của kho ngữ liệu. - Loại bỏ các ký tự đặc biệt, trích ra các bigram. 46 - Tính toán các giá trị Tần suất, Kiểm thử t, Kiểm thử khi-bình phương, Tỉ lệ likelihood, Thông tin tương hỗ cho mỗi bigram bằng cách áp dụng các công thức (đã trình bày trong phần lý thuyết). - Sắp xếp các bigram theo thứ tự giá trị thống kê giảm dần, ghi kết quả ra các file text. 4.2.3. Các giá trị ngƣỡng đối với từng phƣơng pháp Ngƣỡng collocation đối với từng phƣơng pháp đƣợc chọn nhƣ bảng dƣới đây. Phƣơng pháp Giá trị ngƣỡng Tần suất 100 Kiểm thử t 8.40 Kiểm thử khi-bình phƣơng 983,214.93 Tỷ lệ likelihood 205.10 Thông tin tƣơng hỗ 19.86 Bảng 20. Giá trị ngƣỡng cho các phƣơng pháp xác định collocation. Ngƣỡng đặt ra đối với các phƣơng pháp Kiểm thử đúng ra phải tuân theo Bảng phân phối giá trị t và khi-bình phƣơng (Phụ lục) nhƣ trong phần lý thuyết đã trình bày. Tuy nhiên dựa trên kết quả thực nghiệm và Luận văn Cao học của Thạc sỹ Nguyễn Cẩm Tú [27], có thể đặt lại các ngƣỡng cho hai phép kiểm thử này để rút bớt số lƣợng collocation mà các phƣơng pháp trả về, từ đó đơn giản hóa việc lấy mẫu. 4.3. Kết quả thực nghiệm và đánh giá kết quả Từ kho ngữ liệu đƣợc chuẩn bị ban đầu (VnExpress), trích ra đƣợc gần 2 triệu bigram. Sau khi thiết lập giá trị ngƣỡng, rút gọn đƣợc tập kết quả và thu đƣợc các bigram có khả năng cao nhất là collocation. Việc đánh giá các phƣơng pháp dựa trên một độ đo là độ chính xác. Cụ thể cách đánh giá nhƣ sau: 47 Tính bằng tay một tập dữ liệu test - bao gồm các bigram tốt nhất đƣợc đƣa ra bởi mỗi phƣơng pháp đang đƣợc đánh giá. Độ chính xác đƣợc tính theo công thức: Trong đó, tử số là số lƣợng các bigram đúng là collocation nhận đƣợc từ phƣơng pháp, mẫu số là tổng số các collocation nhận đƣợc từ phƣơng pháp. Phƣơng pháp Giá trị ngƣỡng Số lƣợng các collocation đúng nhận đƣợc từ phƣơng pháp Số lƣợng các collocation nhận đƣợc từ phƣơng pháp Độ chính xác (precision) Tần suất 100 854 6,013 14.20% Kiểm thử t 8.40 1,527 6,701 22.79% Kiểm thử khi- bình phƣơng 983,214.93 2,316 6,321 36.64% Tỷ lệ likelihood 205.10 1,481 6,032 24.55% Thông tin tƣơng hỗ 19.86 1,392 6,504 21.40% Bảng 21. Đánh giá độ chính xác của các phƣơng pháp xác định collocation. Trong các phƣơng pháp trên, phƣơng pháp Kiểm thử khi-bình phƣơng xem ra phù hợp nhất với kho ngữ liệu Tiếng Việt đƣợc sử dụng (độ chính xác cao nhất, đạt xấp xỉ 36.64%). Nhận xét rằng, độ chính xác của các phƣơng pháp đã đƣợc đƣa ra thử nghiệm còn thấp, lý do có thể đƣợc giải thích một cách cảm tính nhƣ sau: 48 - Do ngƣời thực hiện phải đánh giá bằng tay để tìm ra các collocation trong tổng số hàng chục nghìn kết quả, và không có sự thẩm định lại của chuyên gia, nên khả năng lựa chọn mẫu còn chƣa chính xác. - Bộ dữ liệu sử dụng trong thực nghiệm chƣa đủ lớn để bao phủ miền tiếng Việt. - Riêng đối với phƣơng pháp Tần suất, chƣa có bộ lọc từ loại Tiếng Việt để tối ƣu kết quả thu đƣợc, nên trong miền dữ liệu rải rác ở các lĩnh vực khác nhau, phƣơng pháp Tần suất đã đƣa ra các collocation không tốt. Bảng 22 liệt kê một số collocation với các số đo tƣơng ứng sau khi thu đƣợc từ thực nghiệm. Collocation Tần suất Kiểm thử t Kiểm thử khi- bình phƣơng Tỷ lệ likelihood Thông tin tƣơng hỗ tay vợt 5,901 76.70 4,071,297.37 33,835.18 9.39 giải đấu 1,353 36.71 723,085.02 6,626.91 8.96 thị_trƣờng chứng_khoán 992 31.31 208,296.54 3,703.80 7.41 giám_đốc điều_hành 599 24.44 519,288.99 3,128.79 9.65 công_nghệ thông_tin 469 21.49 73,891.87 1,629.13 7.07 đội_tuyển quốc_gia 340 18.38 116,530.84 1,422.93 8.21 vũ_khí hạt_nhân 285 16.87 518,370.02 1,648.56 10.66 Bảng 22. Một số collocation thu đƣợc từ thực nghiệm. 49 Kết luận Collocation là một phần của Ngôn ngữ tự nhiên, việc Xử lý ngôn ngữ tự nhiên sẽ thuận lợi hơn nhiều nếu xác định đƣợc các collocation có ý nghĩa. Collocation đƣợc sử dụng trong một số ứng dụng nhƣ: dịch máy, sinh ngôn ngữ tự nhiên, tóm tắt văn bản, xây dựng từ điển... Chính vì vậy nghiên cứu các phƣơng pháp xác định collocation là một công việc rất đáng đƣợc quan tâm. Do có nhiều sự nhập nhằng của ngôn ngữ tự nhiên, và chƣa có ranh giới phân biệt thực sự rõ ràng, nên khái niệm collocation vẫn còn mơ hồ, và rất dễ bị nhầm lẫn với các khái niệm về từ hoặc cụm từ khác. Khóa luận này tiếp cận các vấn đề nói trên và nghiên cứu các phƣơng pháp thống kê phổ biến hiện nay cho việc xác định collocation, từ đó lựa chọn phƣơng pháp và thuật toán áp dụng vào Tiếng Việt. Khóa luận đã đạt đƣợc những kết quả sau: - Tìm ra các cách định nghĩa khác nhau về collocation. - Phân tích các vấn đề xung quanh bài toán xác định collocation. - Bàn về các phƣơng pháp thống kê đang đƣợc sử dụng phổ biến để xác định collocation. - Khái niệm collocation trong Tiếng Việt. - Xây dựng chƣơng trình thực nghiệm, áp dụng các thuật toán xác định collocation trong Tiếng Việt. Do giới hạn về thời gian cũng nhƣ kiến thức của ngƣời làm Khóa luận nên hiệu quả chƣơng trình thực nghiệm cho Tiếng Việt còn thấp. Hơn nữa, chƣơng trình chỉ thực hiện trích ra và tính toán thống kê cho các bigram. Hạn chế này cần đƣợc tiếp tục nghiên cứu và cải tiến để cho kết quả tìm kiếm collocation tốt hơn trong Tiếng Việt. 50 Tài liệu tham khảo Tài liệu Tiếng Việt [1] Hoàng Thị Châu. Vài nhận xét về quá trình tiêu chuẩn hoá tiếng Việt thể hiện qua cách dùng từ địa phương trong sách vở, báo chí trước và sau Cách mạng Tháng Tám. Tạp chí Ngôn ngữ, số 4 (1970), [2] Mai Ngọc Chừ; Vũ Đức Nghiệu & Hoàng Trọng Phiến. Cơ sở ngôn ngữ học và tiếng Việt. Nxb Giáo dục, H., 1997. [3] Nguyễn Thiện Giáp. Từ vựng học tiếng Việt. Nxb Giáo dục, H., 2002. [4] Phạm Quỳnh. Bàn về sự dùng chữ nho trong văn học quốc ngữ. Nam Phong tạp chí, số 9 (1919), [5] Báo điện tử VnExpress, [6] Trung tâm ngôn ngữ học Việt Nam, Đặc điểm Tiếng Việt, Tài liệu Tiếng Anh [7] Thanh Bon Nguyen, Thi Minh Huyen Nguyen, Laurent Romary, Xuan Luong Vu, Lexical Descriptions For Vietnamese Language Processing, 2004, [8] Church Kenneth W., and Robert L. Mercer. 1993. Introduction to the special issue on computational linguistics using large corpora. Computational Linguistics 19:1–24. [9] Church Kenneth W., and William A. Gale. 1991. Concordances for parallel text.In Proceedings of the Seventh Annual Conference of the UW Centre for the NewOED and Text Research, pp. 40–62, Oxford. [10] Church Kenneth W., and Patrick Hanks. 1989. Word association norms, mutual information and lexicography. In ACL 27, pp. 76–83, 51 [11] Church Kenneth, William Gale, Patrick Hanks, and Donald Hindle. 1991. Using statistics in lexical analysis. In Uri Zernik (ed.), Lexical Acquisition: Exploiting On- Line Resources to Build a Lexicon, pp. 115–164. Hillsdale, NJ: LawrenceErlbaum. [12] Cover, Thomas M., and Joy A. Thomas. 1991. Elements of Information Theory. New York: John Wiley & Sons. [13] Dunning, Ted. 1993. Accurate methods for the statistics of surprise and coincidence. Computational Linguistics 19:61–74. [14] Gitsaki C., Daigaku N. and Taylor R. (2000). English collocations and their place in the EFL, classroom available at: [15] Hodges, Julia, Shiyun Yie, Ray Reighart, and Lois Boggess. 1996. An automated system that assists in the generation of document indexes. Natural Language Engineering 2:137–160. [16] Joachim Wermter Udo Hahn - Computerlinguistik, Friedrich-Schiller-Universität Jena - Fürsten graben 30, D-07743 Jena, Germany. Collocation extraction based on modifiability statistics, [17] Kostas Fragos, Yannis Maistros, Christos Skourlas. Extracting collocation in modern Greek language, [18] Krenn and S. Evert. 2001. Can we do better than frequency? A case study on extracting pp-verb collocations. In Proceedings of the ACL Workshop on Collocations. [19] Lin D. (1998). Extracting collocations from text corpora. In First Workshop on Computational Terminology, Montreal, Canada, Augaust, [20] Manning C. And Schütze H. (1999). Foudations of statistical Natural Language Processing (fifth printing 2002). The MIT Press. [21] Mood, Alexander M., Franklin A. Graybill, and Duane C. Boes. 1974. Introduction to the theory of statistics. New York: McGraw-Hill. 3rd edition. 52 [22] Raplph Grishman. Computational linguistic. Courant Institute of Mathematical Sciences, New Yourk University. [23] Smadja, Frank A., and Kathleen R. McKeown. 1990. Automatically extracting and representing collocations for language generation. In ACL 28, pp. 252–259, [24] Smandja F. (1993). Retrieving collocations from text: Xtract. Computational Linguistics, 19(1):143-177, March. [25] Smith A. David (2002). Detecting events with date and place information in unstructured, [26] Le Dieu Thu, On the analysis of large-scale datasets towards online contextual advertising, Thesis in College of Technology, Viet Nam National University, 2008. [27] Nguyen Cam Tu, Hidden topic discovery toward classification and clustering in Vietnamese web documents, Master Thesis in College of Technology, Viet Nam National University, 2008. [28] Nguyen Cam Tu, JVnTextpro: A Java-based Vietnamese Text Processing Toolkit. [29] Distribution tables, 53 Phụ lục 1. Bảng phân phối t [29] 54 2. Bảng phân phối [29]