Luận văn VN-KIM search tiếng anh với truy vấn có liên từ luận lý, tính từ và lượng từ

ba quan hệ {, <FAMOUS_PERSON, SUBCLASSOF, PERSON>, ,} - Ánh xạ (ADJ, E) thành tập R2 các bộ ba quan hệ <thực thể, kiểu quan hệ, thực thể> có thể biểu diễn tính từ ADJ đối với thực thể E. Ví dụ, giữa tính từ famous và lớp PERSON, ta có thể có các bộ ba sau: {<FAMOUS_MODEL, SUBCLASSOF, MODEL>, } 38 - Ánh xạ (ADJ, S) thành R3 - tập các bộ ba có thể có nếu biết tính từ ADJ và giá trị chuỗi ban đầu S. Ví dụ, (famous, model) sẽ được ánh xạ thành tập quan hệ {}  Ta có thể dễ dàng nhận thấy R2, R3 đều là tập con của R1. Gọi R là mối quan hệ thật sự biểu diễn bộ hai . Chắc chắn R  R1  R2  R3. Như vậy, về lý thuyết ta có thể xác định được quan hệ R nếu xây dựng đầy đủ cả ba tập hợp trên.  Việc xây dựng tập ánh xạ R1, R2 và R3 được thực hiện bằng hệ thống luật. Chúng ta sẽ đi vào chi tiết về hệ thống luật này ở chương 5. Nếu ta tìm được một cặp nhưng trong Ontology không có định nghĩa quan hệ giữa chúng, thì ta sẽ đề xuất một cách biểu diễn, mặc định: sinh ra lớp con giả đối với tính từ định tính, và sinh ra quan hệ giả đối với tính từ định lượng (như đã trình bày ở 3.5). Dựa vào các phân tích trên, giải thuật xác định kiểu quan hệ giữa tính từ và thực thể trong câu truy vấn như sau [3]: Hình 4-6 Xác định loại quan hệ giữa tính từ adj và thực thể [3]  Bước 1: Xét các thực thể nằm sau tính từ adj. Bằng việc đối chiếu với Ontology, nếu có thực thể ej nào khi kết hợp với adj mà xác định được kiểu quan hệ giữa adj và ej thì quá trình dừng, ngược lại qua Bước 2.  Bước 2: Xét các thực thể ei nằm ở trước adj. Bằng giải thuật trên, chúng ta xác định được kiểu quan hệ giữa tính từ adj và e nếu giữa chúng có mối quan hệ với nhau trong ngữ cảnh của câu truy vấn. Quá trình được áp dụng tương tự cho tất cả các cặp tính từ, thực thể trong câu truy vấn. Các kiểu quan hệ tìm được sẽ được thêm vào danh sách quan hệ. 39 4.2.9 Xây dựng đồ thị ý niệm Sau khi đã xác định được tất cả các quan hệ có trong câu truy vấn, bước này sẽ xây dựng đồ thị ý niệm mô tả câu truy vấn. Như ta đã phân tích ở trên, để mở rộng giải quyết cho những truy vấn hỏi về số lượng, truy vấn có tính từ, tính từ so sánh nhất, liên từ luận lý đề tài sẽ sử dụng đồ thị ý niệm mở rộng. Đề tài này đã kế thừa phương pháp xây dựng đồ thị trong [3]. Tuy nhiên, có bổ sung để biểu diễn được câu truy vấn chứa tính từ định lượng dạng so sánh hơn và khả năng đề xuất một đồ thị ý niệm ảo (như trình bày ở 3.5). Chúng ta sẽ đi vào chi tiết về cách lưu trữ và hiển thị đồ thị ý niệm ở chương 5. 4.2.10 Xây dựng câu truy vấn SeRQL Để xây dựng câu SeRQL, đề tài kế thừa phương pháp dùng cho câu truy vấn nguyên tử (không có liên từ luận lý) của VN-KIM Search. Nhưng có hiệu chỉnh như sau:  Với mỗi câu truy vấn nguyên tử có chứa tính từ định lượng dạng nguyên mẫu (không so sánh nhất hay so sánh hơn), câu SeRQL tương ứng sẽ được hiệu chỉnh: thêm vào mệnh đề ORDER BY để các kết quả xuất ra có thứ tự.  Nếu câu truy vấn nguyên tử có tính từ so sánh nhất hoặc, so sánh hơn, câu SeRQL tương ứng sẽ bổ sung thêm mệnh đề WHERE. Và nếu câu truy vấn có liên từ luận lý, đề tài sẽ dùng các phép toán tập hợp (INTERSECT, UNION và MINUS) để liên kết các câu SeRQL sinh ra từ các câu truy vấn nguyên tử, tạo thành câu truy vấn cuối cùng. 40 CHƯƠNG 5 HIỆN THỰC 5.1 Các khối xử lý và giao diện các lớp quan trọng 5.1.1 Ứng dụng web phía Client Ứng dụng web phía client được hiện thực dưới dạng JSP. Người dùng cung cấp đầu vào, gửi yêu cầu cho server và nhận trả lời từ server. Người dùng có thể sử dụng 1 trong 3 dịch vụ:  Tuy vấn bằng ngôn ngữ tự nhiên.  Tìm kiếm mở rộng.  Lựa chọn thực thể thỏa truy vấn để tìm tài liệu. Ứng dụng client sử dụng các dịch vụ chính sau: Giao diện các dịch vụ (Web service operation) String parse (String query); Trả về đồ thị ý niệm từ câu truy vấn tiếng Anh String lucene (String query); Trả về các thực thể thỏa truy vấn String getDocuments (String query); Trả về các tài liệu thỏa truy vấn dựa trên API query của Semantic Lucene Bảng 5-1 Giao diện các dịch vụ 5.1.2 Hệ thống xử lý trên server Dưới đây trình bày giao diện của một số lớp chính trong các khối: 41 Khối nhận diện: Lớp ENSearch Bản tóm tắt các phương thức String getAnnotation (String query, QueryBuffer output); Kết nối vào KIM để nhận diện thực thể có tên trong câu query, chèn vào bộ đệm output. Dùng Gate để nhận diện thực thể không tên và từ quan hệ, tính từ, liên từ luận lý có trong câu query, chèn vào bộ đệm output. String getNS (String classname); Trả về namespace của lớp truyền vào dưới dạng chuỗi. String runSeRQL (String query); Kết nối vào KB của KIM, thực thi câu lệnh SeRQL để tìm các thực thể thỏa mãn truy vấn. Bảng 5-2 Bản tóm tắt các phương thức lớp ENSearch Khối phân tách câu truy vấn nguyên tử: Lớp QuerytoCG Bản tóm tắt các phương thức void splitQueryToAtomicQuery (String fullQuery, List query, List result, RelationType defaultRel); Tách câu truy vấn có liên từ luận lý thành danh sách các câu truy vấn nguyên tử. Danh sách này trả về qua tham số “result”. Bảng 5-3 Bản tóm tắt các phương thức lớp QuerytoCG 42 Khối xác định quan hệ đỉnh: Lớp QuerytoCG Bản tóm tắt các phương thức TopRelationType identifyTopRel (QueryBuffer buf); Nhận diện quan hê đỉnh là COUNT, MAX, MIN, MOST, AVERAGE. Bảng 5-4 Bản tóm tắt các phương thức lớp QuerytoCG (2) Khối hiệu chỉnh tập thực thể và từ quan hệ: Lớp ProcessingXML Bản tóm tắt các phương thức void FindClassofAgent (QueryBuffer buffer); Xác định lớp của “What”. void CombineEntitys (QueryBuffer buffer); Gom các thực thể cùng ngữ nghĩa. void AddRealtion (QueryBuffer buffer); Thêm từ quan hệ giữa các thực thể. Bảng 5-5 Bản tóm tắt các phương thức lớp Processing XML Khối xác định quan hệ ngữ nghĩa giữa thực thể và từ quan hệ: Lớp ProcessingQuery Bản tóm tắt các phương thức QueryTriple ProcessQuery2Triple (QueryBuffer buffer); Sử dụng các thực thể có tên, không tên, từ quan hệ đã nhận biết được để sinh ra các bộ ba quan hệ. Giá trị trả về là các tập các bộ ba quan hệ. TripleType CheckRE (ItemType subject, ItemType relation, ItemType object); Tìm bộ ba bằng cách kiểm tra tập luật. 43 TripleType InterRE (ItemType subject, ItemType relation, ItemType object); Tìm bộ ba bằng phương pháp giao. Bảng 5-6 Bản tóm tắt các phương thức lớp ProcessingQuery Khối xác định quan hệ ngữ nghĩa giữa tính từ và thực thể: Lớp ProcessingQuery Bản tóm tắt các phương thức void processQuantitativeAdjective (QueryTriple tripleset, QueryBuffer buffer); Sử dụng các tính từ định lượng đã nhận biết được để sinh ra các bộ ba quan hệ. Tập các bộ ba quan hệ kết quả là “tripleset”. void processQuanlitativeAdjective (QueryTriple tripleset, QueryBuffer buffer); Sử dụng các tính từ định lượng đã nhận biết được để sinh ra các bộ ba quan hệ. Tập các bộ ba quan hệ kết quả là “tripleset. Bảng 5-7 Bản tóm tắt các phương thức lớp ProcessingQuery (2) Khối xây dựng đồ thị ý niệm: Lớp QueryOutput Bản tóm tắt các phương thức String generatelistJsCG (ListCG lsCG); Tạo đồ thị cho toàn bộ câu truy vấn dưới dạng JavaScript. String generateJsCG (QueryBuffer buffer, int left, int top, boolean isCoverByBox); Tạo đồ thị con dưới dạng JavaScript. Bảng 5-8 Bản tóm tắt các phương thức lớp QueryOutput 44 Khối sinh câu truy vấn SeRQL Lớp SeRQLMapping Bản tóm tắt các phương thức String getSeRQLQuery (QueryBuffer buffer); Sinh ra câu SeRQL cho câu truy vấn nguyên tử. String appendWhereClauseForSQTA (String query, QueryBuffer buf, TopRelationType topRe); Thêm các phần cần thiết vào câu SeRQL để xử lý trường hợp có tính từ định lượng so sánh nhất. Trả về câu SeRQL đã được chỉnh sửa. String appendOrderByClause (String query, QueryBuffer buf); Thêm các phần cần thiết vào câu SeRQL để xử lý trường hợp có tính từ định lượng ở dạng nguyên mẫu. Trả về câu SeRQL đã được chỉnh sửa. String appendWhereClauseForCQTA (String query, QueryBuffer buf); Thêm các phần cần thiết vào câu SeRQL để xử lý trường hợp có tính từ định lượng so sánh hơn. Trả về câu SeRQL đã được chỉnh sửa. Bảng 5-9 Bản tóm tắt các phương thức lớp SeRQLMapping 5.2 Hệ thống luật Ta sẽ xây dựng tập luật theo định dạng XML. Dạng chung của mỗi luật trong hệ thống luật như sau: “Nếu [điều kiện] thì [hành động]” Trong đó, vế điều kiện có những đặc điểm sau:  Có ràng buộc về tên lớp, giá trị chuỗi ban đầu và kiểu thực thể.  Có thể xét nhiều quan hệ đồng thời trong cùng một luật. 45 Phần hành động có những đặc tính sau:  Có thể thay đổi tên lớp, thay đổi định của danh thực thể và xác định loại quan hệ.  Xóa thực thể hoặc quan hệ khỏi buffer. Phần sau trình bày cấu trúc của tập luật dùng để ánh xạ bộ ba quan hệ thành quan hệ ngữ nghĩa. 5.2.1 Cấu trúc của hệ thống luật Tập luật được biểu diễn bằng XML. Một tập luật (TranformRules) bao gồm nhiều luật (rule). Mỗi luật lại bao gồm một phần tử điều kiện (premise) cùng với một hành động (consequent) tương ứng. Ngoài ra, một luật còn có các thuộc tính tên luật (name) và độ ưu tiên của luật (priority). <!ATTLIST rule name CDATA #REQUIRED priority CDATA #IMPLIED> Hình 5-1 Cấu trúc tập phần tử TransformRules và rule 5.2.2 Cấu trúc thành phần điều kiện của luật Như đã được nhắc đến ở đầu chương này, mỗi luật bao gồm hai phần: điều kiện và hành động. Phần điều kiện của luật được mô tả bằng thành phần premiselist, là con của thành phần rule. Mỗi premiselist bao gồm một hay nhiều thành phần premise, hình dưới mô tả cấu trúc của một thành phần premise. Mỗi premise gồm có 3 thành phần con là subject, relation và object tương ứng với một bộ ba mà ta đã thảo luận ở phần trên. Ý nghĩa của các thuộc tính trong các thành phần này được thể hiện trong hình dưới: <!ATTLIST subject var CDATA #REQUIRED value CDATA #IMPLIED className CDATA #IMPLIED classType CDATA #IMPLIED> <!ATTLIST relation var CDATA #REQUIRED value CDATA #IMPLIED> <!ATTLIST object var CDATA #REQUIRED 46 value CDATA #IMPLIED className CDATA #IMPLIED classType CDATA #IMPLIED> Hình 5-2 Cấu trúc phần tử điều kiện luật Thuộc tính Đặc tả var Dùng để đặt tên biến, nhằm phân biệt các thành phần. value Liệt kê tập các giá trị ban đầu, cách nhau bằng dấu phẩy. className Thuộc tính ràng buộc tên lớp thực thể classType Thuộc tính dùng để ràng buộc kiểu thực thể như UE, IE Bảng 5-10 Các thuộc tính của phần tử điều kiện 5.2.3 Cấu trúc thành phần hành động của luật Nếu một bộ ba nào đó thỏa mãn thành phần điều kiện, thì phần hành động consequent sẽ được áp dụng cho bộ ba đó. Cấu trúc của thành phần hành động được mô tả như dưới. Các thuộc tính của thành phần hành động cũng giống như phần tử điều kiện đã được mô tả trong bảng ở phần 5.2.2. Ngoài ra, thành phần hành động còn có hai thuộc tính mới là quantifier và delete, thuộc tính quantifier dùng để gán giá trị định danh cho lớp, thuộc tính delete dùng để yêu cầu xóa thành phần đó. <!ATTLIST subject var CDATA #REQUIRED value CDATA #IMPLIED className CDATA #IMPLIED classType CDATA #IMPLIED quantifier CDATA #IMPLIED delete CDATA #IMPLIED> <!ATTLIST relation var CDATA #REQUIRED value CDATA #IMPLIED delete CDATA #IMPLIED> <!ATTLIST object var CDATA #REQUIRED value CDATA #IMPLIED className CDATA #IMPLIED classType CDATA #IMPLIED quantifier CDATA #IMPLIED delete CDATA #IMPLIED> Hình 5-3 Cấu trúc phần tử hành động 47 Hình sau đây là ví dụ minh họa đặc tả một luật hoàn chỉnh: Hình 5-4 Một luật hoàn chỉnh 5.2.4 Xây dựng một số luật đặc biệt Ngoài ra, ta sẽ cần một số luật đặc biệt, các luật này được dùng cho bước gom các thực thể có cùng ngữ nghĩa trong câu truy vấn. Ví dụ câu truy vấn “Who was the president of Vichy France?”, các từ who và president đều biểu diễn cho thực thể không tên thuộc lớp PERSON, và chúng cách nhau bởi từ quan hệ was. Do đó who và president được gom lại thành một thực thể duy nhất. Luật đặc biệt cũng có cấu trúc như luật thường nhưng nó có độ ưu tiên là -1. 5.3 Lưu trữ và hiển thị đồ thị Trước khi hiển thị kết quả ra màn hình, chương trình dùng cấu trúc dữ liệu như sau để lưu trữ đồ thị ý niệm trong bộ nhớ: Hình 5-5 Cấu trúc dữ liệu lưu trữ đồ thị ý niệm 48 Cấu trúc dữ liệu trên sẽ gồm một mảng các phần tử. Mỗi phần tử có vùng lưu trữ Sub-CG chứa đựng thông tin để xây dựng đồ thị ý niệm nguyên tử (atomic conceptual graph), là đồ thị ý niệm mà không chứa liên từ luận lý trong câu truy vấn. “Các thông tin để xây dựng đồ thị ý niệm nguyên tử bao gồm thông tin về thực thể, kiểu quan hệ giữa các thực thể và chiều của quan hệ. Dữ liệu được lưu trong vùng lưu trữ Sub-CG sau đó sẽ được dùng để biểu diễn thành một đỉnh truy vấn con.” Mỗi phần tử có thuộc tính Next relation lưu trữ kiểu quan hệ giữa hai đỉnh truy vấn con liền nhau. Các giá trị có thể có của Next relation chính là kiểu quan hệ có thể có giữa hai đỉnh truy vấn con trong câu truy vấn có liên từ luận lý, cụ thể là UNION, INTERSECT, MINUS. “Thêm vào đó, cấu trúc dữ liệu có một thuộc tính Top relation để lưu trữ quan hệ gộp của câu truy vấn. Đó có thể là quan hệ COUNT đối với câu truy vấn có từ để hỏi là “How many”, hoặc quan hệ MIN, MAX đối với các truy vấn có tính từ so sánh nhất.” Từ cấu trúc dữ liệu nêu trên. Đồ thị ý niệm được hiển thị ra màn hình có dạng tổng quát như hình sau: Hình 5-6 Dạng tổng quát của đồ thị ý niệm “Trong đó, mỗi đỉnh truy vấn con được xây dựng từ vùng lưu trữ Sub-CG của mỗi thành phần trong cấu trúc lưu trữ. Quan hệ giữa các đỉnh truy vấn con (UNION, INTERSECT, MINUS) được xây dựng từ thuộc tính Next relation. Quan hệ gộp (COUNT, MAX, MIN) được 49 xây dựng từ thuộc tính Top relation của cấu trúc lưu trữ. Đường liên kết nét đôi sẽ được nối từ quan hệ gộp vừa tạo tới thực thể câu truy vấn về số lượng trong trường hợp truy vấn “How many” hoặc nối tới biểu diễn tính từ nằm trong đỉnh truy vấn con tương ứng trong trường hợp câu truy vấn có chứa tính từ so sánh nhất.” Lấy một ví dụ cho phương pháp lưu trữ và hiển thị như phân tích nêu trên: câu truy vấn “Who was biographer and Samuel Johnsons's friend?”, hệ thống sẽ kết xuất ra đồ thị ý niệm như sau: Hình 5-7 Tên hình 5.4 Xây dựng câu truy vấn SeRQL Dù đồ thị ý niệm là một ngôn ngữ vừa dễ hiểu với con người, vừa khả xử lý với máy tính, nhưng đồ thị ý niệm mới chỉ mang tính chất tham khảo, để kiểm tra sự chính xác của quá trình xử lý câu truy vấn. Bởi vì, đồ thị ý niệm chưa được sử dụng làm ngôn ngữ truy vấn trên bất cứ cơ sở dữ liệu ngữ nghĩa nào, nên máy tính không thể trực tiếp dùng đồ thị để tìm thực thể hay tài liệu. Vì vậy, trong chương này sẽ trình bày phương pháp dịch đồ thị sang ngôn ngữ SeRQL, là ngôn ngữ truy vấn sử dụng bởi cơ sở tri thức ngữ nghĩa. Một phần trong quá trình sinh câu SeRQL của hệ thống sẽ sử dụng lại giải thuật trước đây của VN-KIM Search [1], chỉ thêm vào những đoạn cần thiết để xử lý những câu truy vấn có tính từ. Giải thuật đã có của VN-KIM Search như sau: 50 Generalize the query CG For each relation in the generalized query CG do { Get all neighbour concepts of the current relation //process each concept sequentially For each concept do { if the concept is new //i.e. not processed before { if the concept referent is “?” or “*” { if the concept referent is “?” { Assign to it a variable starting with “x” //e.g x1, x2, x3,... Assign to it a label variable starting with “z” //e.g z1, z2, z3,... Append these variables to the SELECT clause Append the “rdfs:label” statement for this concept to the FROM clause } if the concept referent is “*” { Assign to it a variable starting with “y” //e.g y1, y2, y3,... } Append the “rdf:type” statement for this concept to the FROM clause Append the constrained property statements for this concept to the FROM clause Assign to the constrained properties variables starting with “p” //e.g p1, p2, p3,... Append the property constraints to the WHERE clause } //end of “?” or “*” if the concept referent is specific, assign to it its identifier as a dummy variable Remember this concept having been processed } }//end of if new Assign to the current relation its URI Append the statement for the current relation with its neighbour concepts to the FROM clause } //process the disconnected concept nodes For each concepts that has not been visited yet, process it as above Giải thuật đề tài này thêm vào để xử lý tính từ sẽ nhận kết quả của giải thuật trên làm đầu vào, rồi thêm những bộ phận cần thiết:  Giải thuật cho tính từ bình thường (dạng nguyên mẫu): Truy vấn tất cả thực thể phù hợp và trả về theo một trật tự: 51 //Function: append ORDER BY clause for normal adjective to the input SeRQL Initialize new ORDER BY clause For each semantic relation generated from normal adjective { Append the its object’ variable to SELECT clause Identify the way of ordering //i.e DESC or ASC Append to ORDER BY clause the variable of the relation’s object, and the way it is ordered }  Giải thuật cho tính từ so sánh nhất: //Function: append WHERE clause for superlative adjective to the input SeRQL Initialize the WHERE, nested SELECT and nested FROM clause //select the value of all other entities which are also qualified, then use “>= ALL” or “<= ALL” to //find the entity that has the maximum and minimum value Identify whether “>= ALL” or “<=ALL” from the Top relation. Call this OP. Find the relation that is generated from superlative adjective { With its subject, create a new variable representing all others qualified entities. Call this the temporary subject. Then use the temporary subject to append all constraints on the subject to the nested FROM clause With its object, create a new variable representing all others qualified entities’ values. Call this the temporary object. Append the temporary object to the nested SELECT clause. Append the statement of this relation to the nested FROM clause. But use the temporary subject and temporary object as the 2 variables. Append to WHERE clause the object’s variable and the OP identified before. } 52  Giải thuật cho tính từ so sánh hơn: //Function: append WHERE clause for comparative adjective to the input SeRQL Initialize the WHERE clause For every relation generated from comparative adjective { Append its subject’s variable to the WHERE clause Append comparative operator to the WHERE clause //i.e. “>” or “<” if its object is a named entity, append its object’s variable to the WHERE clause else if its object is a constant, append its object’s quantifier to the WHERE clause } 53 CHƯƠNG 6 THỬ NGHIỆM 6.1 Môi trường thử nghiệm Tập câu truy vấn dùng để đánh giá Đề tài tiến hành thử nghiệm trên tập các câu truy vấn lấy từ Question Answering Track của tập dữ liệu mẫu TREC 2002. Tập mẫu này có 440 câu truy vấn, bao gồm:  Phân loại theo từ để hỏi: 201 câu hỏi What, 67 câu hỏi Who, 62 câu hỏi Where, 45 câu hỏi When, 38 câu hỏi How, 3 câu hỏi Which và 24 câu không dùng từ để hỏi.  Phân loại theo dạng câu: 16 câu có từ để hỏi How many, 6 câu có tính từ, 35 câu có tính từ so sánh nhất, 1 câu có liên từ luận lý, 382 câu còn lại không thuộc các dạng trên. Ngoài ra, do một số đề xuất mở rộng của đề tài không có trong tập mẫu TREC 2002. Cụ thể là các câu truy vấn có chứa tính từ so sánh hơn, các câu truy vấn kết hợp lượng từ, tính từ… Do vậy, đề tài còn sử dụng thêm 5 câu truy vấn được sưu tầm bằng tay để kiểm tra các trường hợp này. Các phần mềm, công cụ sử dụng trong thử nghiệm này  KIM platform phiên bản 3.0, cùng với Ontology và cơ sở tri thức đi kèm (được cập nhật lần cuối vào ngày 8/7/2010): dùng để nhận diện thực thể có tên.  GATE phiên bản 5.1: dùng để nhận diện thực thể không tên và các thành phần khác.  Sesame phiên bản 2.3.1: dùng để chạy câu truy vấn SeRQL tìm thực thể thỏa mãn.  Apache Tomcat phiên bản 6.0: để triển khai hệ thống.  JDK SE 1.6.0. Tất cả các phần mềm, công cụ trên được cài đặt trên máy tính cá nhân, nền Window XP SP2. 54 Đề tài đã bổ sung 65 lớp thực thể và 87 quan hệ còn thiếu vào Ontology, cũng như thêm 288 thực thể còn thiếu vào cơ sở tri thức. 6.2 Kết quả thực nghiệm Quá trình xây dựng đồ thị ý niệm Quá trình dịch câu truy vấn sang đồ thị ý niệm có thể phát sinh các lỗi sau:  R-Error: lỗi do không nhận diện được thực thể hoặc nhận diện không chính xác.  O-Error: lỗi do Ontology thiếu lớp, thiếu quan hệ. Các quan hệ nhiều hơn 2 ngôi, Ontology không thể hiện được, cũng xếp vào dạng lỗi này.  Q-Error: lỗi do đồ thị ý niệm, với các mở rộng như đề xuất, vẫn chưa biểu diễn được đầy đủ ngữ nghĩa của câu truy vấn.  M-Error: lỗi do phương pháp. Các câu không xây dựng được đồ thị ý niệm hoặc xây dựng sai, nếu không rơi vào các lỗi trên được xếp vào dạng lỗi này. Kết quả thử nghiệm trên tập mẫu TREC 2002 trước khi làm giàu Ontology và chưa áp dụng phương pháp xử lý các dạng câu mới được thống kê ở bảng sau: Loại câu Số câu R-Error O-Error Q-Error M-Error Chính xác WHAT 201 32 119 17 0 33 WHICH 3 0 1 2 0 0 WHERE 62 7 38 1 0 16 WHO 67 2 51 10 0 4 WHEN 45 5 27 12 0 1 HOW 38 1 29 5 0 3 Loại khác 24 0 23 0 0 1 Tổng cộng 440 47 288 47 0 58 (%) 100.00% 10.68% 65.45% 10.68% 0.00% 13.19% Bảng 6-1 Kết quả thực nghiệm trên TREC 2002 trước khi làm giàu Ontology 55 Sau khi làm giàu Ontology bằng cách bổ sung 65 lớp thực thể, 87 quan hệ, 288 thực thể, kết quả thử nghiệm đạt được như sau: Loại câu Số câu R-Error O-Error Q-Error M-Error Chính xác WHAT 201 0 22 1 2 176 WHICH 3 0 0 0 0 3 WHERE 62 0 1 0 0 61 WHO 67 0 12 0 0 55 WHEN 45 0 12 0 0 36 HOW 38 0 6 2 0 30 Loại khác 24 0 3 1 0 20 Tổng cộng 440 0 56 4 2 378 (%) 100.00% 0.00% 12.73% 0.91% 0.45% 85.91% Bảng 6-2 Kết quả thực nghiệm trên TREC 2002 sau khi làm giàu Ontology Kết quả thực nghiệm sau khi làm giàu Ontology, phân loại theo dạng câu hỏi: Dạng câu Số câu R-Error O-Error Q-Error M-Error Chính xác How many 16 0 4 1 0 11 Tính từ 6 0 0 0 0 6 Tính từ so sánh nhất 35 0 21 0 0 14 Liên từ luận lý 1 0 0 0 0 1 Dạng khác 382 0 31 3 2 346 Tổng cộng 440 0 56 4 2 378 (%) 100.00% 0.00% 12.73% 0.91% 0.45% 85.91% Bảng 6-3 Kết quả thực nghiệm trên TREC 2002 sau khi làm giàu Ontology phân loại theo dạng câu 64 câu truy vấn không xây dựng được đồ thị ý niệm là do các lỗi sau: O-Error: 58 câu. Tất cả các câu truy vấn này đều có chứa quan hệ nhiều hơn 2 ngôi. Ví dụ với câu “What is the exchange rate between England and the U.S.?”, quan hệ between… and… ở đây là quan hệ ba ngôi giữa exchange rate, England và U.S.. Như đã nói ở mục 1.2 (Mục tiêu phạm vi), đề tài này không giải quyết vấn đề quan hệ nhiều hơn 2 ngôi. 56 Q-Error: 4 câu. Trong đó, có 3 câu chứa trạng ngữ hoặc mệnh đề trạng ngữ, câu còn lại chứa truy vấn kiểu quan hệ. Các câu dạng này đồ thị ý niệm hiện giờ chưa biểu diễn được.  Câu chứa trạng ngữ, ví dụ như “At Christmas time, what is the traditional thing to do under the mistletoe?”, At Christmas time là trạng ngữ chỉ thời gian của câu.  Câu truy vấn kiểu quan hệ ”How was Teddy Roosevelt related to FDR?”, ở đây câu truy vấn muốn biết quan hệ giữa hai thực thể xác định Teddy Roosevelt và FDR là gì. Phương pháp dùng trong đề tài chưa hỗ trợ kiểu truy vấn này. M-Error: 2 câu. Cụ thể là:  “What is the name of the Michelangelo painting that shows two hands with fingers touching?”: trong câu này, “two hands with fingers touching” chứa mô tả về bức tranh, phương pháp hiện tại không thể nhận biết được trường hợp này.  “What was the name of the television show, staring Karl Malden, that had San Francisco in the title?”: ở đây, “the title” và “the name” cùng chỉ về một thực thể, tuy nhiên giải thuật gom thực thể không xác định được trường hợp này. Quá trình truy vấn thực thể và tìm tài liệu Với các câu sinh ra được đồ thị ý niệm đúng, quá trình chuyển từ đồ thị ý niệm sang câu truy vấn SeRQL cho kết quả chính xác 100%. Quá trình tìm kiếm tài liệu sử dụng dịch vụ hiện có, do nhóm VN-KIM phát triển, do vậy ở đây không đánh giá về độ chính xác. Thử nghiệm chỉ nhằm mục đích kiểm tra sự tương thích của toàn bộ hệ thống sau khi tích hợp quá trình xử lý tiếng Anh. 57 CHƯƠNG 7 KẾT LUẬN 7.1 Kết quả đạt được Đề tài đã xây dựng được một hệ thống tìm kiếm theo ngữ nghĩa cho tiếng Anh, dựa vào hệ thống trong [1] và kết quả nghiên cứu trong [3]. Tổng kết là:  Về dạng câu truy vấn, có thể xử lý câu có: thực thể (có tên và không tên), từ quan hệ, lượng từ, liên từ luận lý, tính từ thường, tính từ so sánh nhất, tính từ định lượng so sánh hơn với hằng số và thực thể có tên. Bảo toàn những ưu điểm của phương pháp dịch ít phụ thuộc cú pháp trong [2]: - Không dựa vào văn phạm của câu truy vấn. Có thể dịch sang đồ thị ý niệm cho một câu truy vấn đầy đủ, các câu truy vấn có từ để hỏi, hoặc một đoạn câu. Thứ tự xuất hiện các thực thể và từ quan hệ trong câu là không quan trọng. Do đó phương pháp này cũng có thể dịch sang đồ thị ý niệm cho các câu sai văn phạm. - Dễ dàng thực hiện cho ngôn ngữ khác khi có Ontology tương ứng. Phương pháp này không dựa trên phân tích cú pháp của câu truy vấn. Do đó, để dịch sang đồ thị ý niệm cho các câu truy vấn bằng các ngôn ngữ khác chỉ cần xây dựng một Ontology tương ứng và xây dựng danh sách các thực thể không tên và danh sách các từ quan hệ tương ứng trên ngôn ngữ đó. - Phần tập luật và từ điển của hệ thống được hiện thực theo cấu trúc tổng quát định dạng XML, ta có thể dễ dàng mở rộng thêm luật cho hệ thống khi cần thiết mà không cần phải thay đổi hệ thống. - Đồ thị ý niệm được trình bày một cách trực quan dưới dạng đồ họa.  Về biểu diễn đồ thị, mở rộng thêm khả năng đề xuất đồ thị ý niệm khả áp dụng khi quan hệ giữa tính từ và thực thể chưa có trong cơ sơ tri thức. Mở rộng biểu diễn đồ thị ý niệm của dạng so sánh hơn. 58  Về sinh câu truy vấn SeRQL từ đồ thị ý niệm, mở rộng khả năng sinh câu truy vấn cho tính từ, tính từ so sánh nhất, tính từ định lượng so sánh hơn và liên từ luận lý.  Hệ thống được kiểm tra đạt hiệu quả tốt trên tập TREC 2002 như đã trình bày ở chương 6.  Ngoài ra, đối với câu truy vấn có liên từ luận lý, đã hạn chế được số lần phải chú giải các thành phần của câu xuống còn 1 lần, không phải chú giải lại sau khi phân tách câu nguyên tử như trước. 7.2 Các vấn đề còn tồn tại Hệ thống chưa giải quyết được các khiếm khuyết:  Có một số câu truy vấn chứa quan hệ phức tạp, là các quan hệ có ba ngôi, bằng đồ thị ý niệm đơn giản không thể hiện được đầy đủ ý nghĩa của các quan hệ đó. Như đã chỉ ra trong [3], muốn giải quyết, phải nghiên cứu phương pháp biểu diễn các quan hệ này trên Ontology, là một bài toán khác mà luận văn không giải quyết.  Chưa giải quyết được những truy vấn hỏi vào kiểu quan hệ. Vì mục đích của luận văn là xây dựng công cụ tìm kiếm thực thể, nên không xem xét giải quyết loại câu hỏi này. 7.3 Hướng phát triển Làm giàu ontology và cơ sở tri thức, tăng số lượng lớp và thực thể để tăng khả năng trả lời cho hệ thống. Số lượng thực thể hiện nay chỉ có thể dùng để kiếm thử, còn rất khiêm tốn nếu muốn đáp ứng được nhu cầu của người sử dụng. Nghiên cứu giải quyết biểu diễn quan hệ 3 ngôi trên ontology, vì câu hỏi dạng này khá phổ biến (chiếm xấp xỉ 10% số câu hỏi trong bộ TREC 2002). Làm giàu tập luật để nhận biết nhiều quan hệ hơn. 59 TÀI LIỆU THAM KHẢO [1] Dung H. M. Nguyen (2008). VN-KIM Search: Hệ thống tìm kiếm theo ngữ nghĩa tiếng Việt. Luận văn đại học, Đại Học Bách Khoa Tp.HCM. [2] Truong D. Cao (2008). Dịch câu truy vấn tiếng Anh sang đồ thị khái niệm: cách tiếp cận ít phụ thuộc vào cú pháp. Luận văn thạc sĩ, Đại Học Bách Khoa Tp.HCM [3] Anh H. Mai (2009). Dịch câu truy vấn tiếng Anh có lượng từ, tính từ và liên từ luận lý sang đồ thị ý niệm. Luận văn thạc sĩ, Đại Học Bách Khoa Tp.HCM. [4] Grigoris, A. and Frank, v. H.: A Semantic Web Primer, The MIT Press, 2004. [5] PROTON Home Page: [6] KIM Website: [7] GATE Website: [8] Sesame User Guide: 60 PHỤ LỤC A: TẬP CÂU MẪU TREC 2002 Các câu sinh ra đồ thị ý niệm đúng 1. What actress starred in "The Lion in Winter"? 2. What American composer wrote the music for "West Side Story"? 3. What are Cushman and Wakefield known for? 4. What are John C. Calhoun and Henry Clay known as? 5. What are the names of Jacques Cousteau's two sons? 6. What are the two houses of the Legislative branch? 7. What body of water are the Canary Islands in? 8. What card company sells Christmas ornaments? 9. What caused the Lynmouth floods? 10. What city did the Flintstones live in? 11. What city in Florida is Sea World in? 12. What city is 94.5 KDGE Radio located in? 13. What city is Massachusetts General Hospital located in? 14. What city's newspaper is called "The Enquirer"? 15. What continent is Bolivia on? 16. What continent is Egypt on? 17. What country are Godiva chocolates from? 18. What country did Ponce de Leon come from? 19. What county is Modesto, California in? 20. What county is Phoenix, AZ in? 21. What Cruise Line does Kathie Lee Gifford advertise for? 22. What currency is used in Algeria? 23. What day and month did John Lennon die? 24. What day is known as the "national day of prayer"? 25. What did Vasco da Gama discover? 26. What does "Sitting Shiva" mean? 27. What does CNN stand for? 28. What does CPR stand for? 29. What does EKG stand for? 30. What does Final Four refer to in the sports world? 31. What does Knight Ridder publish? 32. What does NAFTA stand for?. 33. What does NASA stand for? 34. What does Nicholas Cage do for a living? 35. What does SIDS stand for? 36. What famous model was married to Billy Joel? 37. What flower did Vincent Van Gogh paint? 38. What format was VHS's main competition? 39. What French province is cognac produced in? 40. What French ruler was defeated at the battle of Waterloo? 41. What hemisphere is the Philippines in? 42. What hockey team did Wayne Gretzky play for? 43. What is Alice Cooper's real name? 44. What is another astronomic term for the Northern Lights? 45. What is another name for vitamin B1? 46. What is Australia's national flower? 47. What is Betsy Ross famous for? 48. What is Black Hills, South Dakota most famous for? 49. What is California's capital? 50. What is California's state tree? 51. What is Chiricahua the name of? 52. What is Dick Clark's birthday? 53. What is Dr. Ruth's last name? 54. What is Hawaii's state flower? 55. What is Martin Luther King Jr.'s real birthday? 56. What is one of the cities that the University of Minnesota is located in? 57. What is the abbreviation for Original Equipment Manufacturer? 58. What is the airport code for Los Angeles International? 59. What is the average speed of the horses at the Kentucky Derby? 60. What is the average weight of a Yellow Labrador? 61. What is the birthstone for June? 62. What is the capital of Burkina Faso? 63. What is the capital of Haiti? 64. What is the capital of Mongolia? 65. What is the capital of Yugoslavia? 66. What is the depth of the Nile river? 67. What is the distance in miles from the earth to the sun? 68. What is the electrical output in Madrid, Spain? 69. What is the highest dam in the U.S.? 70. What is the length of the coastline of the state of Alaska? 71. What is the location of the Sea of Tranquility? 72. What is the longest suspension bridge in the U.S.? 73. What is the longest word in the English language? 74. What is the major fault line near Kentucky? 75. What is the mascot for Notre Dame University? 76. What is the most common kind of skin cancer in the U.S.? 77. What is the most frequently spoken language in the Netherlands? 78. What is the name of a Greek god? 79. What is the name of a Salt Lake City newspaper? 80. What is the name of Joan Jett's band? 81. What is the name of Neil Armstrong's wife? 82. What is the name of Roy Roger's dog? 83. What is the name of the chocolate company in San Francisco? 84. What is the name of the Jewish alphabet? 85. What is the name of the leader of Ireland? 86. What is the name of the Lion King's son in the movie, "The Lion King"? 87. What is the name of the longest ruling dynasty of Japan? 88. What is the name of the satellite that the Soviet Union sent into space in 1957? 89. What is the nickname of Pennsylvania? 90. What is the normal resting heart rate of a healthy adult? 91. What is the Ohio state bird? 92. What is the oldest city in the United States? 93. What is the oldest university in the US? 94. What is the Pennsylvania state income tax rate? 95. What is the population of China? 96. What is the population of Japan? 97. What is the population of Kansas? 98. What is the population of Mexico? 99. What is the population of Mozambique? 100. What is the population of Nigeria? 101. What is the population of Ohio? 102. What is the population of Seattle? 103. What is the population of the Bahamas? 104. What is the population of the United States? 105. What is the primary language of the Philippines? 106. What is the real name of the singer, Madonna? 107. What is the salary of a U.S. Representative? 108. What is the sales tax in Minnesota? 109. What is the size of Argentina? 110. What is the state nickname of Mississippi? 111. What is the telephone number for the University of Kentucky? 61 112. What is the zip code for Fremont, CA? 113. What is the zip code for Parsippany, NJ? 114. What kind of a sports team is the Wisconsin Badgers? 115. What kind of animal was Winnie the Pooh? 116. What kind of sports team is the Buffalo Sabres? 117. What king was forced to agree to the Magna Carta? 118. What language is mostly spoken in Brazil? 119. What movie did Madilyn Kahn star in with Gene Wilder? 120. What nationality was Jackson Pollock? 121. What New York City structure is also known as the Twin Towers? 122. What ocean did the Titanic sink in? 123. What party was Winston Churchill a member of? 124. What peninsula is Spain part of? 125. What position did Willie Davis play in baseball? 126. What province is Edmonton located in? 127. What province is Montreal in? 128. What radio station did Paul Harvey work for? 129. What river in the US is known as the Big Muddy? 130. What sport do the Cleaveland Cavaliers play? 131. What state did the Battle of Bighorn take place in? 132. What state does Martha Stewart live in? 133. What state does MO stand for? 134. What state in the United States covers the largest area? 135. What state is Niagra Falls located in? 136. What state is the Filenes store located in? 137. What store does Martha Stewart advertise for? 138. What task does the Bouvier breed of dog perform? 139. What tourist attractions are there in Reims? 140. What type of bridge is the Golden Gate Bridge? 141. What type of currency is used in Australia? 142. What type of horses appear on the Budweiser commercials? 143. What type of hunting are retrievers used for? 144. What U.S. Government agency registers trademarks? 145. What U.S. state's motto is "Live free or Die"? 146. What university was Woodrow Wilson President of? 147. What was the ball game of ancient Mayans called? 148. What was the death toll at the eruption of Mount Pinatubo? 149. What was the name of Jacques Cousteau's ship? 150. What was the name of the movie that starred Sharon Stone and Arnold Schwarzenegger? 151. What was the name of the sitcom that Alyssa Milano starred in with Tony Danza? 152. What was the name of the Titanic's captain? 153. What was the purpose of the Manhattan project? 154. What was W.C. Fields' real name? 155. What were Christopher Columbus' three ships? 156. What were the names of the three ships used by Columbus? 157. What wrestling star became "The Incredible Hulk"? 158. What year did Hitler die? 159. What year did the Titanic sink? 160. What year did the Vietnam War end? 161. What year did WWII begin? 162. What year was the Avery Dennison company founded? 163. What year was the Mona Lisa painted? 164. What's the formal name for Lou Gehrig's disease? 165. What's the most famous tourist attraction in Rome? 166. What's the name of a golf course in Myrtle Beach? 167. What's the name of a hotel in Indianapolis? 168. What's the name of Pittsburgh's baseball team? 169. What's the name of the actress who starred in the movie, "Silence of the Lambs"? 170. What's the name of the star of the cooking show, "Galloping Gourmet"? 171. What's the name of the Tampa newspaper? 172. What's the name of the tiger that advertises for Frosted Flakes cereal? 173. What's the name of the Tokyo Stock Exchange? 174. What's the population of Biloxi, Mississippi? 175. What's the population of Mississippi? 176. What's the tallest building in New York City? 177. Which comedian's signature line is "Can we talk"? 178. Which mountain range in North America stretches from Maine to Georgia? 179. Which U.S. President is buried in Washington, D.C.? 180. Where are the headquarters of Eli Lilly? 181. Where are the National Archives? 182. Where are the Rocky Mountains? 183. Where are the U.S. headquarters for Procter and Gamble? 184. Where did Bill Gates go to college? 185. Where did Hillary Clinton graduate college? 186. Where did Howard Hughes die? 187. Where did the Inuits live? 188. Where did the Maya people live? 189. Where did Woodstock take place? 190. Where does Mother Angelica live? 191. Where is Amsterdam? 192. Where is Ayer's rock? 193. Where is Basque country located? 194. Where is Belize located? 195. Where is Burma? 196. Where is Glasgow? 197. Where is Guam? 198. Where is John Wayne airport? 199. Where is Kings Canyon? 200. Where is Las Vegas? 201. Where is Logan International located? 202. Where is McCarren Airport? 203. Where is Melbourne? 204. Where is Milan? 205. Where is Ocho Rios? 206. Where is Perth? 207. Where is Prince Edward Island? 208. Where is Rider College located? 209. Where is Romania located? 210. Where is Santa Lucia? 211. Where is the bridge over the river Kwai? 212. Where is the Danube? 213. Where is the Euphrates River? 214. Where is the Grand Canyon? 215. Where is the Holland Tunnel? 216. Where is the Isle of Man? 217. Where is the Kalahari desert? 218. Where is the location of the Orange Bowl? 219. Where is the Louvre? 220. Where is the Mall of the America? 221. Where is the Mayo Clinic? 222. Where is the Orinoco River? 223. Where is the Orinoco? 224. Where is the Shawnee National Forest? 225. Where is the Smithsonian Institute located? 226. Where is the Thomas Edison Museum? 227. Where is the Valley of the Kings? 228. Where is the volcano Mauna Loa? 229. Where is the volcano Olympus Mons located? 230. Where is Tornado Alley? 231. Where is Trinidad? 62 232. Where is Tufts University? 233. Where is Venezuela? 234. Where is Webster University? 235. Where is Windsor Castle? 236. Where was John Adams born? 237. Where was Poe born? 238. Where was Pythagoras born? 239. Where was Tesla born? 240. Where's Montenegro? 241. Who assassinated President McKinley? 242. Who created "The Muppets"? 243. Who created the character James Bond? 244. Who created the character of Scrooge? 245. Who created the comic strip, "Garfield"? 246. Who developed the Macintosh computer? 247. Who discovered America? 248. Who found Hawaii? 249. Who invented the game Scrabble? 250. Who is a German philosopher? 251. Who is buried in the great pyramid of Giza? 252. Who is Secretary-General of the United Nations? 253. Who is the emperor of Japan? 254. Who is the founder of the Wal-Mart stores? 255. Who is the leader of India? 256. Who is the monarch of the United Kingdom? 257. Who is the president of Bolivia? 258. Who is the Prime Minister of Canada? 259. Who is the prophet of the religion of Islam? 260. Who killed Caesar? 261. Who killed Martin Luther King? 262. Who manufacturers Magic Chef applicances? 263. Who manufactures the software, "PhotoShop"? 264. Who owns CNN? 265. Who owns the St. Louis Rams? 266. Who painted Olympia? 267. Who played the teacher in Dead Poet's Society? 268. Who portrayed Jake in the television show, "Jake and the Fatman"? 269. Who provides telephone service in Orange County, California? 270. Who shot Billy the Kid? 271. Who started the Dominos Pizza chain? 272. Who was Charles Lindbergh's wife? 273. Who was Darth Vader's son? 274. Who was Samuel Johnsons's friend and biographer? 275. Who was the abolitionist who led the raid on Harper's Ferry in 1859? 276. Who was the architect of Central Park? 277. Who was the author of the book about computer hackers called "The Cuckoo's Egg: Tracking a Spy Through the Maze of Computer Espionage"? 278. Who was the founding member of the Pink Floyd band? 279. Who was the oldest U.S. president? 280. Who was the president of Vichy France? 281. Who was the tallest U.S. president? 282. Who won Ms. American in 1989? 283. Who won the nobel prize in literature in 1988? 284. Who won the rugby world cup in 1987? 285. Who won the Superbowl in 1982? 286. Who wrote "An Ideal Husband"? 287. Who wrote "The Pit and the Pendulum"? 288. Who wrote "The Scarlet Letter"? 289. Who wrote the book, "Huckleberry Finn"? 290. Who wrote the book, "Song of Solomon"? 291. Who wrote the book, "The Grinch Who Stole Christmas"? 292. Who wrote the hymn "Amazing Grace"? 293. Who wrote the song, "Boys of Summer"? 294. Who wrote the song, "Silent Night"? 295. Who's the lead singer of the Led Zeppelin band? 296. When did Aldous Huxley write, "Brave New World"? 297. When did Amtrak begin operations? 298. When did Elvis Presley die? 299. When did Muhammad live? 300. When did the American Civil War end? 301. When did the California lottery begin? 302. When did the Carolingian period begin? 303. When did the Chernobyl nuclear accident occur? 304. When did the Hindenberg crash? 305. When did the royal wedding of Prince Andrew and Fergie take place? 306. When did World War I start? 307. When is Bastille Day? 308. When is Boxing Day? 309. When is hurricane season in the Caribbean? 310. When is the Tulip Festival in Michigan? 311. When was "the Great Depression"? 312. When was Algeria colonized? 313. When was Babe Ruth born? 314. When was Beethoven born? 315. When was Hurricane Hugo? 316. When was John D. Rockefeller born? 317. When was Lyndon B. Johnson born? 318. When was Microsoft established? 319. When was Nostradamus born? 320. When was Rosa Parks born? 321. When was the Brandenburg Gate in Berlin built? 322. When was the De Beers company founded? 323. When was the Hoover Dam constructed? 324. When was the movie, Caligula, made? 325. When was the NFL established? 326. When was the San Francisco fire? 327. When was the Triangle Shirtwaist fire? 328. When were William Shakespeare's twins born? 329. How big is Australia? 330. How big is the Electoral College? 331. How did Bob Marley die? 332. How far away is the moon? 333. How far is it from Denver to Aspen? 334. How far is Pluto from the sun? 335. How fast can a Corvette go? 336. How hot is the core of the earth? 337. How large is Missouri's population? 338. How long did Rip Van Winkle sleep? 339. How long would it take to get from Earth to Mars? 340. How many casinos are in Atlantic City, NJ? 341. How many counties are in Indiana? 342. How many films did Ingmar Bergman make? 343. How many Great Lakes are there? 344. How many islands does Fiji have? 345. How many miles is it from London, England to Plymouth, England? 346. How many people die from snakebite poisoning in the U.S. per year? 347. How many people live in Chile? 348. How many Stradivarius violins were ever made? 349. How many Superbowls have the 49ers won? 350. How many zip codes are there in the U.S.? 351. How much in miles is a ten K run? 352. How much money does the Sultan of Brunei have? 353. How much was a ticket for the Titanic? 63 354. How tall is Kilimanjaro? 355. How tall is the Gateway Arch in St. Louis, MO? 356. How tall is the Sears Building? 357. How wide is the Atlantic Ocean? 358. How wide is the Milky Way galaxy? 359. In Poland, where do most people live? 360. In what area of the world was the Six Day War fought? 361. In what book can I find the story of Aladdin? 362. Italy is the largest producer of what? 363. Mercury, what year was it discovered? 364. Name a ballet company Mikhail Baryshnikov has danced for? 365. Name a film in which Jude Law acted. 366. Name a Gaelic language 367. Name a movie that the actress, Sandra Bullock, had a role in. 368. Name a novel written by John Steinbeck. 369. Name a tiger that is extinct? 370. Name an American made motorcycleM 371. Name an American war plane? 372. Name an art gallery in New York. 373. Name one of the Seven Wonders of the Ancient World 374. Tell me what city the Kentucky Horse Park is near? 375. About how many soldiers died in World War II? 376. Can you give me the name of a clock maker in London, England? 377. For what disease is the drug Sinemet used as a treatment? 378. George Bush purchased a small interest in which baseball team? Các câu không sinh ra đúng đồ thị ý niệm 1. What actor first portrayed James Bond?O 2. What did Delilah do to Samson's hair?O 3. What did Edward Binney and Howard Smith invent in 1903?O 4. What does caliente mean (in English)?O 5. What imaginary line is halfway between the North and South Poles?O 6. What instrument is Ray Charles best known for playing?O 7. What is the exchange rate between England and the U.S.?O 8. What is the Islamic counterpart to the Red Cross?O 9. What is the name of the Michelangelo painting that shows two hands with fingers touching?M 10. What President became Chief Justice after his presidency?O 11. What river flows between Fargo, North Dakota and Moorhead, Minnesota?O 12. What strait separates North America from Asia? O 13. What was the man's name who was killed in a duel with Aaron Burr?O 14. What was the last year that the Chicago Cubs won the World Series?O 15. What was the name of the famous battle in 1836 between Texas and Mexico?O 16. What was the name of the first Russian astronaut to do a spacewalk?O 17. What was the name of the television show, staring Karl Malden, that had San Francisco in the title?M 18. What year did Canada join the United Nations?O 19. What year did Montana become a state?O 20. What year did the Milwaukee Braves become the Atlanta Braves?O 21. What year did the U.S. buy Alaska?O 22. What year did the United States abolish the draft?O 23. What year was Desmond Mpilo Tutu awarded the Nobel Peace Prize?O 24. What year was Janet Jackson's first album released?O 25. What's the name of the song Will Smith sings about parents?O 26. Where did Wicca first develop?O 27. Who coined the term "cyberspace" in his novel "Neuromancer"?O 28. Who was elected president of South Africa in 1994?O 29. Who was the 21st U.S. President?O 30. Who was the 23rd president of the United States?O 31. Who was the 33rd president of the United States?O 32. Who was the first American to walk in space?O 33. Who was the first coach of the Cleveland Browns?O 34. Who was the first female United States Representative?O 35. Who was the first governor of Alaska?O 36. Who was the first king of England?O 37. Who was the first man to fly across the Pacific Ocean?O 38. Who was the first U.S. president ever to resign?O 39. When did Geraldine Ferraro run for vice president?O 40. When did Hawaii become a state?O 41. When did Idaho become a state?O 42. When did John F. Kennedy get elected as President?O 43. When did Princess Diana and Prince Charles get married?O 44. When did the Dow first reach 2000?O 45. When was CNN's first broadcast?O 46. When was the first Barbie produced?O 47. When was the first railroad from the east coast to the west coast completed?O 48. When was the first Wall Street Journal published?O 49. When was the first Wal-Mart store opened?O 50. When was the last major eruption of Mount St. Helens?O 51. How long would it take for a $50 savings bond to mature?O 52. How old was Elvis Presley when he died?O 53. How was Teddy Roosevelt related to FDR?Q 54. How many highway miles to the gallon can you get with the Ford Fiesta?O 55. How many home runs did Babe Ruth hit in his lifetime?Q 56. How many home runs did Lou Gehrig have during his career?Q 57. How many people lived in Nebraska in the mid 1980s?O 58. How many years ago did the ship Titanic sink?O 59. In the late 1700's British convicts were used to populate which colony?O 60. The U.S. Department of Treasury first issued paper currency for the U.S. during which war?O 61. At Christmas time, what is the traditional thing to do under the mistletoe?Q 62. At what speed does the Earth revolve around the sun?O Ghi chú: O: O-Error; Q:Q-Error; M:M-Erro 64