Đề tài Nghiên cứu kỹ thuật nhận dạng bàn tay người

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG LÊ VIỆT DŨNG NGHIÊN CỨU KỸ THUẬT NHẬN DẠNG BÀN TAY NGƯỜI Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - 2013 Luận văn được hoàn thành tại: HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Người hướng dẫn khoa học: PGS. TS. Ngô Quốc Tạo Phản biện 1: …………………………………………………………… … Phản biện 2: …………………………………………………………… … Luận văn sẽ được bảo vệ trước Hội đồng chấm luận văn thạc sĩ tại Học viện Công nghệ Bưu chính Viễn thông Vào lúc: ....... giờ ....... ngày ....... tháng ....... .. năm ............... Có thể tìm hiểu luận văn tại: - Thư viện của Học viện Công nghệ Bưu chính Viễn thông 1 MỞ ĐẦU Ngày nay dưới sự phát triển rộng rãi của các ứng dụng công nghệ thông tin vào trong cuộc sống, việc tương tác giữa con người và thiết bị ngày càng trở nên quan trọng. Trước đây, bàn phím và chuột là các giao diện chính để giao tiếp giữa người và máy tính. Trong các lĩnh vực khác cần tới các thông tin 3D, chẳng hạn như trò chơi máy tính, robot và lĩnh vực thiết kế… các thiết bị cơ khí khác như bóng lăn, cần điều khiển hay các găng tay dữ liệu đã được sử dụng. Tuy nhiên, con người giao tiếp chủ yếu bởi “nghe” và “nhìn”, do đó một giao diện người – máy sẽ trực quan hơn nếu con người có thể điều khiển máy tính bằng giọng nói hay cử chỉ giống như khi tương tác giữa người với người trong thế giới thực mà không cần thông qua các thiết bị điều khiển khác như chuột hay bàn phím. Một ưu điểm khác là người dùng có thể giao tiếp từ xa mà không cần phải có tiếp xúc vật lý với máy tính. So với các hệ thống điều khiển bằng lệnh âm thanh, một hệ thống thị giác sẽ thích hợp hơn trong môi trường ồn ào hoặc trong trường hợp âm thanh bị nhiễu. Nhận dạng các cử động của tay người là cách tự nhiên khi tương tác người – máy và ngày nay nhiều nhà nghiên cứu trong các học viện và ngành công ghiệp đang quan tâm đến 2 hướng này. Nó cho phép con người tương tác với máy rất dễ dàng và thuận tiện mà không cần phải mang thêm bất kỳ thiết bị ngoại vi nào. Với mục đích nghiên cứu kỹ thuật nhận dạng cử chỉ bàn tay người, luận văn sẽ tập trung trình bày một số nội dung chính như sau. Chương 1: Tìm hiểu tổng quan về bài toán nhận dạng hình ảnh cử chỉ bàn tay người và các ứng dụng trong thực tế. Chương 2: Trình bày về một số kỹ thuật tiền xử lý ảnh bao gồm phân đoạn ảnh và kỹ thuật lọc hình thái để phục vụ cho trích chọn đặc trưng. Kỹ thuật phân đoạn sẽ chuyển đổi ảnh về ảnh nhị phân chỉ chứa bàn tay hoặc nền. Kỹ thuật lọc được sử dụng để loại bỏ nhiễu từ ảnh để có thể thu được đường bao mịn màng. Chương 3: Trình bày về một số kỹ thuật trích chọn đặc trưng để phục vụ cho bài toán nhận dạng hình ảnh cử chỉ bàn tay người. Các phương pháp tìm biên sẽ được sử dụng để phát hiện đường biên, sau đó đặc trưng bàn tay sẽ được trích chọn phục vụ cho bộ phân lớp. Chương 4: Mô tả bộ dữ liệu huấn luyện và trình bày các kết quả thực nghiệm trong việc nhận dạng và phân loại hình ảnh cử chỉ của tay người. 3 CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG HÌNH ẢNH CỬ CHỈ BÀN TAY 1.1. Hệ thống tương tác người máy Những thiết bị input và output đặc biệt đã được thiết kế trong những năm qua với mục đích làm cho giao tiếp giữa máy tính và con người được thực hiện một cách dễ dàng. Hai thiết bị phổ biến nhất là bàn phím và chuột. Ý tưởng để làm cho máy tính hiểu ngôn ngữ con người và phát triển giao diện người - máy thân thiện đang nhận được sự quan tâm của cộng đồng các nhà nghiên cứu. Làm cho một máy tính hiểu được lời nói, nét mặt, cử chỉ của con nghười là một trong số những quan tâm đó. Trong tương tác người – máy, các hình trạng khác nhau của bàn tay có thể giả định để thao tác với các đối tượng hoặc truyền tải rất nhiều thông tin. Do đó, bàn tay của con người có thể sử dụng làm “thiết bị đầu vào” rất có giá trị. Trong thế giới thực, chúng ta có thể cầm, thả, di chuyển… các đối tượng bằng các cử chỉ của bàn tay. Tương tự như vậy, khi tương tác với các thiết bị như máy tính, tivi, ô tô… chỉ với vài cử chỉ của bàn tay là ta có thể điều khiển được 4 hoạt động của nó. Ví dụ như ta chỉ cần phẩy tay là có thể chuyển kênh tivi, hay bật / tắt radio trên ô tô v.v… thay vì phải tự tay nhấn nút trên bộ điều khiển. Để làm được điều này, bộ điều khiển của các thiết bị phải được gắn một thiết bị cảm nhận (camera/webcam), thiết bị cảm nhận này sẽ thu nhận hình ảnh của bàn tay, nhận dạng cử chỉ để phát lệnh điều khiển tương ứng. Ngoài ra, nhận dạng cử chỉ còn có rất nhiều ứng dụng khác: cử chỉ bàn tay được sử dụng để giả lập các thao tác tương tác với đối tượng trong thế giới ảo; trong tương tác giữa người và robot, cử chỉ bàn tay chính là ngôn ngữ để con người và robot có thể giao tiếp với nhau. Để nhận dạng cử chỉ, bước đầu tiên trong các hệ thống nhận dạng là phát hiện ra vị trí bàn bay bằng một thiết bị cảm nhận để thu thập các quan sát cần cho việc phân loại hay miêu tả; sau đó tiến hành xử lý hình ảnh, trích chọn đặc trưng (feature extraction) để tính toán các thông tin dưới dạng số hay dạng biểu tượng (symbolic) từ các dữ liệu quan sát và thực hiện công việc phân loại dựa vào các đặc tính đã được trích chọn để nhận dạng cử chỉ. Đó chính là nhiệm vụ của bài toán nhận dạng cử động của bàn tay. Các cử động của bàn tay được phát hiện dựa trên tập dữ liệu về bàn tay được thu thập từ trước. Hai 5 hướng tiếp cận chính để thu nhận thông tin về bàn tay người có thể sử dụng là:  Dùng găng tay chuyên dụng với bộ cảm biến gắn liền đo vị trí của các khớp ngón tay.  Phương pháp quang học. 1.2. Cử chỉ bàn tay Thật khó có thể giải quyết với một định nghĩa cụ thể nào của cử chỉ do có nhiều ứng dụng đề xuất và mỗi ứng dụng chỉ có thể chỉ xác định trên một miền cụ thể của cử chỉ. Bobick và Wilson đã định nghĩa cử chỉ như những chuyển động của thân thể khi giao tiếp với những cá thể khác. Để giao tiếp thành công, người truyền và người nhận phải có cùng một tập hợp thông tin cho những cử chỉ đặc biệt. Trong luận văn, cử chỉ được định nghĩa như một sự chuyển động của những ngón tay như một tín hiệu đặc biệt, để liên lạc chính xác giữa người gửi và thiết bị nhận. 1.3. Những ứng dụng dựa trên cử chỉ bàn tay Các cử chỉ cơ bản được phân loại thành 2 nhóm dựa trên cơ sở mục đích ứng dụng của chúng: đa điều khiển, ngôn ngữ tượng trưng. 6 Thiết kế 3D: Việc thao tác đầu vào 3 chiều với con chuột máy tính là một công việc rất phức tạp và tốn nhiều thời gian. Viện công nghệ Massachuchetttes đã đưa ra các công nghệ 3DRAW sử dụng một cây bút nhúng trong thiết bị polhemus để theo dõi vị trí bút và định hướng trong 3D. Điểu khiển từ xa: Làm tăng khả năng điều khiển bằng tay trong một số trường hợp lỗi hệ thống, điều kiện khẩn cấp hoặc vùng sâu vùng xa khó tiếp cận. Thường thì những điều khiển này con người không thể tiếp cận gần máy móc. Điều khiển từ xa là một lĩnh vực trí tuệ nhân tạo nhằm mục đích hỗ trợ việc điều khiển cánh tay robot thông qua các cử chỉ cơ thể để thực hiện các nhiệm vụ cần thiết Virtual reality: Thực tế ảo được áp dụng Nâng cao, hệ thống xúc giác tiên tiến hiện nay bao gồm thông tin xúc giác, thường được gọi là lực lượng phản hồi, trong các ứng dụng y tế và chơi game. Ngôn ngữ ký hiệu: Ngôn ngữ kí hiệu là hình thức thô nhất và tự nhiên của ngôn ngữ đánh dấu, ngày trở lại sớm nhất là sự ra đời của nền văn minh của con người, khi các lý thuyết đầu tiên của ngôn ngữ ký hiệu xuất hiện trong lịch sử. Nó đã bắt đầu trước khi có sự xuất hiện của ngôn ngữ nói. 7 1.4. Những thách thức trong nhận dạng cử chỉ bàn tay 1.4.1 Tốc độ nhận dạng Để nhận dạng cử chỉ bàn tay có thể tương tác được với người dùng trong thực tế thì hệ thống này phải có thời gian nhận dạng thời gian thực, tức là tốc độ xử lý phải nhanh. 1.4.2 Độ chính xác Hiện nay, có nhiều hướng nghiên cứu về nhận dạng cử động của bàn tay như sử dụng các phương pháp: Mô hình Markov ẩn (Hidden Markov Models); Mô hình phân bố điểm xấp xỉ tuyến tính thành phi tuyến (Linear approximation to non-linear point distribution models); mô hình đối sánh/máy trạng thái hữu hạn (Finite state machine/model matching); Đố sánh mẫu nhanh (Fast template matching). CHƯƠNG 2: MỘT SỐ KỸ THUẬT TIỀN XỬ LÝ 2.1. Giới thiệu Tiền xử lý là nhiệm vụ quan trọng trong hệ thống nhận dạng cử chỉ bàn tay tay. Tiền xử lý được áp dụng cho hình ảnh trước khi chúng ta có thể trích chọn đặc trưng từ hình ảnh bàn tay. Tiền xử lý bao gồm hai bước 8  Phân đoạn  Lọc hình thái 2.2. Phân đoạn ảnh dựa vào màu da Phân đoạn ảnh là một thao tác ở mức thấp trong toàn bộ quá trình xử lý ảnh. Quá trình này thực hiện việc phân vùng ảnh thành các vùng rời rạc và đồng nhất với nhau hay nói cách khác là xác định các biên của các vùng ảnh đó. Các vùng ảnh đồng nhất này thông thường sẽ tương ứng với toàn bộ hay từng phần của các đối tượng thật sự bên trong ảnh. Như vậy, mục tiêu của phân đoạn ảnh là làm nổi bật hoặc tách hẳn đối tượng cần quan tâm ra từ ảnh ban đầu, làm đơn giản hóa và thay đổi cách biểu diễn để dễ dàng phân tích hơn. Vì thế, trong hầu hết các ứng dụng của lĩnh vực xử lý và nhận dạng ảnh, phân đoạn ảnh luôn đóng một vai trò quan trọng và cần thiết, nó thường là bước tiền xử lý đầu tiên trong toàn bộ quá trình trước khi thực hiện các thao tác khác ở mức cao hơn như nhận dạng đối tượng, biểu diễn đối tượng hay truy vấn ảnh dựa vào nội dung… Da con người có màu rất đặc trưng, có thể dễ dàng nhận dạng và nó cũng không bị ảnh hưởng bởi các phép biến đổi hình học của đối tượng. Vì vậy, phát hiện bàn tay người 9 dựa trên việc phát hiện da là một phương pháp khá đơn giản và có thể thực hiện được. Phát hiện da là một bước xử lý tìm kiếm trong ảnh các vùng và điểm ảnh có màu da rồi đưa ra kết quả vùng bàn tay trên ảnh là vùng các điểm ảnh có màu da, phát hiện các điểm ảnh màu da có vẻ như khá dễ dàng, tuy nhiên, do phương pháp này chỉ dựa vào thông tin về màu sắc nên các vùng ảnh không phải là bàn tay như khuôn mặt hay các vùng da khác trên cơ thể con người, thậm chí là các đối tượng khác có màu giống với màu da cũng bị nhận diện như là bàn tay. Do đó, việc phát hiện bàn tay dựa trên màu da chỉ có hiệu quả khi trong ảnh ngoài vùng bàn tay thì không chứa thêm các đối tượng khác có màu da và vùng bàn tay phải có sự tách biệt với nền. Quy trình phát hiện da gồm 2 giai đoạn: Huấn luyện và phát hiện. Huấn luyện để nhận dạng được màu da dựa trên 3 bước cơ bản sau:  Thu thập dữ liệu về da từ nhiều ảnh khác nhau của nhiều người khác nhau và ảnh chụp trong các điều kiện khác nhau.  Lựa chọn một không gian màu thích hợp.  Học các thông số về phân loại da. 10 Khi có bộ huấn luyện phát hiện da, tiến hành nhận dạng các điểm ảnh có màu da từ ảnh:  Chuyển đổi ảnh sang không gian màu được sử dụng trong giai đoạn huấn luyện.  Phân loại các điểm ảnh màu da hay không phải màu da.  Hoàn tất xử lý các đặc trưng cần sử dụng hình thái học để áp đặt không gian thuần nhất trên các vùng được phát hiện. 2.2.1 Phân tách vùng màu da Thuật toán này dựa trên việc xây dựng mô hình phân bố màu da có tham số. Ví dụ từ ảnh gốc (RGB) được chuyển đổi sang không gian màu YCrCb. Một tập hợp các mẫu màu da được lấy ra từ các ảnh màu nhằm xác định phân bố màu da trong không gian màu YCrCb và được giả định là có thể mô hình hóa bởi phân bố Gaussian [18]. Các mẫu màu da được lọc thông thấp để giảm nhiễu. Từ tập hợp các mẫu màu da đầu vào, các tham số của mô hình được xây dựng trên cơ sở tính các tham số thống kê sau: ∑ ∑ ∑ 11 Trong đó: : là các vectơ mẫu màu da trích chọn. n : tổng số các mẫu màu da. : vectơ trung bình của phân bố. ∑ ma trận hiệp biến của phân bố. Từ đó, để xác định một điểm ảnh có là màu da hay không, ta tính toán hàm mật độ xác suất của điểm ảnh đó trong phân bố Gaussian. ∑ ∑ Để phân biệt điểm ảnh nào thuộc màu da, ta dùng luật phân lớp theo khoảng cách Mahalanobis từ tới và ∑ : ∑ Kết quả quá trình phân lớp phân hoạch tập các điểm ảnh thành 2 lớp: lớp các điểm ảnh có màu da và lớp các điểm ảnh không phải màu da. 12 2.2.2 Phân loại dựa vào ngưỡng trên mỗi kênh màu Với ảnh được chụp dưới điều kiện ánh sáng được kiểm soát, màu da con người phân bố thành một vùng nhỏ trong không gian màu. Để phát hiện điểm ảnh có màu da, ta cần định nghĩa ngưỡng cho các thành phần của không gian màu. Mỗi thành phần có thể có một hay nhiều giá trị ngưỡng, các điểm ảnh có giá trị thuộc phạm vi xác định trước của tất cả các thành phần được coi là các điểm ảnh có màu da. Karin Sobottka và Loannis Pitas [15] sử dụng các ngưỡng cố định trong không gian màu HS. Các điểm ảnh có giá trị H nằm trong khoảng [0, 50], giá trị S nằm trong khoảng [0.23, 0.68] được xác định là điểm ảnh có màu da. Các giá trị ngưỡng này phù hợp để phân loại các điểm ảnh có màu da đối với ảnh chụp người da trắng và da vàng. Douglas Chai và King N. Ngan [16] đề xuất một thuật toán xác định các điểm ảnh có màu da có giá trị Cb nằm trong khoảng [77, 127] và giá trị Cr nằm trong khoảng [133, 173]. Yanjiang Wang và Baozong Yuan [17] sử dụng các giá trị ngưỡng trong không gian màu rgb (r + g + b = 1) và HSV. Trong đó, giá trị thành phần r của các điểm ảnh nằm trong khoảng [0.36, 0.465], giá trị thành phần g nằm trong khoảng [0.28, 0.363], giá trị H nằm trong khoảng [0, 50], giá trị S nằm 13 trong khoảng [0.20, 0.68], giá trị V nằm trong khoảng [0.35, 1] được xác định là điểm ảnh có màu da. 2.3. Kỹ thuật lọc hình thái Khi nhìn cận cảnh với những hình ảnh phân đoạn và áp dụng thuật toán Otsu vào hình ảnh xám ban đầu chúng ta thấy rằng các phân khúc là không hoàn chỉnh. Nền có những số 1 được biết đến như nhiễu xung quanh và cử chỉ tay có một vài số 0 được biết đến như nhiễu cử chỉ. Những nhiễu này có thể dẫn đến một vấn đề trong việc phát hiện đường viền của cử chỉ tay vì vậy chúng tôi cần phải loại bỏ các nhiễu này. Một phương pháp bộ lọc hình thái học đã được áp dụng sử dụng chuỗi các sự giãn nở và xói mòn để có được một đường viền mịn, khép kín, và hoàn chỉnh của một cử chỉ. CHƯƠNG 3: NHẬN DẠNG HÌNH ẢNH CỬ CHỈ BÀN TAY 3.1. Kỹ thuật trích chọn đặc trưng 3.1.1 Kỹ thuật phát hiện biên Biên là một trong những đặc trưng quan trọng của ảnh, nó được dùng để mô tả hình dạng của đối tượng khá hiệu quả. 14 Để biểu diễn hình dạng đối tượng dựa trên đường biên, trước hết cần xác định biên của đối tượng và biểu diễn nó theo một phương pháp nào đó. 3.1.1.1 Kỹ thuật phát hiện biên Gradient Đây là phương pháp dò biên cục bộ dựa vào cực đại của đạo hàm. Theo định nghĩa, Gradient là một vectơ có các thành phần biểu thị tốc độ thay đổi mức xám của điểm ảnh theo hai hướng và (ảnh hai chiều 3.1.1.2 Kỹ thuật phát hiện biên Laplace Để khắc phục hạn chế và nhược điểm của phương pháp Gradient. Khi mức xám thay đổi chậm, miền chuyển tiếp trải rộng, phương pháp cho hiệu quả hơn đó là phương pháp sử dụng đạo hàm bậc hai Laplace. Phương pháp Laplace tạo đường biên mảnh (độ rộng 1 pixel). Tuy nhiên, nhược điểm của kỹ thuật này là rất nhạy với nhiễu nên đường biên thu được thường kém ổn định. 3.1.1.3 Kỹ thuật phát hiện biên Canny Trong xử lý hình ảnh tìm thấy cạnh biên là vấn đề cơ bản vì cạnh biên xác định ranh giới của các đối tượng khác 15 nhau. Thuật toán dò tìm cạnh biên Canny được biết như dò tìm cạnh biên tối ưu. Canny, cải thiện dò tìm cạnh biên bằng cách theo danh sách tiêu chí.  Đầu tiên là tỷ lệ lỗi thấp.  Tiêu chí thứ hai là các điểm cạnh biên khoanh vùng.  Tiêu chí thứ ba là để có một đáp ứng tới cạnh biên. Dựa vào các tiêu chí này, dò tìm cạnh biên Canny đầu tiên làm mịn hình ảnh để loại bỏ và nhiễu. Sau đó, nó tìm thấy độ nghiêng hình ảnh để làm nổi bật vùng với phát sinh không gian cao. Thuật toán sau đó theo dõi dọc theo các vùng này và ngăn chặn bất kì điểm ảnh nào không phải là tối 3.1.1.4 Mô tả đường biên Đường biên trước tiên phải được nhị phân hóa. Đây là giai đoạn then chốt trong quá trình trích chọn vì nó xác định đường bao nào thực sự cần và đường bao nào có thể loại bỏ. Việc mã hóa đường bao có thể thực hiện theo nhiều cách khác nhau. Có thể dùng biểu diễn chính xác đường biên hay xấp xỉ nhờ nội suy. Thông thường các cấu trúc cơ sở mã hóa đường biên gồm 4 loại: điểm, đoạn thẳng, cung và đường cong. 16 Tuy nhiên, luôn có xung đột giữa độ phức tạp tính toán và khả năng biểu diễn ảnh của cách mã hóa thông tin. Biểu diễn đường biên bởi các điểm nói chung không phức tạp song lại rất nghèo nàn về cấu trúc và không cô đọng. Trong khi đó, biểu diễn bằng đường cong đa thức bậc cao làm tăng độ phức tạp tính toán, song bù lại cấu trúc dữ liệu lại rất cô đọng. 3.1.2 Trích chọn đặc trưng dựa vùng liên kết Các đối tượng hình học được phát hiện thường thông qua các kỹ thuật dò biên, kết quả tìm được này là các đường biên xác định đối tượng. Đó là, một dãy các điểm liên tiếp đóng kín, sử dụng các thuật toán đơn giản hóa như Douglas Peucker, Band Width, Angle v.v.. ta sẽ thu được một polyline hay nói khác đi là thu được một đa giác xác định đối tượng. Vấn đề là ta cần phải xác định xem đối tượng có phải là đối tượng cần tách hay không? Như ta đã biết một đa giác có thể có hình dạng tựa như một hình cơ sở, có thể có nhiều cách tiếp cận xấp xỉ khác nhau. Cách xấp xỉ dựa trên các đặc trưng cơ bản sau:  Đặc trưng toàn cục: Các mômen thống kê, số đo hình học như chu vi, diện tích, tập tối ưu các hình chữ nhật phủ hay nội tiếp đa giác v.v… 17  Đặc trưng địa phương: Các số đo đặc trưng của đường cong như góc, điểm lồi, lõm, uốn, cực trị v.v… Việc xấp xỉ tỏ ra rất có hiệu quả đối với một số hình phẳng đặc biệt như tam giác, đường tròn, hình chữ nhật, hình vuông, hình ellipse và một đa giác mẫu. 3.1.2.1 Xấp xỉ đa giác theo bất biến aphin Mô hình chuẩn tắc về bất biến aphin cho phép chúng ta có thể chuyển bài toán xấp xỉ đối tượng bởi bất biến aphin về bài toán xấp xỉ mẫu trên các dạng chuẩn tắc. Như vậy có thể đưa việc đối sánh các đối tượng với mẫu bởi các bất biến đồng dạng, chẳng hạn việc xấp xỉ bởi tam giác, hình bình hành, ellipse tương đương với xấp xỉ tam giác đều, hình vuông, hình tròn v.v 3.1.3 Trích chọn đặc trưng dựa vào chuỗi đường bao cục bộ Sau khi phát hiện cạnh biên chúng ta có ranh giới bàn tay trong hình ảnh đó là đường viền hình ảnh tay của chúng ta. Bây giờ, thuật toán dược áp dụng trên đường viền để truy tìm nó theo hướng chiều kim đồng hồ và đường viền điểm ảnh 18 được đánh số tuần tự. Đầu tiên chúng ta chạy 1 tìm kiếm trong hình ảnh để tìm thấy giá trị cao nhất khác 0, ví dụ đường viền điểm ảnh sau khi đánh số đường viền theo tuần tự chiều kim đồng hồ từ điểm đó. 3.1.4 Trích chọn đặc trưng dựa trên phân bố mức xám Một kỹ thuật trích chọn đặc trưng dựa trên phân bố mức xám là phép biến đổi Haar-like do Viola và Jones công bố, đặc trưng Haar-like dựa trên ý tưởng tính độ chênh lệch giữa các giá trị mức xám của các điểm ảnh trong các vùng kề nhau trong ảnh xám, mỗi đặc trưng là sự kết hợp của hai hay ba hình chữ nhật “trắng” hay “đen” . Lợi ích của đặc trưng Haar-like là nó diễn đạt được tri thức về các đối tượng trong ảnh vì nó biểu diễn mối liên hệ giữa các bộ phận của đối tượng, điều mà bản thân từng điểm ảnh không diễn đạt được. Giá trị của đặc trưng Haar-like là sự chênh lệch giữa tổng giá trị các pixel của các vùng đen và các vùng trắng 3.2. Phân loại hình ảnh cử chỉ bàn tay bằng SVM Máy hỗ trợ vectơ  SVM (Support Vector Machines) được sử dụng khá thông dụng và đạt nhiều thành công trong 19 lĩnh vực phân loại. Tức là, nếu ta có một loạt các dữ liệu cần chia lớp nhưng không biết quy tắc để phân loại chúng, khi nhận được dữ liệu mẫu mới, thuật toán huấn luyện SVM sẽ xây dựng một mô hình cho phép dự đoán lớp của một mẫu mới đưa vào. Nguồn gốc của SVM dựa trên sự chắc chắn về lỗi chính xác, có thể phân loại ngẫu nhiên các mẫu đối tượng được chọn mà lỗi được giữ sao cho nhỏ nhất. Vì vậy, giải thuật SVM giúp giảm thiểu biên trên các lỗi chính xác và làm cho hệ thống tin cậy hơn. Ý tưởng chính của SVM là chuyển tập mẫu từ không gian biểu diễn Rn của chúng sang một không gian Rd có số chiều lớn hơn. Trong không gian Rd, tìm một siêu phẳng tối ưu để phân hoạch tập mẫu này dựa trên phân lớp của chúng, cũng có nghĩa là tìm ra miền phân bố của từng lớp trong không gian Rn để từ đó xác định được phân lớp của một mẫu cần nhận dạng. Chất lượng của siêu phẳng này phụ thuộc vào các đặc trưng của ảnh. Vì vậy, ta tìm được một tập các thông số tốt, sau đó sẽ sử dụng để tạo các mẫu và sử dụng mô hình cuối cùng cho dự báo (trên dữ liệu thử nghiệm chưa rõ). SVM chủ yếu là một phương pháp phân lớp thực hiện nhiệm vụ phân loại bằng cách 20 xây dựng siêu phẳng trong một không gian đa chiều. SVM hỗ trợ cả hai nhiệm vụ hồi quy và phân loại. Dựa trên một số kết hợp có các trọng số của một tập con nhỏ các vectơ huấn luyện, các vectơ này được gọi là vectơ hỗ trợ (support vector). Ước lượng siêu phẳng trong SVM thì tương đương giải một bài toán tuyến tính bậc hai. Chất lượng của siêu phẳng này được quyết định bởi khoảng cách (biên) của điểm dữ liệu gần nhất của mỗi lớp đến mặt phẳng này. Khoảng cách biên càng lớn thì mặt phẳng quyết định càng tốt đồng thời việc phân loại càng chính xác. Mục đích thuật toán SVM tìm ra được khoảng cách biên lớn nhất để tạo kết quả phân lớp tốt. CHƯƠNG 4: THỰC NGHIỆM 4.1. Mô tả cơ sở dữ liệu Bộ dữ liệu dùng để huấn luyện và thử nghiệm chúng tôi thu thập được khoảng gần 1000 mẫu ảnh bàn tay, độ phân giải 320×240, hình được chụp trong các điều kiện môi trường khác nhau như ánh sáng tự nhiên ngoài trời và ánh sáng đèn điện ở nhiều vị trí và các thời điểm khác nhau. Hình bàn tay chụp được đảm bảo rõ nét, bàn tay luôn nằm ở vị trí giữa khuôn hình. 21 22 4.2. Mô tả hệ thống Nạp ảnh trực tiếp từ camera hoặc file ảnh (Không gian mầu GRB, kích thước 320x240) Tiền xử lý Trích chọn đặc trưng Phân loại cử động bằng phương pháp học máy SVM Chuyển đồi không gian mầu RGB sang SHL Xác định ngưỡng mầu da bàn tay Nhị phân ảnh Tìm đường biên bàn tay qua ảnh nhị phân Xấp xỉ đa giác qua đường biên tìm được Tìm và xác đinh các điểm khuyết Tạo bộ dữ liệu huấn luyện dựa trên các đặc trưng Huấn luyện và phân loại cử chỉ bàn tay 23 4.3. Thực nghiệm tiền xử lý Ở phần này đầu tiên chúng tôi sẽ chuyển đổi ảnh RGB qua ảnh với hệ màu khác là hệ màu HSL, HSL là một không gian màu dựa trên 3 số liệu: Vùng màu (H), Độ bão hòa (S), và Độ sáng (L). Bước tiếp theo phân ngưỡng ảnh nhằm tăng độ tương phản giữa màu bàn tay và màu nền, ảnh bàn tay được chuyển thành ảnh nhị phân trong đó mỗi điểm ảnh chỉ được biểu diễn một trong hai giá trị 0 (màu đen) hoặc 1 (màu trắng). Sau khi xác định vùng bày tay, chúng tôi tiếp tục xử lý ảnh và xóa nhiễu, tách các thành phần liên thông trong nhận dạng bàn tay ra khỏi môi trường xung quanh thành từng ảnh riêng biệt trước đi đưa vào nhận dạng. Phép Erosion thì làm cho đối tượng ảnh trở nên nhỏ hơn, ít điểm ảnh hơn. Phép bà o mòn thay những điểm đen thành điểm trắng khi mà lân cận của nó có ít nhất một điểm trắng. Phép Dilation thì mở rộng thêm điểm ảnh vào đối tượng ảnh, làm cho ảnh trở nên lớn hơn. 4.4. Thực nghiệm trích chọn đặc trưng Để tiến hành nhận dạng cử chỉ của bàn tay, chúng tôi tiến hành trích chọn đặc trưng đường bao thu được ở phần phát 24 hiện vùng đối tượng. Ở bước này có thể sử dụng các kỹ thuật phân tích hình dạng đối tượng khác nhau như: sử dụng các dạng moment, phân tích đường bao theo đặc trưng Fourier 2D, sử dụng curvefitting … tuy nhiên trong nghiên cứu của mình bước đầu tôi sử dụng kỹ thuật xấp xỉ đa giác cho vùng đường bao và tìm bao lồi nhỏ nhất chứa vùng bàn tay, tiếp đó trích chọn các đặc trưng theo đa giác Trong đó để phân biệt các ngón tay, chúng tôi tiến hành phân tích độ sâu các kẽ tay dựa trên các góc khuyết, đồng thời loại bỏ các kẽ không phù hợp về độ sâu. Hình. Phát hiện kẽ ngón tay Các thao tác về xấp xỉ đa giác và tìm bao lồi được chúng tôi sử dụng thuật toán Douglas–Peucker tích hợp sẵn trong bộ thư viện mã nguồn mở OpenCV. Góc khuyết 25 Khi đó, vector đặc trưng cho vùng bàn tay cuối cùng được xác định gồm các thành phần sau: f1 số lượng kẽ tay; f2 độ sâu trung bình của các kẽ tay; f3 diện tích vùng bàn tay, f4 giá trị 00 , yx depthI của tâm bàn tay; f5 khoảng cách trung bình giữa hai kẽ tay liên tiếp; f6 số đỉnh bao lồi; f7 độ dài cạnh lớn nhất của bao lồi, f8 độ dài cạnh nhỏ nhất của bao lồi bàn tay. Kết thúc giai đoạn này mỗi tư thế của bàn tay có thể xác định bởi hàm phân loại từ 8 đặc trưng  821 ,, fffGh SVM  4.5. Thực nghiệm nhận dạng hình ảnh cử chỉ bàn tay Từ bộ ảnh thu thập được, chúng tôi chia ra thành nhiều nhóm con theo mỗi loại cử chỉ, và đưa vào tập huấn luyện, qua bước huấn luyện, chúng tôi tạo ra 01 file để ghi lại dữ liệu của 8 đặc trưng đã trích chọn ở phần trên. Kết quả thử nghiệm Trong quá trình thực nhiệm nhận dạng trên nhiều mẫu ảnh, chúng tôi nhận thấy với những ảnh chụp có điều kiện ánh sáng tốt, phông nền trơn độ tương phản cao so với da bàn tay 26 thì kết quả nhận dạng là rất tốt đạt độ chính xác đạt 98%. tuy nhiên, với những ảnh chụp trên phông nền có mầu gần giống như mầu da thì hệ thống nhận dạng rất kém gần như không thể nhận dạng được. KẾT LUẬN Luận văn nghiên cứu các kỹ thuật tiền xử lý ảnh và trích chọn đặc trưng cũng như một số mô hình, thuật toán trong việc nhận dạng hình. Qua các thử nghiệm trên nhiều mẫu hình ảnh cử chỉ bàn tay khác nhau, tôi đã xác định được ngưỡng nhận dạng mầu da bàn tay, qua đó, trích chọn được đặc trưng để đưa vào huấn luyện theo mô hình SVM, hướng tới xây dựng một siêu phẳng để cực tiểu hoá độ phân lớp sai của một đối tượng dữ liệu mới, giúp cho SVM có khả năng mạnh mẽ ứng dụng tốt trong bài toán nhận dạng. Tôi dự định sau đây sẽ tiếp tục nghiên các kỹ thuật huấn luyện máy tính để bổ sung tập các đặc trưng cũng như các cử động của bàn tay và sẽ khảo sát kỹ hơn mức độ nhầm lẫn giữa các cử chỉ và xây dựng ứng dụng tương tác người máy thời gian thực.