Luận án Nghiên cứu nâng cao các kỹ thuật đối sánh vân tay dựa trên đặc trưng điểm chạc - Lê Hồng Hải

biểu diễn MCC. 89 Lastra và cộng sự [39 , triển khai hệ thống gồm 4 bộ x lý GPU GTX 680 cho kết quả 1.5 triệu ph p đối sánh trên giây, thuật toán dựa trên mô tả điểm chạc của Jiang và cộng sự [34 . Cappelli và cộng sự [9 đạt kết quả cao nhất được công bố đến nay, thuật toán đối sánh trên bộ x lý GPU Tesla C2075 s dụng biểu diễn MCC cho kết quả 8.6 triệu đối sánh trên giây. Hầu hết các tiếp cận s dụng GPU như một bước lọc, sau đó một thuật toán đối sánh chính xác hơn s dụng CPU được s dụng để tính toán cho các ứng viên vân tay còn lại. Từ các đánh giá cho thấy, các cách tiếp cận đối sánh vân tay s dụng bộ x lý đồ họa GPU là xu hướng được quan tâm hiện nay nhờ hiệu năng cao và giá thành phần cứng hợp lý so với cách tiếp cận s dụng cụm máy tính. Nội dung tiếp theo luận án s đề cập về kiến trúc tính toán song song trên bộ x lý GPU và các kết quả của luận án. 4.2. Kiến trúc bộ xử lý đồ họa GPU ộ x lý đồ họa GPU Graphic Processing Unit đã chứng minh là công cụ rất hữu ích trong việc tăng tốc độ x lý của các thuật toán đòi hỏi khối lượng tính toán lớn. Các GPU cung cấp khả năng tính toán lên đến hàng ngh n core trên 1 card đồ họa h nh 4.3) với chi phí giá thành phần cứng hợp lý. Hình 4.3: Card đ h a G U hỗ tr h n n hìn core t nh toán Các thiết bị tính toán GPU cung cấp khả năng tính toán song song và đã áp dụng thành công trong nhiều lĩnh vực như trí tuệ nhân tạo [79], giả lập [20], tin sinh [66]. 90 Compute Unified Device Architecture CU là một trong những nền tảng ph biến nhất cho bộ x lý đồ họa GPU [40]. Kiến trúc vật lý của CU bao gồm một tập các bộ x lý kiểu luồng Streaming Multiprocessors - SM , m i bộ x lý bao gồm 32 nhân SIM Single Instruction Multi Data) H nh 4.4 . Để tận dụng đồng thời các nhân, các ch lệnh cần giống nhau trên các nhân. GPU thường được tận dụng trong các bài toán tính toán song song, ví vụ tính toán trên ma trận, đó các ch lệnh thường giống nhau. Trong mô h nh lập tr nh tính toán CU , m i tiến tr nh được thực hiện thông qua một tập các luồng threads song song. Tập các luồng này được t chức thành các khối block dựa theo kiến trúc của bộ x lý luồng SM và s dụng chung tài nguyên bộ nhớ của bộ x lý đó. Hình 4.4: M hình phân ố các tron các hố t nh toán c a G U T ng số luồng trong cùng một khối có giới hạn ví dụ GTX 680 Nivida cóthể thi hành tối đa 1024 luồng, tương ứng với 1024 lõi). Thông thường, m i bộ x lý SM lập lịch và thi hành một tập gồm 32 luồng song song trên 32 lõi được gọi là warps. M i warp thi hành một ch lệnh chung tại một thời điểm, do đó bộ x lý SM được tận dụng hiệu quả khi tất cả 32 luồng trong wraps cùng đồng bộ ch lệnh thi hành. Nếu các luồng cùng wrap thực hiện các đường lệnh khác nhau do các ch lệnh điều kiện), các luồng cần chờ lẫn nhau. o đó các tiến tr nh chạy trên CU thường đơn giản. 91 4.3. Đối sánh vân tay sử dụng GPU Để tận dụng khả năng tính toán song song của GPU, đòi hỏi các thuật toán đối sánh vân tay cần có khả năng song song hóa cao, ví dụ tránh s dụng r nhánh trong quá tr nh tính toán. Các thuật toán đối sánh vân tay được lựa chọn để tiến hành song song hóa trên GPU thường s dụng các mô tả là các vector có chiều dài cố định. 4.3.1. Đối sánh sử dụng mô tả FingerCode Bai và cộng sự [64] tính toán các đặc trưng ingerCode [32] của ảnh dựa trên bộ lọc Gabor h nh 4.5), độ tương đồng giữa 2 vân tay là khoảng cách Euclidean giữa 2 vector FingerCode. Các ph p tính toán trên vector phù hợp với kiến trúc x lý song song của GPU. o các vân tay có thể khác nhau về hướng, do đó các tác giả đề xuất tính toán 16 trường hợp của ingerCode cho các ph p xoay khác nhau.Kết quả báo cáo đạt 2.03 triệu ph p định danh trên giây, s dụng GPU ermi. Một hạn chế của phương pháp đối sánh s dụng ingerCode là cần biết điểm core của vân tay. Thuật toán s khó áp dụng nếu vân tay không tồn tại điểm core hoặc gặp khó trong quá tr nh xác định điểm core. Hình 4.5: Đ c tr n F n erCode c a vân tay t nh d a đ m core vân tay . Các đ c tr n đ c ch a th nh 8 v n 3 v các á trị tron mỗ v n đ c t nh sử dụn c Ga or 3 4.3.2. Đối sánh sử dụng mô tả MCC Thuật toán đối sánh vân tay dựa trên biểu diễn MCC [8] thường được lựa chọn do tính đơn giản trong biểu diễn mô tả các điểm chạc là một vector có độ dài cố định có thể nhị phân hóa và cho độ chính xác cao. 92 Khi cài đặt các thuật toán đối sánh trên GPU, mục đích là tối đa các luồng có chạy đồng thời, do sự khác nhau về số lượng các điểm chạc giữa các vân tay, để tránh sự r nhánh trong x lý, các cánh tiếp cận thường chia thuật toán x ý thành các lệnh gọi GPU độc lập và đòi hỏi các kỹ thuật đặc biệt để chuyển ma trận tương đồng về kích thước cố định [9]. Capelli và cộng sự đạt kết quả cao nhất với 8,75 triệu đối sánh trong thời gian 1 giây s dụng bộ x lý Tesla C2075. Để xác định vân tay truy vấn trong CS L gồm vân tay { } s dụng thuật toán đối sánh dựa trên biểu diễn MCC, bước đầu tiên tiến hành đó là đối sánh giữa các cấu trúc cục bộ để t m ra các ma trận tương đồng similarity matrices , bước tiếp theo s s dụng các ma trận đó để t m ra tập các giá trị tương đồng * + H nh 4.6) Hình 4.6: Quá trình th c th thu t toán đố sánh tr n G U Thuật toán 4.5 minh họa giả mã cho thuật toán đối sánh dựa trên mô tả MCC trên môi trường tính toán CPU. Thuật toán 4.5: Thu t toán định danh vân tay sử dụn u d ễn MCC ốc tr n C U d a s dụng bi u di n P Input: - - * } 93 Output: - { } 1. in DB 2. L = []; 3. ForEach cylinder ( ) in 4. ForEach cylinder ( ) in 5. If ( ) then 6. 𝑠 = || || || || || || 7. L.Add(𝑠 ) 8. End If 9. End ForEach 10. End ForEach 11. ( ) 12. =sum( ) 13. End ForEach Các giá trị đối sánh cục bộ được tính tại dòng 6 dựa trên các vector mô tả cho các phần t của khối trụ. Các vector càng giống nhau độ tương đồng 𝑠 s lớn. Độ tương đồng giữa vân tay truy vấn và vân tay dòng 12 được tính từ trung b nh n giá trị đối sánh cục bộ lớn nhất giữa các mô tả h nh trụ của các điểm chạc của các vân tay. Thuật toán đối sánh trên chưa s dụng giai đoạn gia cố giữa các đối sánh cục bộ. Hầu hết các tiếp cận s dụng GPU như một bước lọc, sau đó một thuật toán chính xác hơn trên CPU được s dụng để tính toán cho các ứng viên vân tay còn lại. 4.4. Đề xuất đối sánh vân tay trên GPU của luận án 4.4.1. Phƣơng pháp đề xuất Thuận toán đối sánh vân tay trên GPU luận án s dụng dựa trên biểu diễn MCC như một số tiếp cận gần đây. Thực tế, các vân tay có số lượng điểm chạc là khác nhau 94 nên quá tr nh triển khai thuật toán đối sánh trên GPU thường phức tạp và chưa khai thác thế mạnh có thể song song hoá quá tr nh đối sánh trên cả 32 lõi của m i bộ SM. Với thống kê trên CS L VC 2002 DB1, số lượng điểm chạc trung b nh của m i vân tay là 30 điểm chạc, đánh giá trên tác giả dựa trên bộ công cụ tách đặc trưng Verifinger [75], số lượng cặp điểm đối sánh phù hợp giữa 2 ảnh vân tay là 6 có thể coi là đối sánh giữa 2 ảnh cùng vân tay. Từ đó, luận án đề xuất s dụng 32 điểm chạc cho m i vân tay trong quá tr nh đối sánh mới mục tiêu khai thác hết năng lực tính toán trên 32 lõi của m i bộ SM. Với ý tư ng đó, luận án s dụng tính toán các biểu diễn MCC cho tất cả các điểm chạc, sau đó chọn từ tập điểm chạc ra 32 điểm chạc. Các điểm chạc được lựa chọn là những điểm chạc trong đó vector biểu diễn MCC có độ dài lớn nhất. Vector biểu diễn dài chứng tỏ có nhiều điểm chạc xung quanh điểm chạc được lựa chọn. Điều này s hạn chế lựa chọn các điểm chạc n m biên của ảnh vân tay. Trong trường hợp vân tay có ít hơn 32 điểm chạc, luận án s thêm vào các điểm chạc ảo, đó các vector biểu diễn MCC có độ dài là 0. Do s dụng tất cả các điểm chạc cho quá tr nh tính toán biểu diễn MCC nên s không ảnh hư ng đến biểu diễn của 32 điểm chạc được chọn ra. Việc lựa chọn 32 điểm chạc cho m i vân tay cho ph p quá tr nh triển khai song song hóa bài toán định danh vân tay tr nên phù hợp với kiến trúc GPU mà đó h trợ tiến hành song song quá tr nh đối sánh trên 32 luồng trên m i bộ SM. Chi tiết thực thi của thuật toán định danh vân tay trên CS L gồm N vân tay s dụng bộ x lý GPU được đề xuất b i luận án như sau: Luận án s dụng 1 khối của GPU cho quá tr nh tính toán ma trận tương đồng giữa các mô tả mã trụ MCC của vân tay trong CSDL với các mô tả mã trụ MCC của vân tay cần truy vấn , các ma trận tương đồng này có cùng kích thước 32x32 như minh họa trong h nh 4.7. Trong cấu trúc của bộ x lý đồ họa GPU, số khối tối đa có thể kh i tạo là có giới hạn. Với bộ x lý đồ họa GTX 680, luận án kh i tạo số khối là 1024x64=65,536 khối. o đó khối thứ i s làm nhiệm vụ đối sánh các vân tay (i+65,535*K) với vân tay cần truy vấn , với K=0..M trong đó (i+65,535*M =< N) 95 Hình 4.7: Sử dụn mỗ hố cho đố sánh a vân tay c a CSDL v vân tay truy v n M i khối có số lượng luồng tính toán là 32 luồng. M i luồng của khối s tính toán 1 cột trong ma trận tương đồng và t m ra giá trị tương đồng lớn nhất trong cột đónhư minh họa trong h nh 5.8. Hình 4.8: Mỗ hố m 3 u n mỗ u n s t nh toán tr n c t c a ma tr n t n đ n 96 Quá tr nh tính toán với đầu vào là CS L gồm N vân tay * + và vân tay cần truy vấn , để t m ra tập giá trị tương đồng * + được minh hoạ trong thuật toán đối sánh 4.2 sau đây: Thuật toán 4.6: Ch t t thu t toán đố sánh đ u t tr n G U Thu * + ụ ́ ụ * + ́ ̀ P ̃ , - , - ̃ ụ trong CSDL ̃ ̣ ̉ ( ( ) ) 𝑠 ( ) ( , - ) () 97 ( ) ∑( , -) 3 }  Kh i đầu chương tr nh, tất cả các điểm chạc cùng với mô tả h nh trụ của các điểm chạc của tất cả các vân tay trong CS L được tải vào bộ nhớ toàn cục của GPU.  Khối GPU với ch số được s dụng để tính toán độ tương đồng giữa vân tay của CS L với vân tay truy vấn . M i luồng với ch số của khối được s dụng để tính toán giá trị lớn nhất trong cột của ma trận tương đồng.  Độ tương đồng 𝑠 ( ) giữa các mô tả h nh trụ tại dòng 7 được tính toán dựa trên khoảng cách giữa 2 vector. 𝑠 ( ) { || || || || || || ( ) ( )  Hàm 𝑠 𝑠() tại dòng 11 s đồng bộ hóa tất cả các luồng trong khối. Sau khi đồng bộ, tất cả các giá trị lớn nhất trong các cột của ma trận tương đồng s sẵn sàng cho quá tr nh tính toán giá trị tương đồng của vân tay.  Độ tương đồng giữa 2 vân tay được tính toán dựa trên giá trị trung b nh của 32 đối sánh có giá trị lớn nhất từ 32 cột của ma trận tương đồng và s được tính b i luồng đầu tiên trong khối tại dòng 13. Đây là phương pháp tính toán độ tương đồng nhanh, dựa trên tập 32 đối sánh cục bộ có giá trị tương đồng lớn nhất. Phương pháp này thường áp dụng để t m nhanh các ứng viên cho quá tr nh đối sánh chi tiết sau này. Thuật toán đối sánh vân tay đề xuất phù hợp với kiến trúc tính toán của GPU trong đó m i khối chứa cùng số lượng luồng thực thi là 32 được s dụng để đối sánh vân tay truy vấn và một vân tay trong CS L. Phù hợp với kiến trúc x lý song song của GPU cũng giúp thuật toán có thể dễ dàng cài đặt. 98 4.4.2. Kết quả thực nghiệm Nh m mục đích đánh giá kết quả của phương pháp đề xuất. Luận án s dụng CS L vân tay VC 2002 1 để tiến hành các thực nghiệm. Đối với quá tr nh trích chọn đặc trưng và xây dựng các đặc trưng MCC, luận án s dụng công cụ cung cấp b i P rez và cộng sự [57 . Các đặc trưng được lưu trên đĩa để tiến hành các thực nghiệm. Để đánh giá độ chính xác của thuật toán đề xuất s dụng 32 điểm chạc cho m i vân tay, kết quả của thuật toán được so sánh với độ chính xác của thuật toán gốc trong đó toàn bộ các đặc trưng điểm chạc được s dụng. ảng 4.1 thể hiện kết quả đánh giá so sánh. Bảng 4.1: So sánh đ ch nh ác h thay đổ thu t toán tr n CSDL FVC 2002DB1 Thuật toán EER FMR 100 FMR 1000 FMR Zero MCC gốc 1.64% 2.10% 3.89% 4.85% MCC s dụng 32 điểm chạc 1.76% 2.29% 4.32% 5.46% Thuật toán s dụng 32 điểm chạc đạt kết quả R là 1.76 so với ERR 1.64% của thuật toán gốc. Cho thấy độ chính xác so với thuật toán gốc không giảm đáng kể. Sự thay đ i nhỏ này có thể được chấp nhận trong các ứng dụng thực. Để đánh giá tốc độ thi hành của thuật toán đề xuất, luận án thực hiện các thực nghiệm trên card đồ họa NVIDIA GeForce GTX 680. GTX 680 có cấu h nh phần cứng với 1536 CUDA core, tốc độ xung nhịp chip là 1006Hz, s dụng kiến trúc Kepler và bộ nhớ 2GB. CSDL FVC 2002 DB1 được nhân lên các kích thước khác nhau từ 10,000 đến 200,000 vân tay để nghiên cứu thuật toán thực thi trên GPU với CS L có kích thước khác nhau. 10 vân tay đầu vào được lựa chọn ngẫu nhiên để tiến hành định danh. 200,000 vân tay gần với số lượng tối số vân tay có thể đưa vào bộ nhớ 2GB của card đồ họa GTX 680. Bảng 4.2 thể hiện kết quả thực nghiệm với các CS L có kích thước khác nhau 99 Bảng 4.2: Th an th h nh c a 10 truy v n v ch th c CSDL hác nhau Kích thước DB Thời gian (ms) Số lượng đối sánh trong 1 giây (KMPS) 10,000 14 7142 50,000 61 8196 100,000 119 8403 150,000 850 8474 200,000 1105 8510 Tốc độ thi hành của thuật toán đề xuất n định với các CS L có kích thước lớn, với khoảng 8.5 triệu đối sánh trong 1 giây. Kết quả trên của luận áncao hơn kết quả được báo cáo trước đó có s dụng giai đoạn gia cố trên GPU [27 , đạt 557,000 đối sánh trên giây, các th nghiệm được tiến hành trên cùng bộ x lý đồ họa GTX 680 và phù hợp với kết quả cao nhất được báo cáo b i Capelli và cộng sự [9 đạt 8.7 triệu đối sánh trên giây, tác giả s dụng card đồ họa Tesla C2075 GPU. Quá tr nh tính toán trên dữ liệu vân tay được nạp hoàn toàn lên bộ nhớ toàn cục của card đồ họa GPU do đó kết quả đánh giá độc lập với môi trường máy tính CPU s dụng. Kết quả trên của luận án được công bố trong [LHHai2 . 4.4.3. Đề xuất gia cố toàn cục trên GPU Hầu hết các tiếp cận s dụng GPU như một bước lọc, sau đó một thuật toán chính xác hơn trên CPU được s dụng để tính toán cho các ứng viên vân tay còn lại. Capelli và cộng sự [9] tiến hành xây dựng một nguyên mẫu hệ thống định danh hoàn ch nh. Hệ thống gồm 3 mô đun: - Mô đun quản lý truy vấn định danh: s duy tr một hàng đợi để nhận các yêu cầu từ phía khách và s g i các yêu cầu tới mô đun định danh, sau đó nhận kết quả và g i lại cho phía khách. - Mô đun định danh: thực hiện truy vấn định danh 1:N s dụng thuật toán dựa trên biểu diễn MCC với LSS trên card đồ họa GPU; và cung cấp kết quả cho mô đun tinh ch nh - Mô đun tinh ch nh: s xem x t tập 0.1 kết quả cao nhất đầu tiên và tiến hành đối sánh với vân tay truy vấn s dụng biểu diễn MCC với quá tr nh gia 100 cố chi tiết LSS- TR trên bộ x lý CPU và cung cấp kết quả cuối cùng cho mô đun quản lý định danh để g i kết quả lại cho phía khách. Như vậy quá tr nh định danh thường trải qua 2 bước đối sánh trên GPU và CPU. Đối sánh trên GPU thường không tiến hành bước gia cố để tăng tốc quá tr nh tính toán, có nhiệm vụ lọc nhanh các ứng viên. Đối sánh chi tiết trên CPU s s dụng kết quả từ GPU. Quá tr nh đối sánh trên CPU s s dụng bước gia cố chi tiết hơn để t m ra chính xác ứng viên cần định danh. Luận án tiến hành th nghiệm tiến hành bước gia cố hoàn ch nh trực tiếp trên GPU, do đó không cần s dụng CPU cho quá tr nh đối sánh chi tiết sau này. Trong giai đoạn gia cố trên GPU, luận án giới hạn kiểm tra các cặp điểm chạc với cặp điểm làm căn ch nh, chưa áp dụng thêm các kiểm tra đôi mội được đề xuất trong cải tiến giai đoạn gia cố. Mục đích hướng tới đạt tối đa tốc độ thực thi song song của thuật toán đối sánh trên GPU. Cũng tương tự thuật toán đối sánh vân tay đã tr nh bày trong phần trước Thuật toán 4.2), thuật toán 4.2 s được b sung thêm quá tr nh gia cố được. Mục đích của quá tr nh gia cố là t m ra trong 32 cặp điểm đối sánh cục bộ có giá trị lớn nhất trên các cột đã t m ra, có bao nhiêu cặp còn thỏa mãn mức toàn cục. Thuật toán cần lưu thêm vị trị của các cặp điểm chạc có giá trị lớn nhất dòng 8 trong m i cột để s dụng cho quá tr nh gia cố. Chi tiết thuật toán được tr nh bày trong h nh dưới đây. Thuật toán s thêm bước gia cố vào thuật toán 4.3, quá tr nh gia cố được b sung từ dòng 12 trong đoạn giả mã sau của thuật toán: Thuật toán 4.7: Đố sánh sử dụn c a cố tr n G U Thu nh * + ́ * + ́ ̀ P 101 ̃ , - , - ̃ ụ trong CSDL ̃ ̣ ̉ ( ( ) ) 𝑠 ( ) ( , - ) ( , - ) () ( ) ( . , - , -/ ( ) () 102 ( ) ( )  M i luồng trong khối s trực tiếp so sánh cặp điểm tương đồng lớn nhất đã t m ra trong cột với các cặp điểm tương đồng lớn nhất t m ra tại các cột khác b i các luồng khác trong khối để xem có bao nhiêu cặp phù hợp với cặp điểm tại luồng đang thực hiện dòng 14 và 15 , số lượng cặp phù hợp được lưu trong biến toàn cục  M i luồng cập nhật giá trị số cặp điểm phù hợp toàn cục lớn nhất t m ra b i m i luồng vào biến toàn cục . Hàm () dòng 18 giúp tránh nhiều hơn 2 luồng trong khối cùng cập nhật giá trị toàn cục lớn nhất tại cùng một thời điểm.  Giá trị tương đồng cuối cùng tại dòng 21được tính toán từ giá trị lớn nhất đã t m ra b i các luồng trong khối. 4.4.4. Kết quả thực nghiệm gia cố toàn cục trên GPU Môi trường thực nghiệm tiến hành giống như với thực nghiệm không s dụng quá tr nh gia cố trước đó. Bảng 4.3 thể hiện kết quả trên các CS L với kích thước khác nhau. Bảng 4.3: Th an th h nh truy v n 0 ch th c CSDL hác nhau sử dụn phép gia cố to n cục sử dụn G U GT 680 Kích cỡ CSDL Thời gian (ms) Số lượng đối sánh (KMPS) 10,000 51 1960 50,000 249 2008 100,000 495 2020 150,000 741 2024 200,000 983 2040 Tốc độ thi hành của thuật toán đề xuất n định với các CS L có kích thước lớn, với khoảng 2 triệu đối sánh trong 1 giây. Kết quả luận án cao hơn kết quả được báo 103 cáo trước đó có s dụng giai đoạn gia cố trên GPU b i Gutierrez và cộng sự [27 , đạt 55.7000 đối sánh trên giây, các th nghiệm được tiến hành trên cùng bộ x lý đồ họa GTX 680. Mặc dù tác giả s dụng CS L khác để tiến hành thực nghiệm, tuy nhiên số lượng trung b nh các điểm chạc của các vân tay là n định. Kết quả của quá tr nh tiến hành ph p gia cố trên bộ x lý GPU của luận án được công bố trong [LHHai3], [LHHai6]. ên cạnh th nghiệm trên bộ x lý đồ họa Nvidia GTX 680, luận án tiếp tục th nghiệm đánh giá thuật toán đề xuất trên bộ x lý độ họa Nvidia K40. Số core của K40 là: 2880 core và xung nhịp chip K40 là 745Hz. Kết quả đánh giá thể hiện trong bảng 4.4. Bảng 4.4: Th an th h nh truy v n 0 ch th c CSDL hác nhau sử dụn phép gia cố to n cục sử dụn G U Nvidia K40 Kích cỡ CSDL Thời gian (ms) Số lượng đối sánh (KMPS) 10,000 351 2849 50,000 164 3048 100,000 325 3076 150,000 486 3086 200,000 647 3091 Với số lượng core của card đồ họa từ 1536 GTX 680 tăng lên 2880 core K40 , số lượng đối sánh trên giây cũng tăng từ 1.8 triệu đối sánh lên 3 triệu đối sánh trong 1 giây. 4.5. Mô hình định danh CSD vân tay lớn trên nền dịch vụ Web Hệ thống tính toán trên GPU cho tốc độ đối sánh hàng triệu vân tay trong 1 giây. Nhưng có điểm cần quan tâm là giới hạn dung lượng bộ nhớ toàn cục của bộ x lý đồ họa GPU. Ví dụ card đồ họa GPU GTX 680, với dung lượng bộ nhớ là 2G , trong th nghiệm lưu trữ các thông tin về điểm chạc vị trí, hướng cùng với biểu diễn h nh trụ MCC của điểm chạc. M i vân tay s dụng 32 điểm chạc, số lượng tối đa vân tay có thể 104 lưu trữ trong bộ nhớ của card đồ họa GTX 680 là 200.000 vân tay. Theo thống kê trên thị trường tại thời điểm hiện tại, card đồ họa Nvidia K80 cho hiệu năng cao nhất hiện nay, với dung lượng card đồ họa là 24G , số lượng core là 4992. Như vậy số lượng vân tay có thể đưa vào bộ nhớ của card là 2.400.000 vân tay. Giải pháp tải dữ liệu vào ra liên tục với bộ x lý GPU để đối sánh s ảnh hư ng đến tốc độ của hệ thống. Giải pháp s dụng cụm các máy tính s dụng bộ x lý đồ họa GPU cho quá tr nh đối sánh. CS L vân tay s được phân mảnh và tải vào bộ nhớ trong của các bộ x lý GPU, m i bộ x lý GPU s thực hiện đối sánh một phần của CS L vân tay. Với nhiều yêu cầu g i đến server slave GPU tại một thời điểm, do đó cần đưa các công việc vào hàng đợi để x lý các công việc tuần tự. Các công việc s được đưa tuần tự vào mô đun tính toán đối sánh s dụng bộ x lý GPU. Mô h nh kiến trúc t ng quan của hệ thống được mô tả trong H nh 4.9. Hệ thống gồm máy tính Master có nhiệm vụ nhận yêu cầu g i tới hệ thống và s thực hiện g i các yêu cầu tới các máy Slave s dụng GPU cho quá tr nh đối sánh vân tay. Quá tr nh đối sánh trên GPU s s dụng thuật toán đối sánh đề xuất của luận án đã tr nh bày mục trước (thuật toán 4.3). Hình 4.9: M hình đ u t h thốn FIS tr n CSDL vân tay n Sau đây là chi tiết các bước x lý của hệ thống: 105 - Khi hệ thống bắt đầu kh i động, dữ liệu là các đặc trưng điểm chạc của vân tay và các đặc trưng MCC của các điểm chạc s được tải từng phần vào các tiến tr nh GPU tại các máy Slave. - Khi có các yêu cầu truy vấn s được g i đến máy Master, máy Master thực hiện bước trích chọn các thuộc tính điểm chạc từ vân tay và tính toán các đặc trưng MCC cho các điểm chạc. Sau bước xây dựng các đặc trưng được s dụng cho quá tr nh đối sánh, máy Master s chia các yêu cầu tới các máy Slave để thực hiện quá tr nh đối sánh. - Các yêu cầu g i tới máy Slave s được đưa vào hàng đợi Queue tại máy Slave. Công việc trên hàng đợi s được g i sang mô đun đối sánh s dụng GPU s dụng thuật toán đã đề xuất của luận án thuật toán 4.3 . - Máy Master s t ng hợp các kết quả trả về từ các máy Slave và g i trả lại cho phía khách. 4.6. Kết chƣơng Trong chương này, luận án đã giới thiệu một số mô h nh tính toán hiệu năng cao áp dụng cho bài toán đối sánh vân tay, trong đó chú trọng đến các thuật toán đối sánh vân tay s dụng bộ x lý GPU. Luận án đã đưa ra phương pháp đối sánh trên GPU dựa trên mô tả điểm chạc MCC, với ý tư ng chính s dụng 32 điểm chạc cho m i vân tay trong quá tr nh đối sánh nh m khai thác được năng lực tính toán và mô h nh kiến trúc x lý song song của bộ x lý đồ họa GPU. Từ đó, luận án đã xây dựng thuật toán đối sánh trên GPU dựa trên mô tả điểm chạc MCC với định hướng không làm ảnh hư ng đến độ chính xác của thuật toán gốc. Kết quả thực nghiệm thuật toán đối sánh đề xuất đã thu được 8.5 triệu ph p đối sánh trên giây khi không s dụng quá tr nh gia cố, kết quả này phù hợp với kết quả cao nhất được báo cáo gần đây của Capelli và cộng sự [9]. Khi s dụng kết hợp với giai đoạn gia cố thuật toán đạt 1.8 triệu ph p đối sánh trên giây. Các thực nghiệm này được tiến hành trên bộ x lý đồ họa GPU Nivida GTX 680. 106 KẾT UẬN CHUNG VÀ HƢỚNG PHÁT TRIỂN Các đóng góp của luận án Với định hướng mục tiêu nâng cao hiệu năng quá tr nh đối sánh vân tay, cả về độ chính xác lẫn tốc độ, luận án đã tiến hành nghiên cứu, khảo sát, đề xuất và tiến hành thực nghiệm một số giải pháp mới cho ph p nâng cao hiệu năng bài toán đối sánh vân tay và đáp ứng được mục tiêu đã đặt ra. Từ những nghiên cứu t ng quan về đối sánh vân tay, luận án đã đề xuất cải tiến bước gia cố trong các thuật toán đối sánh vân tay dựa trên điểm chạc. Luận án cũng đề xuất kỹ thuật phát hiện các điểm đơn nhất core và delta trong ảnh vân tay s dụng mạng nơ ron tích chập CNN, làm tiền đề cho các kỹ thuật phân lớp vân tay cũng như giúp tăng tốc độ các thuật toán đối sánh vân tay. Đối với quá tr nh định danh vân tay quy mô lớn, giải pháp s dụng năng lực tính toán trên các bộ x lý đồ hoạ GPU đã được lựa chọn nghiên cứu. Luận án đã đề xuất thuật toán tính toán đối sánh vân tay trên GPU s dụng mô tả MCC với ý tư ng chính s dụng số điểm chạc đúng b ng số lõi 32) trong m i khối x lý trong GPU. Thực nghiệm minh chứng được tăng tốc đối sánh đạt được hàng triệu đối sánh/giây; cho ph p xây dựng một hệ thống IS tr lên khả thi với tài nguyên phần cứng chi phí không quá cao. Cụ thể, các đóng góp chính của luận án bao gồm: 1. Đề xuất và tiến hành th nghiệm phương pháp nâng cao độ chính xác của các thuật toán đối sánh vân tay dựa trên điểm chạc b ng cách cải tiến giai đoạn gia cố của các thuật toán. Trong giai đoạn gia cố nh m kiểm tra các cặp điểm đối sánh cục bộ còn phù hợp mức toàn cục, các cách tiếp cận truyền thống thường kiểm tra sự phù hợp các cặp điểm chạc phù hợp cục bộ với cặp điểm chạc được chọn làm cặp tham chiếu xem có phù hợp. Hoặc ch kiểm tra cặp điểm thêm vào với cặp điểm được thêm thêm vào ngay trước đó. ựa trên đánh giá r ng các điểm cục bộ dù thỏa mãn phù hợp với cặp điểm tham chiếu, nhưng có thể không phù hợp với nhau, luận án đã đề xuất cải tiến quá tr nh gia cố trong đó các cặp điểm phù hợp cục bộ không ch được kiểm tra với cặp điểm tham chiếu mà còn kiểm tra với các cặp điểm cục bộ phù hợp đã được t m ra trước đó. Đề xuất áp dụng th nghiệm trên CS L vân tay VC 1 cho một số 107 thuật toán đối sánh vân tay dựa trên điểm chạc như: K-plet đã giảm sai số R của thuật toán từ 1.52 xuống 1.28 , th nghiệm trên thuật toán m-Triplets đã giảm sai số của thuật toán từ 1.71 xuống còn 1.52 . Thời gian thực thi của các thuật toán sau khi cải tiến giai đoạn gia cố so với các thuật toán gốc không bị ảnh hư ng. 2. Luận án đề xuất kỹ thuật phát hiện điểm đơn nhất từ ảnh vân tay dựa trên phương pháp học máy s dụng mạng nơ rơn tích chập Covolution Neural Network- CNN . Điểm đơn nhất thường được chọn làm quá tr nh căn ch nh giúp tăng tốc độ thực thi các thuật toán đối sánh vân tay dựa trên điểm chạc cũng như trong tác vụ phân lớp ảnh vân tay. Các phương pháp phát hiện điểm đơn nhất core và delta thường s dụng phương pháp Pointcare index trên ảnh là hướng các đường vân orientation map , các phương pháp này dễ bị ảnh hư ng do ảnh nhiễu dẫn tới hướng đường vân bị phát hiện sai. Các giải pháp như lọc lại hoặc s dụng các bộ lọc phức tạp thường được s dụng để loại bỏ các điểm phát hiện sai. Luận án đề xuất phương pháp phát hiện điểm đơn nhất dựa trên phương pháp học máy s dụng mạng nơ ron tích chập sâu Convolution Neural Network-CNN . Các cấu trúc mạng CNN đã được áp dụng thành công trong nhiều bài toán trong lĩnh vực thị giác máy. Kết quả th nghiệm phát hiện điểm đơn nhất trên CS L vân tay VC 2002 s dụng mô h nh mạng CNN đa đặc trưng được đề xuất b i Semenet và cộng sự cho kết quả tốt so với các phương pháp phát hiện điểm đơn nhất theo phương pháp truyền thống. Th nghiệm trên CS L VC2002, luận án đạt kết quả chính xác và l i 96 , 7.5 cho quá tr nh phát hiện điểm core và 90 , 6 cho quá tr nh phát hiện điểm delta. 3. Đối với quá tr nh định danh vân tay trên CS L vân tay lớn. luận án đề xuất phương pháp song song hóa quá tr nh định danh vân tay trên bộ x lý GPU s dụng biểu diễn điểm chạc MCC. Thuật toán đối sánh dựa trên biểu diễn MCC được tùy biến lại để phù hợp và tận dụng được thế mạnh tính toán hiệu năng cao của kiến trúc x lý song song SIM của GPU. Luận án đề xuất s dụng 32 điểm chạc cho m i vân tay trong quá tr nh đối sánh. Việc s dụng 32 điểm chạc không ảnh hư ng đến độ chính xác của các thuật toán, trung b nh một vân tay thường có khoảng 30 điểm chạc, đồng thời tất cả cá điểm chạc đều được s dụng để tính toán biểu diễn MCC, do đó chất lượng biểu diễn MCC cho các điểm chạc s dụng trong quá tr nh đối sánh không bị 108 ảnh hư ng. M i khối của bộ x lý GPU được s dụng để đối sánh giữa một vân tay của CSDL với vân tay cần truy vấn. M i khối gồm 32 lõi, m i lõi được s dụng để tính toán kết quả của một cột trong ma trận tương đồng kích thước 32x32. Kết quả đánh giá trên card đồ họa Nvdia GTX 680 cho thấy thuật toán có khả năng đối sánh 8.5 triệu vân tay trên giây khi không s dụng quá tr nh gia cố. Kết quả phù hợp với kết quả tốt nhất được công bố hiện nay. Khi kết hợp s dụng quá tr nh gia cố cho thuật toán trên GPU, thuật toán cho kết quả 1.8 triệu đối sánh vân tay trên giây. Tính toán trên GPU giúp triển khai hệ thống truy vấn vân tay trên CS L hàng triệu vân tay tr nên khả thi, với chi phí phần cứng hợp lý. Các kết quả này của luận án đã được công bố trên 04 công tr nh đăng trên k yếu hội nghị quốc tế và 01 bài đăng trên k yếu hội thảo quốc gia, 01 công tr nh trên tạp chí quốc tế. Hạn chế của luận án Do thời gian, nguồn lực còn hạn chế, hiện nay luận án mới ch tập trung chủ yếu vào giai đoạn đối sánh vân tay. Các bước tách đặc trưng điểm chạc nh m tạo đầu vào tốt cho quá tr nh đối sánh chưa được thực hiện. Đây cũng là lý do dẫn đến việc chưa gắn kết được kết quả phát hiện điểm đơn nhất vào các thuật toán đối sánh/phân lớp vân tay. Ngoài ra, hệ thống đối sánh vân tay quy mô lớn mới dừng bước đề xuất đề xuất kết hợp nhiều máy tính s dụng bộ x lý đồ họa GPU chứ chưa thể triển khai thành hệ thống định danh vân tay hoàn ch nh. Hƣớng phát triển tiếp theo Các điểm còn hạn chế nêu trên chính là động lực dẫn đến những hướng nghiên cứu tiếp theo của luận án. Hướng nâng cao chất lượng ảnh vân tay và trích chọn điểm chạc từ ảnh vân tay nh m nâng cao kết quả của quá tr nh đối sánh, luận án có thể s dụng cách tiếp cận học máy cho kết quả tốt gần đây như cách tiếp cận của Sahasrabudhe và cộng sự [65 , Jiang và cộng sự [86]. 109 Tích hợp điểm đơn nhất vào thuật toán đối sánh vân tay dựa trên điểm chạc nh m nâng cao tốc độ và độ chính xác của các thuật toán. Tích hợp thông tin về chất lượng điểm chạc vào các thuật toán đối sánh giúp loại bỏ các cặp điểm chạc cần xem x t [88 Phân lớp ảnh vân tay dựa trên kỹ thuật học máy sâu nh m t m nhanh các ứng viên vân tay s dụng cách tiếp cận của Peralta và cộng sự [58]. Nghiên cứu miền đối tượng khác như đối sánh vân tay hiện trường, đối sánh vân tay bảo vệ tính riêng tư của vân tay [84 . Cũng như hoàn thiện, triển khai hệ thống đối sánh quy mô lớn trên nền dịch vụ web, kết nối nhiều máy tính s dụng bộ x lý đồ họa GPU. 110 DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ IÊN QUAN ĐẾN UẬN ÁN [LHHai1] Hong Hai Le, Ngoc Hoa Nguyen, Toward an approach to improving the consolidation stage of fingerprint matching. RIVF Addendum 2013, pp 27-30. [LHHai2] Hong Hai Le, Ngoc Hoa Nguyen, and Tri Thanh Nguyen, Exploiting GPU for Large Scale Fingerprint Identification, Intelligent Information and Database Systems (ACIIDS 2016), Volume 9621 of the series Lecture Notes in Computer Science, pp 688-697, 10.1007/978-3-662-49381-6_66, 2016. (ISI Web of Science, Scopus) [LHHai3] Hong Hai Le, Ngoc Hoa Nguyen, and Tri Thanh Nguyen: A Complete Fingerprint Matching Algorithm on GPU for a Large Scale Identification System”, Information Science and Applications (ICISA), Volume 376 of the series Lecture Notes in Electrical Engineering, pp 679-688, 2016. (ISI Web of Science, Scopus) [LHHai4] Hong Hai Le, Ngoc Hoa Nguyen, N ng cao thuật toán đ i sánh mã tr MCC, Hội thảo SOIS, pp 54-57, 2016. [LHHai5] Hong-Hai Le, Ngoc-Hoa Nguyen and Tri Thanh Nguyen, Automatic Detection of Singular Points in Fingerprint Images Using Convolution Neural Networks, Intelligent Information and Database Systems, ACIIDS 2017, Volume 10192 of the series Lecture Notes in Computer Science, pp.207-216. 2017, 10.1007/978-3-319-54430-4, 2017. (ISI Web of Science, Scopus) [LHHai6] Hong Hai Le, Ngoc-Hoa Nguyen, Tri-Thanh Nguyen: Speeding up and enhancing a large-scale fingerprint identification system on GPU. J. Information Telecommunication 2(2): 147-162 (2018). (DBLP) 111 TÀI IỆU THAM KHẢO Tiếng Anh [1] R.N Akram, K.Markantonakis, K.Mayes: An Introduction to Java Card Programming, Secure Smart Embedded Devices, Platforms and Applications 2014: 497-513 (2014). [2] A. Bengueddoudj, S. Akrouf, F. Belhadj, D. Nada, Improving fingerprint minutiae matching using local and global structures, in: 8th International Workshop on Systems, Signal Processing and Their Applications, WoSSPA 2013, 2013, pp. 279– 282 (2013). [3] F. Benhammadi, K.B. Bey, Embedded fingerprint matching on smart card, Int. J. Pattern Recogn. Artif.Intell.27 (2013). [4] Bazen A.M.and Gerez S.H., Fingerprint matching by thin-plate spline modelling of elastic deformations, Pattern Recognition, vol. 36, no. 8, pp. 1859–1867, (2003). [5] Zhou W., Hu J., Wang S., Petersen I., Bennamoun M. (2014),Fingerprint Indexing Based on Combination of Novel Minutiae Triplet Features. In: Au M.H., Carminati B., Kuo CC.J. (eds) Network and System Security.NSS 2014. Lecture Notes in Computer Science, vol 8792. Springer (2014). [6] Chikkerur, S., Cartwright, A.N., Govindaraju, V.: K-plet and cbfs: A graph based fingerprint representation and matching algorithm. International Conference on Biometricspp 309-315, (2006). [7] H. Choi, K. Choi, J. Kim: Fingerprint Matching Incorporating Ridge Features With Minutiae. IEEE Trans. Information Forensics and Security 6(2): 338-345 (2011). 112 [8] Cappelli, R.; Ferrara, M.; Maltoni, D. Minutia cylinder-code: A new representation and matching technique for fingerprint recognition. IEEE Trans. Pattern. Anal. Mach. Intell. 2010, 32, 2128–2141 (2010). [9] Raffaele Cappelli, Matteo Ferrara, Davide Maltoni: Large-scale fingerprint identification on GPU. Inf. Sci. 306: 1-20 (2015) [10] Chikkerur S., Govindaraju V., Cartwright A.N: Fingerprint Image Enhancement Using STFT Analysis. ICAPR (2) 2005: 20-29 (2005). [11] Kai Cao, Anil K. Jain: Latent orientation field estimation via convolutional neural network. ICB 2015: 349-356 (2015). [12] Cappelli R. and Maio D., State-of-the-art in fingerprint classification, in Automatic Fingerprint Recognition Systems, N. Ratha and R. Bolle (Eds.), Springer, New York, pp. 183–205, (2004). [13] Cappelli, R., Maio, D., Maltoni, D., Wayman, J.L., Jain, A.K.: Performance evaluation of fingerprint verification systems. IEEE Trans. Pattern Anal. Mach. Intell. 28, 3–18, (2006). [14] Chen J. and Moon Y.S., A Minutiae-Based Fingerprint Individuality Model, in Proc. Conf. Computer Vision and Pattern Recognition, (2007). [15] S. Chikkerur and N.K. Ratha: Impact of Singular Point Detection on Fingerprint Matching Performance, Proc. Fourth IEEE Workshop Automatic Identification Advanced Technologies, pp. 207-212, (2005). [16] A.C. Chau, C.P. Soto, Hybrid algorithm for fingerprint matching using delaunay triangulation and local binary patterns, in: 16th Iberoamerican Congress on Progress in Pattern Recognition, Image Analysis, Computer Vision, and Applications (CIARP), Lecture Notes in Computer Science, vol. 630 7042, 2011, pp. 692–700 (2011). [17] K. Cao, X. Yang, X. Chen, X. Tao, Y. Zang, J. Liang, J. Tian, Minutia handedness: a novel global feature for minutiae-based fingerprint matching, Pattern Recogn.Lett.33 1411–1421 (2012). 113 [18] H. Deng, Q. Huo, Minutiae matching based fingerprint verification using delaunay triangulation and aligned-edge-guided triangle matching, in: Proceedings of the 5th International Conference on Audio- and Video-Based Biometric Person Authentication, AVBPA, 2005, pp. 270–278 (2005). [19] Deep Learning in a Nutshell: Core Concepts, https://devblogs.nvidia.com/parallelforall/deep-learning-nutshell-core-concepts/ [20] M. Friedrichs, P. Eastman, V. Vaidyanathan, M. Houston, S. Legrand, A. Beberg, Accelerating molecular dynamic simulation on graphics processing units, J. Comput. Chem, vol. 30, no. 6, pp. 864–872, (2009). [21] Feng, J.: Combining minutiae descriptors for fingerprint matching. Pattern Recognition.41, 342–352, (2008). [22] Fukushima, Kunihiko: Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition, Biological Cybernetics. 36 (4): 193– 202 (1980). [23] Feng, J., Ouyang, Z., Cai, A.: Fingerprint matching using ridges. Pattern Recognition.39, 2131–2140, (2006). [24] Shlomo Greenberg, Mayer Aladjem, Daniel Kogan:Fingerprint Image Enhancement using Filtering Techniques. Real-Time Imaging 8(3): 227-236 (2002) [25] lfredo Muñoz- riseño, ndr s Gago lonso, Jos Hernández Palancar: State of the Art of Fingerprint Indexing Algorithms. Computación y Sistemas 15(1) (2011) [26] Mikel Galar, Joaquín errac, Daniel Peralta, Isaac Triguero, Daniel Paternain, Carlos Lopez-Molina, Salvador García, Jos Manuel enítez, Miguel Pagola, Edurne Barrenechea Tartas, Humberto Bustince Sola, Francisco Herrera: A survey of fingerprint classification Part I: Taxonomies on feature extraction methods and learning models. Knowl.-Based Syst. 81: 76-97 (2015). 114 [27] P.D. Gutierrez, M. Lastra, F. Herrera, J.M. Benitez, A high performance fingerprint matching system for large databases based on GPU, IEEE Trans. Inf. Forensics Secur. 9 (1) 62–71 (2014). [28] Grother P., McCabe M., Watson C., IndovinaM., Salamon W., Flanagan P., Tabassi E., Newton E. and Wilson C., Performance and Interoperability of the INCITS 378 Fingerprint Template, NIST Research Report: NISTIR 7296, Mar. (2006). [29] L. Hong, A.K. Jain, Classification of fingerprint images, in: Proceedings of the 11th Scandinavian Conference on Image Analysis, Kangerlussuaq, Greenland, 1743 June 7–11, (1999). [30] Richard M. Jiang, Danny Crookes: FPGA-based minutia matching for biometric fingerprint image database retrieval. J. Real-Time Image Processing 3(3): 177-182 (2008). [31] A.K. Jain, J. Feng, Latent fingerprint matching, IEEE Trans. Pattern Anal. Mach. Intell. 33 88–100 (2011). [32] Jain A., Prabhakar A., Hong L., Pankanti S.: FingerCode: A Filterbank for Fingerprint Representation and Matching. CVPR (1999). [33] Anil K. Jain, Karthik Nandakumar, Arun Ross: 50 years of biometric research: Accomplishments, challenges, and opportunities. Pattern Recognition Letters79: 80-105 (2016). [34] Jiang X. and Yau W.Y., Fingerprint Minutiae Matching Based on the Local and Global Structures, in Proc. Int. Conf. on Pattern Recognition (15th), vol. 2, pp. 1042–1045, (2000). [35] Kwon D., Yun I.D. and Lee S.U., A Robust Warping Method for Fingerprint Matching, in Proc. Conf. Computer Vision and Pattern Recognition, (2007). [36] M. Khalil, D. Muhammad, M. Khan, K. Alghathbar, Singular points detection using fingerprint orientation field reliability, Int. J. Phys. Sci 352–357 (2010). 115 [37] Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton, ImageNet Classification with Deep Convolutional Neural Networks. NIPS 2012: 1106-1114 (2012). [38] Liang X., Bishnu A.and Asano T., A robust fingerprint indexing scheme using minutia neighborhood structure and low-order delaunay triangles, IEEE Transactions on Information Forensics and Security, vol. 2, no. 4, pp. 721–733, (2007). [39] Miguel Lastra, Jesús Carabaño, Pablo avid Guti rrez, Jos Manuel enítez, Francisco Herrera:Fast fingerprint identification using GPUs. Inf. Sci. 301: 195-214 (2015). [40] D. Luebke., GPGPU: general-purpose computation on graphics hardware, in: SC „06 Proceedings of the 2006 CM/I Conference on Supercomputing, (2006). [41] L.-M. Liu, C.-Y.Huang, D.C.D. Hung, A directional approach to fingerprint classification, Int. J. Pattern Recogn.Artif.Intell.22 (2) 347–365, (2008). [42] M. Liu, Fingerprint classification based on adaboost learning from singularity features, Pattern Recogn. 43 1062–1070, (2010). [43] Han-Ul Jang, Dongkyu Kim, Seung-Min Mun, Sunghee Choi, Heung-Kyu Lee: DeepPore: Fingerprint Pore Extraction Using Deep Convolutional Neural Networks. IEEE Signal Process. Lett.24(12): 1808-1812 (2017). [44] Liu C., Xia T. and Li H., A Hierarchical Hough Transform for Fingerprint Matching, in Proc. Int. Conf. on Biometric Authentication (1st), LNCS 3072, pp. 373– 379, (2004). [45] D. Maio, D. Maltoni, R. Cappelli, J.L. Wayman, A.K. Jain, FVC2002: second fingerprint verification competition, in: Proceedings. 16th International Conference on Pattern Recognition, 2002, vol. 3, 2002b, pp. 811–814 (2002). [46] D. Maio, D. Maltoni, R. Cappelli, J.Wayman, A. Jain, FVC2004: third fingerprint verification competition, Lecture Notes in Computer Science (including 116 subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), vol. 3072, 2004, pp. 1–7 (2004). [47] Medina-P rez ., Guti rrez-Rodríguez ., and García-Borroto M.: Improving fingerprint matching using an orientation-based minutia descriptor, in 14th Iberoamerican Congress on Pattern Recognition, CIARP 2009, Guadalajara, M xico, 2009, pp. 121-128 (2009). [48] M.A. Medina-P rez, M. García-Borroto, A.E. Gutierrez-Rodríguez, L. Altamirano-Robles, Improving fingerprint verification using minutiae triplets, Sensors 12 3418–3437 (2012). [49] Maltoni, D., Maio, D., Jain, A.K., Prabhakar, S.: Handbook of Fingerprint Recognition. Springer, London, (2009). [50] Maio D. and Maltoni D., Direct gray-scale minutiae detection in fingerprints, IEEE Transactions on Pattern Analysis Machine Intelligence, vol. 19, no. 1, (1997). [51] K. Nilsson and J. Bigun: Localization of corresponding points in fingerprints by complex filtering. Pattern Recognition Letters, 24, (2003). [52] Nilsson K.and Bigun J., Prominent Symmetry Points as Landmarks in Fingerprint Images for Alignment, in Proc. Int. Conf. on Pattern Recognition (16th), vol. 3, pp. 395–398, (2002). [53] Yuval Netzer, Tao Wang, Adam Coates, Alessandro Bissacco, Bo Wu, Andrew Y. Ng. Reading Digits in Natural Images with Unsupervised Feature Learning, NIPS Workshop on Deep Learning and Unsupervised Feature Learning (2011). [54] Alessandra A. Paulino, Jianjiang Feng, Anil K. Jain: Latent Fingerprint Matching Using Descriptor-Based Hough Transform. IEEE Trans. Information Forensics and Security 8(1): 31-45 (2013). 117 [55] Parziale G. and Niel A., A Fingerprint Matching Using Minutiae Triangulation, in Proc. Int. Conf. on Biometric Authentication (1st), LNCS 3072, pp. 241–248, (2004). [56] Daniel Peralta, Mikel Galar, Isaac Triguero, Daniel Paternain, Salvador García, Edurne Barrenechea, Jos Manuel enítez, Humberto Bustince, Francisco Herrera: A survey on fingerprint minutiae-based local matching for verification and identification: Taxonomy and experimental evaluation. Inf. Sci. 315: 67-87 (2015). [57] M. A. Medina-P rez, O. Loyola-González, . . Gutierrez-Rodríguez, M. García-Borroto, and L. Altamirano-Robles, Introducing an experimental framework in C # for fingerprint recognition, Lecture Notes in Computer Science, vol. 8495, pp. (2014). [58] D Peralta, I Triguero, S García, Y Saeys, JM enitez, Herrera:Robust classification of different fingerprint copies with deep neural networks for database penetration rate reduction, arXiv preprint arXiv:1703.07270 (2017). [59] D. Peralta, I. Triguero, R. Sanchez-Reillo, F. Herrera, J.M. Benitez, Fast fingerprint identification for large databases, Pattern Recogn. 47 (2) 588–602 (2014). [60] Ratha N.K., KaruK., Chen S. and Jain A.K., A real-time matching system for large fingerprint databases, IEEE Transactions on Pattern Analysis Machine Intelligence, vol. 18, no. 8, pp. 799–813, 1996. [61] Pierre Sermanet, Soumith Chintala and Yann LeCun: Convolutional Neural Networks Applied to House Numbers Digit Classification, ArXiv (2012). [62] P. Sermanet and Y. LeCun: Traffic sign recognition with multi-scale convolutional networks. In Proceedings of International Joint Conference on Neural Networks, (2011). [63] Szegedy, Christian; Liu, Wei; Jia, Yangqing; Sermanet, Pierre; Reed, Scott; Anguelov, Dragomir; Erhan, Dumitru; Vanhoucke, Vincent; Rabinovich, Andrew: Going Deeper with Convolutions. Computing Research Repository, (2014). 118 [64] Bai, Scott, Joseph P. Marques, Matthew T. McMahon, and Steven H. Barry. GPU-Accelerated Fingerprint Matching. (2011). [65] Mihir Sahasrabudhe, Anoop M. Namboodiri: Fingerprint Enhancement Using Unsupervised Hierarchical Feature Learning. ICVGIP 2014: 2:1-2:8 (2014). [66] M. Schatz, C. Trapnell, A. Delcher, and A. Varshney, High-throughput sequence alignment using graphics processing units, BMC Bioinformat., vol. 8, p. 474, Dec. (2007). [67] Tico, M., Kuosmanen, P.: Fingerprint matching using an orientation-based minutia descriptor. IEEE Trans. Pattern Anal. Mach. Intell. 25, 1009–1014, (2003). [68] Unique Identification Authority of India, Role of Biometric Technology in Aadhaar Enrollment, (2012). [69] Wang X., LiJ. and Niu Y., Definition and extraction of stable points from fingerprint images, Pattern Recognition, vol. 40, no. 6, pp. 1804–1815, (2007). [70] Wang, X., Li, J., Niu, Y.: Fingerprint matching using Orientation Codes and PolyLines. Pattern Recognition.40, 3164–3177, (2007). [71] X. Wang, M. Xie, Fingerprint classification: an approach based on singularities and analysis of fingerprint structure, in: Proceedings of the First International Conference on iometric uthentication IC ‟04 , Hong 1933 Kong, China, July 15–17, (2004). [72] Xu, Chen and Feng (2007). Xu W., Chen X. and Feng J., A Robust Fingerprint Matching Approach: Growing and Fusing of Local Structures, in Proc. Int. Conf. on Biometrics, LNCS 4642, pp. 134–143, 2007. [73] Jinwei Xu, Jingfei Jiang, Yong Dou, Xiaolong Shen, Zhiqiang Liu: Coarse- Grained Architecture for Fingerprint Matching. TRETS 9(2): 12:1-12:15 (2016). [74] Y. Ying, H. Zhang, X. Yang, A method based on delaunay triangulation for fingerprint matching, in: SPIE Conference on Biometric Technology for Human Identification II, (2005). 119 [75] VeriFinger SDK, www.neurotechnology.com/verifinger.html. [76] Omid Zanganeh, Nandita Bhattacharjee, Bala Srinivasan: Partial Fingerprint Alignment and Matching Through Region-Based Approach. MoMM 2015: 275-284 (2015). [77] Jie Zhou, Fanglin Chen, Jinwei Gu: A Novel Algorithm for Detecting Singular Points from Fingerprint Images. IEEE Trans. Pattern Anal. Mach. Intell. 31(7): 1239-1250 (2009). [78] Matthew D. Zeiler, Rob Fergus: Visualizing and Understanding Convolutional Networks. CoRR abs/1311.2901 (2013). [79] Yin Zhang, Deng Yi, Baogang Wei, Yueting Zhuang, A GPU-accelerated non-negative sparse latent semantic analysis algorithm for social tagging data, Inform Sci. (May) (2014). [80] Q. Zhang, H. Yan, Fingerprint classification based on extraction and analysis of singularities and pseudo ridges, Pattern Recogn. 37 (11) 2233–2243.1975 (2004). [81] E. Zhu, J. Yin, G. Zhang, Fingerprint matching based on global alignment of multiple reference minutiae, Pattern Recogn. 38 1685–1694 (2005). [82] Nguyen Thi Huong Thuy; Hoang Xuan Huan; Nguyen Ngoc Ky, An efficient method for fingerprint matching based on local point model, 2013 International Conference on Computing, Management and Telecommunications (2013). [83] A.A Paulino, Contributions to biometric recognition: matching identical twins and latent fingerprint (Doctoral thesis, Michigan State University) (2013) [84] Stan Z. Li, Anil K. Jain. Encyclopedia of Biometrics (2nd edition).Springer US (2015). [85] ISO/IEC 197942:2011, https://www.iso.org/standard/50864.html.(2011) 120 [86] Lu Jiang, Tong Zhao, Chaochao Bai, A. Yong, Min Wu: A direct fingerprint minutiae extraction approach based on convolutional neural networks. IJCNN2016: 571-578 (2016). [87] Y. Prashanth Reddy, Kamlesh Tiwari, Vandana Dixit Kaushik, Phalguni Gupta: An Efficient Fingerprint Minutiae Detection Algorithm. SSCC 2015: 186-194 (2015). [88] M. Hamed Izadi, Andrzej Drygajlo: Discarding low quality Minutia Cylinder-Code pairs for improved fingerprint comparison. BIOSIG 2015: 319-3 (2015). [89] X. Zhao, X. Zhang, G. Zhao, X. Li, K. Zhang, R. Qian, Triangle matching combined with singular features in fingerprints, in: Proceedings 2011 International Conference on Mechatronic Science, Electric Engineering and Computer, MEC 2011, pp. 2069–2072 (2011). [90] V. Conti, G. Vitello, F. Sorbello, S. Vitabile, An advanced technique for user identification using partial fingerprint, in: Proceedings of the 7th 652 International Conference on Complex, Intelligent, and Software Intensive Systems, CISIS 2013, 2013, pp. 236–242. 653 (2013). [91] K. Cao, X. Yang, X. Chen, Y. Zang, J. Liang, J. Tian, A novel ant colony optimization algorithm for large-distorted fingerprint matching, Pattern Recogn. 605 45 151–161 (2012). [92] K. Chen, A. Hu, Fingerprint matching using texture feature extracted from minutiae neighborhood, in: Proceedings – 4th International Conference on Computational Intelligence and Communication Networks, CICN 2012, pp. 322–326 (2012). [93] R. Garg, S. Rane, A keypoint descriptor for alignment-free fingerprint matching, in: ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing – Proceedings, pp. 2994–2998 (2013). 121 [94] D. Peralta, M. Galar, I. Triguero, O. Miguel-Hurtado, J.M. Benitez, F. Herrera, Minutiae filtering to improve both efficacy and efficiency of fingerprint matching algorithms, Eng. Appl. Artif. Intell.32 37–53 (2014). [95] W. Yang, J. Hu, M. Stojmenovic, Ndtc: a novel topology-based fingerprint matching algorithm using n-layer delaunay triangulation net check, in: Proceedings of the 2012 7th IEEE Conference on Industrial Electronics and Applications, ICIEA 2012, pp. 866–870 (2012). [96] Daniel Peralta, Isaac Triguero, Salvador García, Yvan Saeys, Jos Manuel enítez, Francisco Herrera: On the use of convolutional neural networks for robust classification of multiple fingerprint captures. Int. J. Intell. Syst. 33(1): 213- 230 (2018) [97] Jian Li, Jianjiang Feng, C.-C. Jay Kuo: Deep convolutional neural network for latent fingerprint enhancement. Sig. Proc.: Image Comm. 60: 52-63(2018). [98] Yao Tang, Fei Gao, Jufu Feng, Yuhang Liu: FingerNet: An unified deep network for fingerprint minutiae extraction. IJCB 2017: 108-116 (2017). [99] Shaoqing Ren, Kaiming He, Ross B. Girshick, Jian Sun: Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. IEEE Trans. Pattern Anal. Mach. Intell. 39(6): 1137-1149 (2017).