Tóm tắt Luận án Nghiên cứu phương pháp xử lý ảnh trong phát hiện, bám một số chủng loại mục tiêu và áp dụng trong điều khiển vũ khí tự động

quân sự Luận án sẽ được bảo vệ trước Hội đồng chấm luận án cấp Viện họp tại Viện KH&CNQS Vào hồi giờ ngày tháng năm 2017 Có thể tìm hiểu luận án tại thư viện: - Thư viện Viện Khoa học và Công nghệ quân sự - Thư viện Quốc gia Việt Nam 1 MỞ ĐẦU Phân hệ tự động trinh sát phát hiện mục tiêu là một thành phần then chốt trong các hệ thống vũ khí công nghệ cao. Nó góp phần tăng cường đáng kể hiệu quả hoạt động của các hệ thống vũ khí, và giảm thiểu sự tham gia trực tiếp của con người, đặc biệt trong các môi trường khắc nghiệt. Việc nghiên cứu và xây dựng phân hệ trinh sát phát hiện tự động mục tiêu có vai trò quan trọng trong việc nâng cấp, cải tiến các hệ thống vũ khí thế hệ cũ, là cơ sở phát triển các hệ thống vũ khí thế hệ mới. Luận án “Nghiên cứu phương pháp xử lý ảnh trong phát hiện, bám một số chủng loại mục tiêu và áp dụng trong điều khiển vũ khí tự động” nhằm đáp ứng nhu cầu thực tiễn này của quân đội ta.  Mục tiêu chính của luận án là nghi n cứu â ựng hệ thống tự động phát hiện và ám các mục tiêu quân sự ( e tăng, e cơ giới) sử dụng công nghệ xử lý ảnh và các thuật toán nhận dạng, phục vụ cho việc điều khiển vũ khí khí tài, tự động tiêu diệt mục tiêu.  Đối tượng nghiên cứu chính là hệ thống trinh sát phát hiện mục tiêu của các hệ thống vũ khí. Các hệ thống vũ khí nà có mục tiêu cần tiêu diệt là các đối tượng quân sự mặt đất như e tăng và các loại e cơ giới.  Phạm vi nghiên cứu của luận án tập trung giải quyết các câu hỏi nghiên cứu như sau: - Các đối tượng mục ti u của các loại vũ khí là gì? Chúng có đặc trưng gì nổi ật so với các đối tượng nền trong ảnh? - Làm thế nào để phát hiện và nhận ạng tự động mục ti u trong ảnh ưới các điều kiện tạo ảnh khác nhau? - Làm thế nào để ám chính ác mục ti u được phát hiện, với thời gian thực?  Ý nghĩa khoa học của luận án: - Đề xuất một giải pháp xây dựng hệ thống trinh sát phát hiện mục tiêu cho các hệ thống vũ khí, sử dụng công nghệ xử lý ảnh và các thuật toán nhận dạng thông minh. - Đề xuất một giải pháp mới, phát hiện tự động các mục tiêu quân sự trong chuỗi khung ảnh video. - Đề xuất một giải pháp mới, bám tự động mục tiêu quân sự trong chuỗi khung ảnh video.  Ý nghĩa thực tiễn: - Kết quả của luận án là cơ sở lý thuyết quan trọng để xây dựng các hệ thống trinh sát phát hiện và bám các mục tiêu quân sự: phục vụ cho nhu cầu cải tiến, nâng cấp các hệ thống vũ khí thế hệ cũ và phát triển các hệ thống vũ khí công nghệ cao. - Luận án cũng là một giải pháp phục vụ cho việc thay thế phân hệ trinh sát phát hiện mục tiêu trong các hệ thống vũ khí công nghệ cao. 2 Chương 1: TỔNG QUAN VỀ PHÁT HIỆN VÀ BÁM MỤC TIÊU TỪ CHUỖI ẢNH Chương nà trình à tổng quan về phát hiện, bám mục tiêu trong chuỗi ảnh video, hướng tiếp cận giải quyết bài toán phát hiện và bám các mục tiêu quân sự trong chuỗi ảnh video. 1.1. Phát hiện mục tiêu từ chuỗi ảnh 1.1.1. Bài toán phát hiện mục tiêu Bài toán phát hiện mục ti u có đầu vào là các khung ảnh được thu thập từ camera, đầu ra là các vùng ảnh chứa mục tiêu nằm trong các khung ảnh đầu vào. Trong hệ thống tự động dò bám theo mục tiêu, phát hiện mục tiêu là bài toán đầu tiên cần phải giải quyết. Nó được em như là ước đầu tiên của tiến trình bám theo mục tiêu. Xác định mục tiêu Xây dựng mô hình toán biểu diễn mục tiêu qua các đặc trưng ảnh Tập ảnh học Trích chọn đặc trưng ảnh Trích chọn đặc trưng ảnh Ảnh đầu vào Mục tiêu trong ảnh Hình 1.1. Sơ đồ khối các bước thực hiện trong phát hiện mục tiêu. Tr n cơ sở nghiên cứu các phương pháp phát hiện mục tiêu đã được công bố. Để ác định mục tiêu trong các ảnh đầu vào, mỗi phương pháp nà đều gồm hai pha thực hiện như trong Hình 1.1: Pha 1: Xác định mô hình toán học biểu diễn mục tiêu. Pha nà được thực hiện trên tập ảnh mẫu (tập ảnh học) để xây dựng mô hình toán biểu diễn đối tượng bằng các đặc trưng ảnh. Pha 2: Tìm mục tiêu trong ảnh đầu vào. Pha này thực hiện việc dò tìm các vùng ảnh mục tiêu trên các ảnh đầu vào bằng cách sử dụng mô hình toán biểu diễn đối tượng được ác định trong Pha 1. Phần ưới đâ chúng tôi sẽ trình bày chi tiết về các loại đặc trưng ảnh, các phương pháp phát hiện mục tiêu với các mô hình toán khác nhau. 1.1.2. Các đặc trưng ảnh Phần nà trình à các kiểu đặc trưng ảnh thường được sử ụng để iểu iễn đối tượng trong phát hiện mục ti u tự động. Có ba loại đặc trưng chính: 1.1.2.1. Đặc trưng màu sắc: Đặc trưng màu là một trong những đặc trưng quan trọng để mô tả đặc tính bề ngoài của mục tiêu. Đặc trưng màu của một điểm ảnh P là một vector f = ( f1, f2, ,fn ), trong đó fi là giá trị một thành phần màu i ở vị trí P trong một không gian màu nhất định hoặc trong nhiều không gian màu khác nhau. Đối 3 với một vùng ảnh R, đặc trưng màu được sử dụng phổ biến để biểu diễn R trong phát hiện mục tiêu là lược đồ màu (Color Histogram). 1.1.2.2. Đặc trưng kết cấu Đặc trưng kết cấu (Texture) biểu thị mối quan hệ của một nhóm điểm ảnh lân cận nhau (một điểm ảnh với các điểm ảnh lân cận nó), nó phản ánh cấu trúc cục bộ của đối tượng. Các đặc trưng kết cấu được sử dụng phổ biến trong phát hiện mục tiêu gồm: i) đặc trưng gradient; ii) đặc trưng mẫu nhị phân cục bộ LBP (Local Binary Pattern); iii) đặc trưng Haar-like; iv) đặc trưng phổ tần số. 1.1.2.3. Đặc trưng hình dạng Hình ạng là một đặc trưng quan trọng của một mục ti u và nó là đặc trưng được sử ụng phổ iến trong các ứng ụng phát hiện và ám mục ti u trong các ảnh vi eo đầu vào. Dựa vào cách tính toán, đặc trưng hình ạng được phân làm hai loại chính: i) đặc trưng hình dạng dựa vào đường bao được trích chọn ựa vào các điểm ảnh nằm tr n các đường ao đối tượng; ii) đặc trưng hình dạng dựa vào vùng trong đường bao được trích chọn ựa vào thông tin của cả các điểm ảnh nằm tr n đường ao và n trong đường ao mục ti u. 1.1.3. Các giải pháp phát hiện mục tiêu Một số tác giả phân loại các giải pháp phát hiện mục tiêu dựa vào đặc trưng ảnh [52], [106], trong khi nhiều tác giả khác lại phân loại dựa vào mô hình toán học biểu diễn mục tiêu [87], [107], [108]. Trong luận án này, chúng tôi dựa trên cả các đặc trưng ảnh và các mô hình toán để phân loại các giải pháp thành bốn loại như sau: 1.1.3.1. Phát hiện mục tiêu dựa vào phân vùng ảnh Các giải pháp thuộc nhóm nà ác định các vùng ảnh mục tiêu trong ảnh đầu vào bằng các kỹ thuật phân vùng ảnh. Các kỹ thuật phân vùng ảnh khai thác thông tin (màu sắc và kết cấu) ở cấp độ điểm ảnh để phân tách ảnh đầu vào thành các các vùng ảnh chứa các điểm ảnh có các đặc tính giống nhau. Đánh giá: Nhìn chung, các giải pháp dựa vào phân vùng ảnh có độ chính xác phát hiện mục tiêu cao và có quá trình học các tham số cho mô hình biểu diễn mục ti u đơn giản. Tuy nhiên, nó có một số nhược điểm chính như sau: - Tốc độ tính toán chậm, bởi vì quá trình phân vùng ảnh phải xem xét tất cả các khả năng của mỗi điểm ảnh. - Hiệu quả của việc phát hiện mục tiêu phụ thuộc rất lớn vào kỹ thuật phân vùng ảnh. 1.1.3.2. Phát hiện mục tiêu dựa vào chuyển động Giải quyết bài toán phát hiện mục tiêu bằng cách đi tìm các vùng ảnh chuyển động [52], [106]. Có hai cách tiếp cận chính để ác định vùng ảnh 4 chuyển động: 1) Dựa vào tốc độ và hướng dịch chuyển của mục tiêu (Optical Flow); 2) Dựa vào mô hình nền tham chiếu (Background Model). Đánh giá: - Các thuật toán có ưu điểm là chúng thích nghi với sự thay đổi của đối tượng nền trong cảnh, nhưng độ chính xác thấp khi mục tiêu bị tha đổi bởi các điều kiện chiếu sáng khác nhau hoặc có tốc độ và hướng dịch chuyển thay đổi đột ngột. - Các thuật toán dựa vào mô hình nền có tốc độ tính toán cao và rất hiệu quả trong các trường hợp mà cảnh nền ít bị tha đổi. Tuy nhiên, các thuật toán nà có độ chính xác phát hiện mục tiêu thấp khi mà đối tượng nền trong cảnh tha đổi nhiều. 1.1.3.3. Phát hiện mục tiêu dựa vào các bộ phân lớp Các giải pháp phát hiện mục tiêu theo nhóm này sử dụng các bộ phân lớp học có giám sát để ác định vùng ảnh mục tiêu từ các điểm ảnh nền trong ảnh đầu vào [125], [126], [127], [128], [129], [130]. Các bộ phân lớp học có giám sát được sử dụng rộng rãi trong phát hiện mục tiêu gồm có: i) Mạng nơ ron (Neural Networks); ii) Máy hỗ trợ vector (Support Vectors Machine SVM); iii) Kết hợp đa bộ phân lớp yếu (AdaBoost). Đánh giá: Giải pháp trên dễ thực hiện và có hiệu quả cao đối với các trường hợp mà mục ti u có các đặc trưng ảnh khác biệt rõ ràng so với các đối tượng nền. Các nhược điểm chính là: - Nó yêu cầu các tập dữ liệu mẫu của mục ti u và các đối tượng nền dùng cho huấn luyện phải đủ lớn. Đâ là điều rất khó thực hiện. - Độ chính xác phát hiện mục tiêu sẽ thấp khi sự khác biệt giữa các đặc trưng ảnh biểu diễn mục ti u và các đặc trưng ảnh biểu diễn các đối tượng nền là nhỏ. 1.1.3.4. Phát hiện mục tiêu dựa vào so khớp mẫu Trong các giải pháp thuộc nhóm này [131], [132], [133], [134], thuật toán ác định mục ti u được thực hiện với hai ước chính: - Bước 1: Xây dựng các bộ đặc tả mục tiêu hoặc các thành phần của mục ti u như các ộ đặc trưng ảnh mẫu từ tập dữ liệu học. - Bước 2: Ảnh đầu vào được quét bằng một cửa sổ trượt, vùng ảnh trong cửa sổ trượt được biểu diễn bởi các đặc trưng ảnh và so sánh với các bộ mẫu đặc trưng của mục tiêu bằng phép đo. Nếu giá trị của phép đo lớn thì vùng ảnh đó là mục ti u, ngược lại nó là đối tượng nền. Đánh giá: Các giải pháp trên được sử dụng khá phổ biến bởi chúng có độ chính xác cao. Hiệu quả của các giải pháp này phụ thuộc chủ yếu vào bộ đặc trưng mẫu biểu diễn mục ti u. Nhược điểm lớn nhất của các giải pháp này là chúng có tốc độ tính toán chậm, đặc biệt trong trường hợp kích thước và số lượng của các bộ đặc tả mục tiêu lớn. 5 1.2. Bám mục tiêu từ chuỗi ảnh 1.2.1. Bài toán bám mục tiêu Bám mục tiêu là một ài toán ác định qũy đạo chuyển động của một hoặc nhiều mục tiêu theo thời gian, được thực hiện bằng việc ác định các vị trí mục tiêu trong mỗi khung ảnh [52]. Các đặc điểm chính của bài toán bám mục tiêu là: - Đầu vào: các chuỗi ảnh theo thời gian; thông tin về mục tiêu; thông tin về đối tượng nền. - Đầu ra: vị trí của mục tiêu thuộc quỹ đạo chuyển động trong ảnh đầu vào. 1.2.2. Các giải pháp bám mục tiêu Dựa vào đặc trưng sử dụng để biểu diễn mục tiêu và mô hình biểu diễn quỹ đạo chuyển động của mục tiêu [52], các giải pháp bám mục ti u được phân thành ba dạng chính như sau: 1.2.2.1. Bám mục tiêu theo điểm Các giải pháp ám theo điểm biểu diễn mục tiêu cần tìm trong ảnh như một điểm (điểm tâm của mục tiêu) hoặc một tập điểm (sử dụng các điểm đặc biệt tr n đường bao mục tiêu). Có nhiều thuật toán ám theo điểm khác nhau và lớp thuật toán nà được chia thành 2 nhóm: các thuật toán tất định (Deterministic Algorithms) và các thuật toán thống kê xác suất (Statistical Algorithms). Đánh giá: Ưu điểm của các thuật toán bám theo điểm là có tốc độ tính toán nhanh, phù hợp với các ứng dụng mà tốc độ và quỹ đạo dịch chuyển của mục ti u tha đổi chậm theo thời gian. Tuy nhiên, các thuật toán nà có độ chính xác không cao khi mục ti u tha đổi liên tục về tốc độ và quỹ đạo dịch chuyển. Mặt khác việc sử dụng thông tin ở một số điểm ảnh để ác định mục tiêu sẽ dễ bị nhạy cảm với nhiễu nền. 1.2.2.2. Các giải pháp bám theo đặc trưng bề mặt Các giải pháp thuộc lớp này xấp xỉ vùng ảnh mục ti u như một vùng ảnh hình chữ nhật hoặc hình ellip và sử dụng các đặc trưng ề ngoài (đặc trưng màu sắc và kết cấu) để biểu diễn mục tiêu. Hầu hết các giải pháp bám truyền thống sử dụng các thông tin mức ám để biểu diễn mục tiêu và sử dụng kỹ thuật đối sánh tương quan chéo để ác định mục tiêu. Thay vì chỉ sử dụng các giá trị mức xám, các giải pháp bám mục tiêu gần đâ đã kết hợp nhiều đặc trưng ề mặt khác nhau. Đánh giá: Các giải pháp bám dựa vào đặc trưng ề mặt giải quyết bài toán ám như ài toán phát hiện mục tiêu dựa vào đặc tính chuyển động, do vậy mà nó thích nghi được với sự thay về đổi tốc độ và hướng dịch chuyển của mục ti u. Tu nhi n, độ chính xác và tốc độ tính toán của các giải pháp này phụ thuộc lớn vào việc lựa chọn các đặc trưng ảnh biểu diễn mục tiêu. Nếu chỉ sử dụng đặc trưng màu hoặc mức ám thì độ chính xác bám mục tiêu sẽ thấp khi các điều kiện ánh sáng tha đổi trong cảnh. Nếu sử dụng đặc trưng quá phức tạp, thì thời gian tính toán sẽ chậm. 6 1.2.2.3. Các giải pháp bám theo hình dạng Lớp giải pháp này có thể được chia thành hai nhóm chính. - Nhóm thứ nhất sử dụng một bộ đặc tả hình dạng để biểu diễn mục tiêu như các mẫu trong các khung ảnh đầu tiên dựa trên các mục tiêu được phát hiện và sau đó áp ụng kỹ thuật so khớp mẫu để bám mục tiêu trong các khung ảnh tiếp theo. - Nhóm thứ hai biểu diễn sự dịch chuyển trong không gian của các đường bao mục tiêu giữa các khung ảnh liên tiếp nhau bằng một mô hình không gian trạng thái. Đánh giá: Các giải pháp bám mục tiêu dựa vào đặc trưng hình ạng có độ chính ác cao. Tu nhi n, các phương pháp nà có độ phức tạp cao và tốc độ tính toán chậm. 1.3. Đặc điểm của bài toán phát hiện và bám mục tiêu quân sự Việc phát hiện và bám các mục tiêu quân sự so với các đối tượng mục tiêu dân sự có những đặc điểm nổi bật như sau: - Thứ nhất, các mục tiêu quân sự thường được ngụ trang để màu sắc tương đối giống với các đối tượng nền như các vùng cỏ và cây, do vậy rất khó phân tách các mục tiêu quân sự từ các đối tượng nền trong ảnh. - Thứ hai, việc phát hiện và bám các mục tiêu quân sự thường phải thực hiện ở một khoảng cách a hàng trăm mét đến hàng cây số, cho nên các ảnh thu thập thường chứa nhiều đối tượng nền, nhiễu trong ảnh. - Thứ ba, hệ thống phát hiện và bám mục tiêu quân sự phải có tốc độ tính toán thời gian thực và có độ chính xác cao. Các đặc điểm tr n cũng chính là u cầu cần phải giải quyết trong bài toán phát hiện và bám mục tiêu trong luận án này. 1.4. Hướng tiếp cận của luận án 1.4.1. Sơ đồ khối của hệ thống phát hiện và bám các mục tiêu quân sự Hệ thống phát hiện và bám các mục tiêu quân sự được thiết kế bao gồm ba thành phần chính như trong sơ đồ khối như sau: Hình 1.5. Sơ đồ khối của hệ thống phát hiện và bám mục tiêu quân sự 1- Khối thu nhận ảnh: khối này là các camera chuyên dụng có khả năng chụp được các cảnh ở xa với chất lượng ảnh tốt. 2- Khối phát hiện mục tiêu: từ chuỗi ảnh vi eo được thu thập từ khối thu nhận ảnh, khối này có nhiệm vụ nhận diện sự xuất hiện của các mục tiêu quân Chuỗi ảnh video Phát hiện mục tiêu Bám mục tiêu Vị trí mục tiêu trong mỗi ảnh 7 sự (người, e tăng và e cơ giới quân sự) trong cảnh. Đầu ra của khối này là đầu vào cho ước khởi tạo an đầu của khối bám mục tiêu. 3- Khối bám đối tượng: khi đầu ra của khối phát hiện mục tiêu chỉ ra rằng có sự uất hiện các mục quân sự trong cảnh. Trong các chuỗi ảnh vi eo tiếp theo, hệ thống sẽ chu ển sang ám mục ti u và khối phát hiện mục tiêu sẽ ừng hoạt động. 1.4.2. Đinh hướng nhiệm vụ của luận án Do vậy, các giải pháp phát hiện và bám mục tiêu trong ảnh được đề xuất trong luận án này phải giải quyết được các khó khăn trong mục 1.3. Các nhiệm vụ chính của luận án được ác định là: Nhiệm vụ 1: Nghiên cứu và xây dựng một giải pháp phát hiện mục tiêu quân sự có hiệu quả và tốc độ tính toán nhanh từ chuỗi ảnh vi eo được thu thập từ xa. Nhiệm vụ 2: Từ vùng ảnh mục tiêu được ác định trong các chuỗi ảnh đầu tiên, nghiên cứu và xây dựng một giải pháp bám mục tiêu quân sự có tốc độ tính toán và độ chính xác cao trong các chuỗi ảnh video tiếp theo. 1.4.3. Hướng giải quyết bài toán phát hiện và bám mục tiêu quân sự Như đã trình à trong mục 1.1 và 1.2 sẽ không đáp ứng được yêu cầu của bài toán phát hiện và bám mục tiêu quân sự. Tr n cơ sở nghiên cứu, phân tích các ưu điểm của giải pháp đã có và các đặc trưng mục tiêu quân sự, chúng tôi ác định hướng giải quyết bài toán phát hiện và bám các mục tiêu quân sự trong chuỗi ảnh vi eo đầu vào như sau: - Thứ nhất là thu hẹp không gian tìm kiếm mục tiêu trong ảnh đầu vào sử dụng các đặc trưng ảnh và các đặc tính chuyển động của mục tiêu. - Thứ hai là lựa chọn đặc trưng ảnh phản ánh được các đặc tính riêng biệt của mục tiêu so với các đối tượng nền. Trong luận án này, chúng tôi sử dụng kết hợp các loại đặc trưng ảnh khác nhau để biểu diễn mục tiêu gồm: 1) Đặc trưng màu, 2) Đặc trưng hướng cạnh và 3) Đặc trưng đặc tả hình dạng. Sự kết hợp các loại đặc trưng nà sẽ phản ánh được cả các đặc điểm cục bộ và toàn cục của mục tiêu. - Thứ ba là lựa chọn mô hình toán biểu diễn các đặc trưng ảnh có tốc độ tính toán nhanh và độ chính xác cao. Các mô hình toán biểu diễn đặc trưng ảnh được tập trung nghiên cứu là các mô hình xác suất, các phép đo toán học trong so khớp mẫu và các mô hình phân lớp được sử dụng trong các thuật toán nhận dạng. - Thứ tư là thu thập các tập dữ liệu đủ lớn chứa các cảnh môi trường khác nhau, ưới các điều kiện tạo ảnh khác nhau để: 1) Xây dựng các tập mẫu dữ liệu mục tiêu phục vụ cho việc học; 2) Đánh giá, phân tích hiệu quả của các thuật toán phát hiện và bám mục tiêu. 8 Kết luận Chương 1: - Chương nà đã trình à tổng quan về các giải pháp phát hiện và bám mục tiêu từ video. - Chương nà cũng đã mô tả hướng tiếp cận của luận án để giải quyết các nhiệm vụ nghiên cứu. Chương 2: PHÁT HIỆN MỤC TIÊU TRONG ẢNH VIDEO SỬ DỤNG CÁC ĐẶC TRƯNG CHUYỂN ĐỘNG, MÀU SẮC VÀ HÌNH DẠNG 2.1. Đặt vấn đề phát hiện mục tiêu Chương nà trình à một giải pháp mới để phát hiện các mục tiêu quân sự từ chuỗi ảnh video. Giải pháp đề xuất để phát hiện mục tiêu trong các ảnh đầu vào bằng hai ước chính: - Bước 1: Trích chọn các vùng ảnh có khả năng chứa các điểm ảnh mục tiêu, các vùng ảnh nà được gọi là các vùng quan tâm, kí hiệu là ROI. Các ROI được ác định dựa tr n đặc trưng chu ển động. - Bước 2: Xác định mục ti u tr n các ROI. Để tìm mục tiêu trên các ROI, chúng tôi sử dụng kết hợp đặc trưng màu và đặc trưng hình dạng để biểu diễn các vùng ảnh trong một mô hình toán học. Mô hình toán học đo sự giống nhau giữa các đặc trưng ảnh của các vùng ảnh so sánh với các đặc trưng mẫu của mục ti u được ác định trong tập học. Giải pháp đề xuất được đánh giá tr n các tập dữ liệu lớn của các loại mục tiêu quân sự khác nhau như e tăng và các loại e cơ giới. Ngoài ra, giải pháp đề xuất cũng được được đánh giá thông qua kết quả thực nghiệm trong so sánh với các giải pháp phát hiện mục tiêu khác. 2.2. Giải pháp đề xuất phát hiện mục tiêu quân sự Giải pháp đề xuất phát hiện các mục tiêu quân sự bao gồm 02 ước chính: Trích chọn ROI và Xác định mục tiêu như trong sơ đồ khối Hình 2.1. Hình 2.1. Sơ đồ khối của giải pháp phát hiện mục tiêu quân sự. 2.2.1. Trích chọn ROI Trích chọn ROI được thực hiện bằng việc đi tìm các vùng ảnh chuyển động của mục tiêu. Gọi Fi và Fj là hai khung ảnh trong chuỗi ảnh video thu nhận được từ camera, các chỉ số i và j thỏa mãn j > i. Sự khác nhau D(x,y) ở mỗi vị trí điểm ảnh (x,y) giữa hai khung ảnh được tính như sau: ( ) √( ( ) ( ) ( )) (2.1) Chuỗi ảnh đầu vào Trích chọn ROI Xác định mục tiêu Vùng ảnh mục tiêu 9 { ( ) [ ( ) ( )] ( ) [ ( ) ( )] ( ) [ ( ) ( )] (2.2) Trong đó: ( ) , ( ), ( ) là ba giá trị màu điểm ảnh (x,y) trên Fi , là một hằng số chuẩn hóa D(x,y). D(x,y) có giá trị nằm trong dải [0,1]. là các trọng số màu, thỏa mãn . Mặt nạ chuyển động của các đối tượng trong cảnh được trích chọn như sau: ( ) { ( ) ( ) (2.3) Hình 2.2. Ví dụ minh họa bước trích chọn ROI. Trong (2.3), là giá trị ngưỡng được chọn qua thực nghiệm ( ). Cuối cùng, các thao tác nhị phân Morpholog được áp dụng trên ảnh mặt nạ M(x,y) để nối các điểm ảnh sáng liền kề nhau thành các vùng ROI, các vùng có diện tích quá nhỏ so với kích thước ảnh được lọc bỏ. Hình 2.2 (b) minh họa kết quả trích chọn ROI từ hai khung ảnh đầu vào trong Hình 2.2 (a). 2.2.2. Xác định đối tượng từ các vùng đồng mầu 2.2.2.1. Phương pháp xác định mục tiêu Gọi R = {R1, R2,..., RN} là tập hợp các ROI được trích trọn trong Mục 2.2.1. Quá trình ác định mục tiêu được thực hiện lần lượt trên mỗi Rj. Đối với mỗi vùng quan tâm (ROI) Ri, một vùng ảnh hình chữ nhật W được ác định từ Fi+k với điểm tâm trùng với điểm tâm của Rj (xem Hình 2.3). Vùng ảnh W sau đó được phân mảnh thành các vùng đồng nhất về màu sắc S = {S1,S2, ..., SM}. Từ Khung ảnh Fi Khung ảnh Fi+k Mặt nạ chuyển động Các vùng quan tâm (ROI) (a) hai khung ảnh vi eo đầu vào (b) mặt nạ chuyển động và các vùng quan tâm ROI. 10 tập các vùng S, mục ti u được ác định như là vùng ảnh Z S, Z là tập các vùng đồng màu {Sk, Sg,...} kết nối với nhau thành một vùng ảnh lớn, thỏa mãn 02 điều kiện trong (2.4) và (2.5): ( ) (2.4) ( ) (2.5) Trong công thức (2.4) và (2.5), theo công thức (2.17) ( ) là hàm đo sự giống nhau giữa một vùng ảnh X với lớp mục tiêu O, là một giá trị ngưỡng. Thuật toán tổng quát ác định mục tiêu được viết ưới dạng giả mã như sau: Thuật toán 1: Xác định mục tiêu Đầu vào: R = {R1, R2,..., RN} Đầu ra: mặt nạ nhị phân B các mục tiêu trong ảnh For each RjR 1. Xác định vùng ảnh W trên ảnh đầu vào Fj, W có tâm là tâm của Rj 2. Phân vùng W thành tập hợp các vùng đồng màu S = {S1, S2, ..., SM} 3. Tìm vùng ảnh Z S từ các tập con X S sao cho Z có độ đo giống nhau lớn nhất về đặc trưng ảnh so với mục tiêu (thỏa mãn điều kiện trong (2.4)) 4. Nếu vùng Z là mục tiêu, thỏa mãn điều kiện trong (2.5) Thì B End For Độ phức tạp thuật toán: O(N*nlogn), trong đó N là số vùng ROI, n là số điểm ảnh trong vùng. (a) Mặt nạ các ROI (b) Các vùng ảnh W (khung màu đỏ) Vùng chuyển động (ROI) Vùng ảnh W Kết quả phân vùng Mục tiêu được xác định 11 (c) Kết quả các bước trong mỗi vòng lặp của Thuật toán 1 (d) Mặt nạ mục tiêu và mục tiêu tìm được trên ảnh đầu vào. Hình 2.3. Kết quả các bước thực hiện trong Thuật toán 1. 2.2.2.2. Thuật toán phân vùng ảnh Chúng tôi sử dụng thuật toán dựa vào lý thuyết đồ thị được đề xuất trong [68] để phân mảnh ảnh đầu vào thành các vùng đồng nhất về màu sắc. Thuật 12 toán nà độ chính xác cao và thời gian tính toán nhanh. Kết quả phần vùng ảnh được minh họa trong Hình 2.3c. 2.2.2.3. Trích chọn đặc trưng ảnh  Trích chọn đặc trưng màu: Đặc trưng màu của một vùng ảnh SkS, là một vector ck = {rk, gk, bk}, trong đó rk, gk, và bk là các giá trị màu Red, Green và Blue trung bình của các điểm ảnh thuộc vùng Sk. Để đo sự giống nhau về màu sắc của một vùng ảnh lớn X với lớp đối tượng O cần tìm, luận án sử dụng hàm g(X,O) được tính như sau: ( ) | | ∑ ( | ) (2.11) Trong (2.11), |X| là tổng số vùng đồng màu trong X, ( | ) là hàm mật độ xác suất điều kiện lớp của vector màu cR thuộc về mục tiêu lớp O được xác định qua tập dữ liệu học.  Trích chọn đặc trưng hình dạng: Đặc trưng hình ạng của mục tiêu được ác định bằng việc sử dụng các bộ đặc tả về hình dạng (shape context) được đề xuất trong [69], chúng bất biến khi đối tượng bị xoay, dịch chuyển, méo, biến đổi theo tỷ lệ. Đặc trưng hình ạng của một mục tiêu bao gồm các đặc tả hình dạng của các điểm ảnh nằm tr n đường biên ngoài của đối tượng. Xét một mục tiêu có các điểm mẫu tr n đường viền. Đặc tả hình dạng của một điểm là một lược đồ của các tọa độ cực tương đối giữa và điểm còn lại tr n đường viền của mục tiêu như sau: * ( ) ( ) + (2.13) Sự khác nhau giữa hai bộ đặc tả hình dạng của hai điểm và được tính như sau: ( ) ∑ ( ) (2.14) Gọi * + là tập các hình dạng mẫu của mục tiêu cần tìm. Đối với mỗi một vùng ảnh X (nó có thể bao gồm nhiều vùng đồng màu), thì đặc trưng hình ạng của là các đặc tả hình dạng của các điểm mẫu nằm trên đường bao ngoài của . Sự khác nhau về hình dạng giữa một vùng ảnh và một hình dạng mẫu của mục tiêu được tính như sau: ( ) | | ∑ ( ) (2.15) Trong công thức (2.15), | | biểu thị cho tổng số điểm mẫu trong X. Hàm đo sự giống nhau về đặc trưng hình ạng của một vùng ảnh với lớp đối tượng O được tính: ( ) , ( )- (2.16) Trong (2.16), là tham số tỷ lệ được ác định thông qua tập dữ liệu mẫu.  Kết hợp các đặc trưng ảnh: Từ việc trích chọn các đặc trưng màu và hình ạng ở trên, chúng tôi tính toán hàm f(X,O) trong (2.4) và (2.5), để đo sự giống nhau giữa một vùng ảnh X với lớp mục tiêu O như sau: 13 ( ) ( ) ( ) (2.17) Trong đó các tham số và là các trọng số ương ( ) để ác định mức độ quan trọng của đặc trưng ảnh tương ứng trong phép đo độ giống nhau giữa vùng ảnh X và lớp mục tiêu O. 2.2.2.4. Thuật toán tìm vùng ảnh đối tượng tối ưu Như đã trình à ở trên, việc đi tìm tập trong (2.4) có thể được ác định bằng phương pháp vét cạn với việc tìm tất cả các tập con trong . Tuy nhiên phương pháp nà sẽ mất nhiều thời gian tính toán, độ phức tạp tính toán của nó là ( | |) với | | là tổng số thành phần của Để giảm thời gian tính toán, luận án đề xuất một thuật toán thêm bớt vùng tối ưu như sau: Thuật toán 3: Thuật toán thêm bớt vùng Đầu vào: Tập các vùng đồng màu * + Đầu ra: Vùng ảnh Các bước của thuật toán: 1. Lọc các vùng có giá trị g(X,O) thấp, ta được tập : * | ( ) + 2. Chọn sao cho: ( | ) 3. Thêm các vùng X liên thông với vào * | * + là một vùng li n thông + 4. Vòng lặp loại vùng While (Temp) do Sr * * + là một vùng li n thông+ S - (* + ) if (* + ) ( ) Else End if End while Độ phức tạp của thuật toán: O(2logL), L là số phần tử của tập đồng màu. Trong thuật toán 3, ở mỗi ước thêm hoặc bớt một vùng cho thì tính liên thông của tập * } và * } được kiểm tra. Một tập các thành phần được xem là liên thông với nhau nếu như kết hợp tất cả các thành phần của nó tạo nên ít nhất một đường đi giữa các vùng. 2.3. Thực nghiệm và kết quả 2.3.1. Dữ liệu ảnh Để đánh giá phương pháp đề xuất, chúng tôi đã thu thập 03 tập dữ liệu video cho 03 loại mục tiêu quân sự khác nhau: e tăng, e tải và xe u-oát. Cụ thể, tập dữ liệu cho e tăng có 102 file vi eo, tập dữ liệu cho xe tải quân sự có 14 128 file video, tập dữ liệu cho xe u-oát có 101 file video. Mỗi file vi eo tương ứng với một cảnh thực tế, chứa khoảng 3000 khung ảnh. Mỗi loại mục tiêu, chúng tôi lấy 2/3 tổng số ảnh làm tập học (training) và 1/3 tổng số ảnh ùng để đánh giá kết quả. Với mỗi ảnh dữ liệu, chúng tôi ác định mục tiêu bằng phương pháp thủ công (bằng tay) để tạo nên các tập dữ liệu mục tiêu, các tập nà được gọi là ground_truth, làm cơ sở đánh giá các thuật toán phát hiện mục tiêu. 2.3.2. Phương pháp đánh giá hiệu quả phát hiện mục tiêu Để đánh giá hiệu quả của việc phát hiện mục tiêu trong mỗi ảnh, chúng tôi so sánh vùng ảnh đối tượng được phát hiện bằng máy với vùng ảnh mục tiêu được ác định bằng tay trong tập dữ liệu Ground_truth. Chúng tôi sử dụng 03 phép đo recall, precision và F-measure để đánh giá hiệu của các thuật toán. 2.3.3. Kết quả thực nghiệm 2.3.3.1. Phân tích hiệu quả của việc sử dụng trích chọn ROI Giải pháp đề xuất được phát triển dựa trên công việc trước đâ của chúng tôi trong [P7]. Giải pháp trong [7] giống như giải pháp đề xuất nhưng không sử dụng ước trích chọn ROI. Để đánh giá tính hiệu quả của việc trích chọn ROI, luận án đã cài đặt giải pháp trong [P7] và chạy trên 03 tập dữ liệu. Kết quả được mô tả trong Bảng 2.1, 2.2 và 2.3. Bảng 2.1. Kết quả phát hiện mục tiêu tập dữ liệu u-oát quân sự STT Các giải pháp Recall (%) Precision (%) F_measure (%) T.gian (giây) 1 Không trích chọn ROI [P7] 78,2 92,5 84,7 1,25 2 Giải pháp đề xuất 90,3 97,6 93,8 0,38 Bảng 2.2. Kết quả phát hiện mục tiêu tập dữ liệu xe tải quân sự STT Các giải pháp Recall (%) Precision (%) F_measure (%) T.gian (giây) 1 Không trích chọn ROI [P7] 73,1 75,8 73,9 1,28 2 Giải pháp đề xuất 89,3 96,6 92,8 0,41 Bảng 2.3. Kết quả phát hiện mục tiêu tập dữ liệu xe tăng STT Các giải pháp Recall (%) Precision (%) F_measure (%) T.gian (giây) 1 Không trích chọn ROI [P7] 83,1 90,2 86,5 1,26 2 Giải pháp đề xuất 92,2 95,9 94,0 0,39 2.3.3.2. So sánh với các giải pháp khác Giải pháp đề xuất được so sánh với 04 giải pháp tiêu biểu sử dụng phổ biến cho phát hiện mục tiêu trong chuỗi khung ảnh video: 1) Giải pháp trừ nền cơ ản (BBS) [101]; 2) Giải pháp pháp hiện mục tiêu dựa trên mô hình Gauss đơn (SGM)[102]; 3) Giải pháp phát hiện mục tiêu dựa trên mô hình Gauss hỗn hợp (MGM) [103]; 4) Giải pháp phát hiện mục tiêu dựa trên mô hình nền thích nghi (LOTS) [104]. Kết quả thực hiện trên 03 tập dữ liệu được tóm tắt trong các Bảng 2.4, 2.5 và 2.6. 15 Bảng 2.4. Kết quả phát hiện mục tiêu tập dữ liệu u-oát quân sự STT Các giải pháp Recall (%) Precision (%) F_measure (%) T.gian (giây) 1 BBS [101] 68,1 75,6 71,7 0,15 2 SGM [102] 78,1 82,8 80,4 0,19 3 MGM [103] 86,6 88,5 87,5 0,27 4 LOTS [104] 88,7 90,8 89,7 0,25 5 Giải pháp đề xuất 90,3 97,6 93,8 0,38 Bảng 2.5. Kết quả phát hiện mục tiêu tập dữ liệu xe tải quân sự STT Các giải pháp Recall (%) Precision (%) F_measure (%) T.gian (giây) 1 BBS [101] 58,1 65,6 61,6 0,17 2 SGM [102] 64,1 79,8 71,1 0,20 3 MGM [103] 76,6 74,5 75,5 0,26 4 LOTS [104] 78,7 85,8 82,1 0,28 5 Giải pháp đề xuất 89,3 96,6 92,8 0,41 Bảng 2.6. Kết quả phát hiện mục tiêu tập dữ liệu xe tăng STT Các giải pháp Recall (%) Precision (%) F_measure (%) T.gian trung bình (giây) 1 BBS [101] 61,1 68,6 64,6 0,18 2 SGM [102] 68,1 81,8 74,3 0,21 3 MGM [103] 74,6 79,5 77,0 0,28 4 LOTS [104] 81,7 87,8 84,6 0,26 5 Giải pháp đề xuất 92,2 95,9 94,0 0,39 Kết luận Chương 2: Trong chương 2, chúng tôi đã đề xuất một giải pháp mới có hiệu quả cao cho phát hiện các mục tiêu quân sự trong các khung ảnh vi eo. Các đóng góp khoa học cụ thể là: 1. Đề xuất việc ác định mục tiêu dựa trên các vùng ROI. 2. Đề xuất mô hình toán ác định mục tiêu từ các vùng đồng màu (supper- pixel) với sự kết hợp đặc trưng màu sắc và đặc trưng hình ạng. 3. Đề xuất Thuật toán tối ưu tìm mục tiêu từ các vùng đồng màu. Chương 3: BÁM MỤC TIÊU SỬ DỤNG CÁC ĐẶC TRƯNG MẪU HỌC TRỰC TUYẾN 3.1. Đặt vấn đề bám mục tiêu Bài toán bám mục tiêu quân sự có thể được giải quyết bằng việc sử dụng thuật toán phát hiện mục tiêu ở chương 2. Dựa vào vị trí mục tiêu ở khung ảnh thứ t-1 và tốc độ dịch chuyển cực đại của mục ti u, chúng ta ác định được vùng ảnh W chứa mục tiêu ở khung ảnh thứ t. Sau đó áp ụng Thuật toán 1 trong chương 2 để ác định mục tiêu từ các vùng ảnh đồng màu trong W. Tuy nhiên, giải pháp này có tốc độ tính toán không đủ nhanh để ác định vị trí mục tiêu trong mọi khung ảnh thu được. Chương nà trình à một giải pháp bám mục tiêu mới. Giải pháp đề xuất khai thác các ưu điểm của các giải pháp bám mục tiêu theo hình dạng và các giải pháp bám mục tiêu dựa tr n các đặc trưng ề ngoài. Cụ thể, giải pháp đề xuất sử dụng các đặc trưng hình ạng và các đặc trưng màu sắc để biểu diễn mục tiêu. Việc ác định vị trí mục tiêu trong khung ảnh mới được thực hiện 16 bằng kỹ thuật đối sánh mẫu. Các mẫu đặc trưng ảnh biểu diễn mục ti u được cập nhật trực tuyến từ kết quả bám mục tiêu trên từng khung ảnh. Hơn nữa, để tăng tốc độ tính toán, luận án sử dụng các đặc tính dịch chuyển của mục tiêu (ví dụ như tốc độ chuyển động), và mô hình phân lớp xác suất để giảm không gian tìm kiếm mục tiêu trong khung ảnh mới thay vì tìm kiếm trong không gian toàn bộ ảnh. 3.2. Giải pháp bám mục tiêu đề xuất Giải pháp đề xuất được mô tả tóm tắt trong Thuật toán ưới đâ : Thuật toán 4: Bám đối tượng dựa trên các đặc trưng mẫu học trực tuyến Input: - Khung ảnh video thứ t, Ft. - Vùng ảnh mục tiêu trên khung ảnh Ft-1 Output: Vị trí mục tiêu Lt trên khung ảnh thứ t. 1. Thực hiện tiền xử lý ảnh cho Ft. 2. Xác định ROI từ vị trí mục tiêu Lt-1 cho khung ảnh Ft-1 và Ft. 3. Tính toán hoặc cập nhật các hàm mật độ xác suất điều kiện lớp: 3.1. Tính toán và cập nhật hàm pdf(c|O) dựa trên các điểm ảnh thuộc về mục tiêu trong ROI của khung ảnh Ft-1. 3.2. Tính toán và cập nhật hàm pdf(c|non_obj) dựa trên các điểm ảnh không thuộc về mục tiêu trong ROI của khung ảnh Ft-1. 4. Tính toán hoặc cập nhật các đặc trưng ảnh mẫu từ vùng ảnh mục tiêu trên khung ảnh Ft-1. 5. Trích chọn các điểm ảnh thuộc về mục tiêu trong ROI của Ft, các POI. 6. Trích chọn các đặc trưng ảnh cho mỗi vị trí POI. 7. Xác định vị trí mục tiêu Lt bằng so khớp mẫu các đặc trưng ảnh. Độ phức tạp thuật toán: O(n*m* Nobj* Mobj), trong đó n*m là kích thước khung ảnh đầu vào, Nobj* Mobj là kích thước ảnh mục tiêu. 3.2.1. Tiền xử lý ảnh Để giảm thiểu sự ảnh hưởng của nguồn ánh sáng, chúng tôi sử dụng bộ lọc Homomorphic cho ước tiền xử lý ảnh như Hình 3.2. f(x,y) Log DFT H(u,v) IDFT exp g(x,y) Hình 3.2. Sơ đồ khối bộ lọc Homomorphic. 3.2.2. Xác định các vị trí POI Tiến trình ác định các điểm ảnh thuộc về mục tiêu, các POI (point of interest), được thực hiện bởi 02 ước chính: 1)Xác định vùng ảnh ROI mà mục tiêu có thể định vị dựa vào tốc độ dịch chuyển cực đại; 2) Trích chọn các POI trong vùng ROI bằng kỹ thuật phân lớp. 3.2.2.1. Xác định vùng ROI Vùng ROI được ác định như là một vùng ảnh hình vuông hoặc hình tròn có tâm là vị trí tâm của mục tiêu trong khung ảnh liền kề trước, khung ảnh thứ t-1. Trong luận án, ROI là một hình vuông có khoảng cách từ tâm đến các 17 cạnh là R được tính bởi (3.3). Hình 3.4 minh họa việc ác định ROI cho khung ảnh thứ t, dựa vào mục tiêu được ác định trong khung ảnh thứ t-1. m tR V D  (3.3) Hình 3.4. Ví dụ trích chọn ROI. 3.2.2.2. Trích chọn các POI Việc ác định các vị trí POI trong vùng ROI được thực hiện bằng kỹ thuật phân lớp. Gọi pdf(c|O) và pdf(c|non_obj) là các hàm mật độ xác suất điều kiện lớp của màu c (trong không gian màu R, G, B) cho hai lớp: mục tiêu và nền. Các hàm nà được ước lượng bằng phương pháp tính lược đồ màu 3D (Histogram) của các điểm ảnh thuộc về mục tiêu và các điểm ảnh nền trong ROI của các khung ảnh trước thứ t-k,,t-1. Ban đầu, các hàm nà được tính từ vùng ROI được ác định dựa trên kết quả phát hiện mục tiêu sử dụng giải pháp ở chương 2. Sau đó, chúng được cập nhật từ các vùng ROI được ác định từ kết quả bám mục tiêu ở các khung ảnh trước. Hình 3.6. Minh họa kết quả trích chọn các POI. Từ ROI của khung ảnh mới thứ t (xem Hình 3.4 b), các điểm ảnh trong ROI được phân lớp bằng việc áp dụng luật quyết định Bayes. Một điểm ảnh x được coi là thuộc lớp mục tiêu hoặc là một POI, nếu: ( | ) ( | ) (3.4) Trong đó ( | ) và p( | ) là sắc xuất tại cx là vector màu tại điểm ảnh x được tính theo pdf(c|O) và pdf(c|non_obj), là giá trị ngưỡng được thiết lập bằng thực nghiệm trên tập dữ liệu ảnh học. Các POI trích chọn theo (3.4) sẽ được hậu xử lý bằng việc sử dụng các thao tác xử lý hình thái nhị (a) Mục tiêu được ác định ở khung ảnh thứ t-1 (b) Vùng ảnh ROI được ác định trên khung ảnh thứ t ROI được trích chọn (a) ROI được trích chọn trên khung ảnh (b) Mặt nạ các POI được trích chọn sử (c) Mặt nạ các POI sau khi xử lý hình thái nhị 18 phân (Morpholog ) để làm trơn vùng và trơn i n. Kết quả sẽ tạo nên nhiều vùng con chứa các POI, vùng có diện tích quá nhỏ sẽ được coi là nhiễu và bị loại bỏ. Hình 3.6 minh họa một ví dụ trích chọn các POI theo công thức (3.4). 3.2.3. Trích chọn đặc trưng ảnh Để biểu diễn một vùng ảnh hình chữ nhật B có kích thước mxn, chúng tôi sử dụng hai đặc trưng ảnh: đặc trưng màu và đặc trưng hướng cạnh (HoG – Histogram of Oriented Gradient). - Đặc trưng màu của vùng ảnh B là vector hc có kích thước 1 3K được kết hợp bởi 3 lược đồ (histogram) h1, h2, h3 của các thành phần màu (R, G, B) ở các vị trí điểm ảnh trong vùng ảnh B như công thức (3.7), K là kích thước của các vector h1, h2, h3. 1 2 3ch h h h   (3.7) - Đặc trưng hướng cạnh h của vùng ảnh B là lược đồ hướng (HoG) của các điểm ảnh cạnh trong vùng ảnh B. Các đặc trưng mẫu (templates) của mục tiêu được tính là một tập các đặc trưng màu hc và đặc trưng hướng cạnh h cho các vùng ảnh bao mục tiêu được ác định trong các khung ảnh trước (các khung ảnh thứ jT-1). Đối với khung ảnh mới thứ t, các đặc trưng hc và h được tính cho các vùng ảnh B có tâm là các vị trí POI ành được trong Phần 3.2.2.2. 3.2.4. Xác định mục tiêu dựa vào so khớp mẫu Mục tiêu trong khung ảnh đầu vào được ác định từ tập điểm POI dành được trong Phần 2.2.2.2, P = {P1, P2, ...,PN}. Gọi Hc và H là các tập đặc trưng mẫu của mục tiêu, chúng là các đặc trưng màu và đặc trưng hướng cạnh của vùng ảnh bao mục tiêu được ác định trong các khung ảnh trước thứ 1t-1. Đối tượng trong khung ảnh thứ t có vị trí tâm *P được ác định thỏa mãn công thức (3.11) như sau: * ( (p), )* ( (p), )argmin p c cP s s    h H h H P (3.11) Trong (3.11), ( )ch p và ( )h p là các đặc trưng màu và đặc trưng hướng cạnh của vùng ảnh B có tâm tại điểm ảnh p P. Hàm s(x,H) đo sự giống nhau giữa vector đặc trưng x với tập các vector H, được tính như sau: ( ) ( ) (3.12) Hàm d(x,y) được tính bằng phép đo khoảng cách Bhattacharyya giữa hai vector x và y như (3.13). Trong (3.13), ix và iy là các thành phần thứ i của vector x và y. ( ) √ ∑ √ (3.13) 19 Hình 3.10. Kết quả xác định mục tiêu trên khung ảnh thứ t. Vùng ảnh có tâm là P* được em như là vùng ảnh của mục tiêu nếu: * *( (p ), )* ( (p ), )c c os s   h H h H (3.14) với o là một giá trị ngưỡng được ước lượng từ thực nghiệm. Hình 3.10 minh họa kết quả ác định mục tiêu trong khung ảnh mới. 3.3. Thực nghiệm và kết quả 3.3.1. Dữ liệu ảnh video Dữ liệu ảnh video là 03 tập tương ứng với 03 đối tượng quân sự như trình bày trong Chương 2. Dữ liệu ground-truth để so sánh đánh giá: Đối với mỗi file video, luận án phân tách thành các khung ảnh riêng biệt và thực hiện ác định vùng ảnh bao mục tiêu bằng tay (vùng ảnh hình chữ nhật). 3.3.2. Phương pháp đánh giá Việc đánh giá hiệu quả các thuật toán bám cho mỗi khung ảnh video, luận án cũng sử dụng 03 phép đo như trong Chương 2: recall, precision và F- measure 3.3.3. Phân tích tính hiệu quả của giải pháp đề xuất Hiệu quả của giải pháp đề xuất cho bám các mục tiêu quân sự nằm ở hai yếu tố chính: 1) Xác định mục tiêu dựa vào POI; 2) Sự kết hợp các đặc trưng ảnh sử dụng cho ác định mục tiêu 3.3.3.1. Tính hiệu quả khi dùng các POI Để đánh giá hiệu quả của việc sử dụng các POI cho việc ác đinh mục tiêu trong khung ảnh đầu vào, luận án tiến hành làm các thực nghiệm với 03 phương như sau: - Phương án 1: Không sử dụng ROI và các POI cho việc ác định mục tiêu. Trên mỗi vị trí điểm ảnh, một vùng ảnh B được ác định và được biểu diễn bởi các đặc trưng màu và đặc trưng hướng cạnh. Mục tiêu được tìm sử dụng công thức (3.11) và (3.14) nhưng tập điểm P là toàn bộ không gian ảnh thay vì chỉ các điểm POI. (a) Mục tiêu được ác định trong ROI (vùng ao màu đỏ) (b) Mục tiêu được ác định trên ảnh đầu vào 20 - Phương án 2: Xác định mục tiêu trên các vị trí điểm ảnh nằm trong ROI, không sử dụng các điểm POI. - Phương án 3: Xác định mục tiêu dựa vào các điểm POI, tức là bám mục tiêu sử dụng đầ đủ các ước của thuật toán đề xuất. Kết quả của các thực nghiệm tr n được tóm tắt trong các Bảng 3.1 trên 3 tập dữ liệu. Bảng 3.1. Kết quả bám mục tiêu của ba phương án sử dụng và không sử dụng các POI để tìm mục tiêu trên các tập dữ liệu khác nhau. Tập dữ liệu Phương án Recall (%) Precision (%) F_measure (%) T.gian TB (ms) Xe tăng Phương án 1 85,6 81,7 83,6 1370 Phương án 2 90,0 95,2 92,5 165 Phương án 3 97,5 98,8 98,2 32 Xe tải Phương án 1 85,6 81,7 83,6 1370 Phương án 2 90,0 95,2 92,5 165 Phương án 3 96,7 98,1 97,4 33 Xe u-oát Phương án 1 85,6 81,7 83,6 1370 Phương án 2 90,0 95,2 92,5 165 Phương án 3 97,1 98,3 97,7 31 3.3.3.2. Phân tích tính hiệu của việc sử dụng các đặc trưng ảnh Để đánh giá tính hiệu quả của sự kết hợp đặc trưng màu và đặc trưng hướng cạnh trong đề xuất giải pháp bám mục tiêu, luận án tiến hành làm các thực nghiệm với giải pháp đề xuất (có các ước thực hiện giống nhau nhưng sử dụng đặc trưng ảnh khác nhau) như sau: 1- Sử dụng đặc trưng màu (Hcolor) để đi tìm mục tiêu trên các vị trí POI. 2- Sử dụng đặc trưng hướng cạnh (HoG) để tìm mục tiêu trên các vị trí POI. 3- Sử dụng kết hợp Hcolor và HoG để tìm mục tiêu trên các vị trí POI. Bảng 3.2 tóm tắt kết quả thực hiện của các thực nghiệm trên cả 03 tập dữ liệu thu từ thực địa. Bảng 3.2. Kết quả bám mục tiêu của thuật toán đề xuất sử dụng các đặc trưng ảnh khác nhau . Tập dữ liệu Đặc trưng Recall (%) Precision (%) F_measure (%) T.gian TB (ms) Xe tăng Hcolor 93,1 95,5 94,3 28 HoG 83,0 85,2 84,1 30 Hcolor + HoG 97,5 98,8 98,2 32 Xe tải Hcolor 92,6 94,7 93,6 29 HoG 80,8 84,2 82,5 31 Hcolor + HoG 96,7 98,1 97,4 33 Xe u- oát Hcolor 93,6 95,8 94,7 27 HoG 84,7 86,1 85,4 28 Hcolor + HoG 97,1 98,3 97,7 31 3.3.4. Kết quả so sánh với các giải pháp khác Giải pháp đề xuất được so sánh với 03 giải pháp bám mục tiêu đã công ố trên các tạp chí có chất lượng cao, gồm có: 1) P-N Learning (PNL) [81]; 2) 21 Ensemble Tracking (ET) [82]; 3) Multiple Instance Learning (MIL) [83]. Bảng 3.5 trình bày các kết quả thực nghiệm của giải pháp đề xuất và các giải pháp bám mục tiêu khác trên 03 tập dữ liệu. Bảng 3.3. Bảng kết quả của các giải bám mục tiêu trên các tập dữ liệu Tập dữ liệu Các giải pháp Recall (%) Precision (%) F_measure (%) T.gian TB (ms) Xe tăng PNL [81] 80,2 88,1 84,0 37 ET [82] 75,8 85,2 80,2 40 MIL [83] 72,1 78,3 75,1 34 Đề xuất 97,5 98,8 98,2 32 Xe tải PNL [81] 88,2 92,1 90,1 39 ET [82] 77,1 88,3 82,3 41 MIL [83] 85,8 88,2 87,0 35 Đề xuất 96,7 98,1 97,4 33 Xe u-oát PNL [81] 83,2 85,1 84,1 35 ET [82] 75,1 79,8 77,4 38 MIL [83] 84,8 84,2 84,5 33 Đề xuất 97,1 98,3 97,7 31 Kết luận Chương 3: Trong chương 3, chúng tôi đã đề xuất một giải pháp mới có tốc độ tính toán và độ chính xác cao cho việc bám các mục tiêu quân sự trong các khung ảnh vi eo. Các đóng góp khoa học cụ thể là: 1) Đề xuất một giải pháp mới có hiệu quả và tính khả thi cao trong việc bám các mục tiêu quân sự. Giải pháp đề xuất cũng hoàn toàn có thể ứng dụng cho việc bám các mục tiêu dân sự. 2) Đề xuất việc sử dụng ROI và các POI để hạn chế không gian tìm kiếm đối tượng góp phần cải thiện đáng kể tốc độ tính toán và độ chính xác trong phát hiện mục tiêu. 3) Đề xuất một mô hình toán sử dụng kết hợp đặc trưng màu và đặc trưng hướng cạnh để bám mục tiêu với các đặc trưng mẫu học trực tuyến. Chương 4. THIẾT KẾ HỆ THỐNG BÁM TỰ ĐỘNG CHO HỆ VŨ KHÍ DỰA TRÊN PHÁT HIỆN VÀ BÁM MỤC TIÊU TRONG ẢNH 4.1. Đặt vấn đề hệ thống bám tự động cho hệ vũ khí Sử dụng công nghệ xử lý ảnh và các thuật toán nhận dạng thông minh trong hệ thống trinh sát phát hiện mục tiêu cho các hệ thống vũ khí. Chương nà trình bày các bộ phận cấu thành của một hệ thống vũ khí có điều khiển. Đề xuất một mô hình động học của hệ thống bám cho hệ vũ khí, ác định mối liên hệ giữa vị trí tâm mục tiêu và tham số điều khiển (góc tầm, gốc hướng) của giá súng. 4.2. Mô tả hệ thống tự động bám mục tiêu di động Hệ giá vũ khí ám mục ti u i động được thể hiện bằng sơ đồ khối ở Hình 4.1. Hệ thống bao gồm một bệ giá quay theo hai kênh tầm và hướng, camera gắn cố định song song với trục nòng súng chuyển động đồng thời theo súng. Tâm nòng súng được quy chính trùng với tâm khung hình quan sát. 22 Hình 4.1. Sơ đồ khối hệ thống bám mục tiêu di động 4.3. Triển khai giải pháp phát hiện, bám mục tiêu trong hệ thống Phần này chỉ ra vị trí áp dụng kết quả lý thuyết vào hệ thống bám tự động cho hệ vũ khí ựa trên phát hiện và bám mục tiêu trong ảnh được trình bầ theo sơ đồ khối hình 1.5 và cụ thể trong thuật toán 4 của chương 3. 4.4. Xây dựng mô hình động học giá điều khiển Hình 4.3. Mô hình động học của hệ vũ khí khảo sát Để hướng tâm ảnh mục tiêu về tâm ảnh, chúng ta thiết lập mối quan hệ tương đối giữa biến quan sát được X0 và Y0 là tọa độ của mục tiêu trên hệ tọa độ gắn với mặt phẳng ảnh (IP), đối với biến điều khiển của giá φ và θ. Trong Hình 4.3, ta có thể nhìn thấy rằng φ và θ là các góc qua ung quanh 23 trục tương ứng là OZ và OZ’, sao cho, sau khi i chu ển tâm của mục tiêu di động có tọa độ P(X, Y, Z) sẽ được ánh xạ lên tâm của mặt phẳng ảnh. 4.5. Thử nghiệm trường bắn 4.5.1 Mô tả phương pháp thử nghiệm Thử nghiệm được thực hiện tr n trường bắn, bắn đạn thật vào mô hình bia e tăng đặt cách xa 600 m và chạy với vận tốc 25 m/s. Hình 4.5 là một số hình ảnh thử nghiệm tại trường bắn a) Trận địa bắn b) Màn hình phần mềm Hình 4.5. Hình ảnh thử nghiệm trên trường bắn 4.5.2. Quy trình tiến hành thử nghiệm Quy trình thử nghiệm được thực hiện 06 bước:Bước 1: Phổ iến các qu định và thống nhất kế hoạch ắn thử nghiệm. Bước 2: Chuẩn ị súng cấp 2, cho ảo ưỡng, kiểm tra các cơ cấu ảo đảm hoạt động ình thường theo Hình 4.5; Bước 3: Tiến hành lắp chạ thử toàn ộ hệ thống; Bước 4: Kiểm tra các vị trí lắp đặt theo đúng sơ đồ. Kích hoạt phần mềm FSCapture ghi lại kết quả bám trên màn hình; Bước 5: Tiến hành ắn theo kế hoạch, ghi lại kết quả và đặt t n cho file kết quả để thực hiện so sánh đánh giá. (Bước nà lặp lại cho tới khi kết thúc thực nghiệm); Bước 6: Kết thúc thử nghiệm. 4.5.3. Kết quả thử nghiệm Quá trình phát hiện và ám mục ti u chúng tôi ùng phần mềm lưu lại màn hình để về ử lý và đánh giá. Kết quả thu được là 100% ám được mục ti u trong quá trình thử nghiệm. Bi n ản thử nghiệm của 02 đề tài: 1. Đề tài cấp cơ sở “Giá điều khiển đa năng cho súng 14,5mm và 12,7mm”; 2. Đề tài cấp thành phố mã số “ 01C-02/02-2014-2” t n “Tổ hợp súng 12,7 điều khiển từ a phục vụ nhiệm vụ phòng không nhân ân tr n địa àn thủ đô” đạt kết quả tốt. 4.5. Kết luận chương 4 Trong chương nà trình ày nghiên cứu thử nghiệm kết quả lý thuyết trên chương 2, 3 vào một hệ giá điều khiển cho súng 14,5 mm và 12,7 mm. Kết quả 24 thử nghiệm bắn đối chứng với bắn trực tiếp bằng tay cho thấy hệ thống được bắn thông qua phần mềm phát hiện và bám ảnh mục ti u đạt kết quả tốt hơn. Đặc biệt khẳng định kết quả bắn không phụ thuộc vào yếu lĩnh của xạ thủ. KẾT LUẬN 1. Các kết quả chính của luận án Kết quả nghi n cứu của luận án được trình ầ tr n 132 trang, cấu trúc chia thành 4 chương nội ung chính, phần mở đầu, phần kết luận và kiến nghị, tài liệu tham khảo. Về phát hiện mục tiêu chuyển động, luận án đề xuất một giải pháp phát hiện mục tiêu quân sự, dùng các đặc trưng chu ển động, mầu sắc và hình dạng. Về bám mục tiêu, luận án đã đề xuất một giải pháp mới thực hiện việc bám mục tiêu quân sự dựa tr n các đặc trưng ảnh mẫu được học online. Cuối cùng, ứng ụng kết quả luận án cho 02 đề tài: 1. Đề tài cấp cơ sở “Giá điều khiển đa năng cho súng 14,5mm và 12,7mm”; 2. Đề tài cấp thành phố mã số “01C-02/02-2014-2” t n “Tổ hợp súng 12,7 điều khiển từ a phục vụ nhiệm vụ phòng không nhân ân tr n địa àn thủ đô” đạt kết quả tốt. Như vậ với giải pháp đề uất của luận án có thể áp ụng vào thực tế. 2. Những đóng góp mới Luận án với 03 đóng góp chính: 1- Đề xuất mới một giải pháp tự động phát hiện mục tiêu quân sự trong dãy ảnh động, bằng việc sử dụng đặc trưng chu ển động để ác định vùng ROI, sau đó kết hợp đặc trưng màu sắc và hình dạng để phát hiện mục tiêu. 2- Đề xuất mới một giải pháp tự động bám mục tiêu quân sự trong dãy ảnh động, từ vị trí mục ti u được phát hiện trong khung ảnh trước, để khoanh vùng mục tiêu làm giảm không gian tìm kiếm và dùng lý thuyết xác xuất để trích chọn các điểm POI, sau đó ác định mục tiêu bằng các đặc trưng ảnh. 3- Tích hợp hai giải pháp trên vào hệ thống tự động điều khiển giá súng 12,7mm và súng 14,5mm trên giải pháp tự động phát hiện, bám ảnh mục tiêu. 3. Hướng phát triển của luận án - Tích hợp hoàn chỉnh phân hệ trinh sát phát hiện tự động mục ti u cho các hệ vũ khí. Để tăng tốc độ tính toán cho phương pháp đề uất ở tr n ùng các thuật toán song song tr n các o mạch FPGA. Nghi n cứu giải pháp tái cấu trúc cảnh 3D để tăng độ chính ác ác định vị trí đối tượng mục ti u, thông qua việc sử ụng nhiều camera tha vì một camera. DANH MỤC CÁC CÔNG TRÌNH CỦA TÁC GIẢ [1]. Nguyễn Văn Hùng, 2012. Nghiên cứu thiết kế, chế tạo hệ giá điều khiển đa năng cho súng 12,7mm và 14,5 mm tự động bám ảnh mục tiêu. Tạp chí Kỹ thuật & Trang bị, số 137 - 2 [2]. Nguyễn Văn Hùng, 2013. Một phương pháp bám mục tiêu dựa trên các đặc trưng biểu đồ thu từ ảnh camera không tĩnh. Tạp chí khoa học trường Đại học Sư phạm Hà Nội, số 58. [3]. Nguyễn Văn Hùng, 2013. Về một phương pháp phát hiện đối tượng chuyển động. Tạp chí khoa học trường Đại học Sư phạm Hà Nội, số 58. [4]. Nguyễn Văn Hùng, 2013. Phương pháp phát hiện đối tượng chuyển động. Tạp chí nghiên cứu khoa học và công nghệ quân sự số 25, 06-2013. [5]. Nguyễn Văn Hùng, Trần Hoài Linh, Cao Minh Trí, 2015, Graph segmentation based method in thermal camera object detection.The 9 th SEATUC symposium, Thai Lan. [6]. Nguyễn Văn Hùng, Trần Hoài Linh, 2015, Application of Graph segmentation based method in thermal camera object detection. The 20 th IEEE International Conference on Methods and Models in Automation & Robotics – MMAR, Ba Lan. [7]. Nguyễn Văn Hùng, Nguyễn Văn Xuất, Lê Mạnh Cường, 2015, Một phương pháp phát hiện đối tượng ứng dụng trong hệ thống tự động bám mục tiêu. Kỷ yếu hội nghị quốc gia lần thứ VIII “Nghiên cứu cơ bản và ứng dụng công nghệ thông tin, VNU 9-10 tháng 7 năm 2015”. [8]. Nguyễn Văn Hùng, Nguyễn Chí Thành, Nguyễn Văn Xuất, 2015, Research design and manufacture complete system drives a versatile price for 12.7 mm and 14.5 mm gun automatically bind the target image. Hội nghị toàn quốc lần thứ 3 về Điều khiển và Tự động hoá - VCCA-2015.