Khóa luận Phát hiện, phân loại và theo dõi đối tượng chuyển động trong hệ thống giám sát thông minh

với sự chênh lệch rất nhỏ. Hình 3-7: Vector RGB cho điểm ảnh ở vị trí x của khung hình hiện tại và vector cho điểm ảnh tương ứng ở khung ảnh nền. Hình dưới đây cho ta một ví dụ về xử lý loại bỏ bóng của vật thể Hình 3-8: Xử lý loại bỏ bóng a. Khung hình nền b. Khung hình hiện tại c. Kết quá sau khi phát hiện các vùng ảnh nổi (chứa cả bóng của đối tượng) d. Kết quả xử lý sau khi loại bỏ bóng Bên cạnh các yếu tố nhiễu do bóng của đối tượng, yếu tố ánh sáng thay đổi do điều kiện quan sát cũng là một yếu tố đáng quan tâm và xử lý khi thực hiện quan sát ngoài trời. Ta biết rằng môi trường ngoài trời luôn luôn thay đổi, khi mây bay hay gió thổi đều ảnh hưởng rất lớn đến kết quả quan sát và xử lý. Hình 3-9: Hai khung cảnh liên tiếp khi ánh sáng thay đổi. Đây cũng là một trong những bài toán đang được quan tâm và giải quyết, có thể tiếp cận các hướng giải quyết trong tài liệu tham khảo [4]. 3.1.1.2.2. Phát hiện các sự liên kết giữa các khối Sau bước phát hiện các vùng ảnh nổi và qua xử lý ở mức điểm ảnh để loại bỏ nhiễu và các vùng bóng của vật thể, các vùng ảnh được nhóm lại theo thành các vùng liên kết (blobs) được dán nhãn bằng cách sử dụng thuật toán dán nhãn được trình bày trong tài liệu tham khảo [9]. Sau khi tìm ra các đốm màu độc lập tương ứng với các đối tượng ta sẽ thực hiện tính hộp bao của vùng này. Hình dưới đây sẽ chỉ ra ví dụ về xử lý sau khi đã liên kết các vùng ảnh nổi dãn nhãn và bao hộp. Hình 3-10: Liên kết các khối ảnh nổi Khung hình nền Khung hình hiện tại Kết quả sau khi thực hiện xử lý liên kết các khối, dãn nhãn và bao hộp. 3.1.1.2.3. Tiền xử lý ở mức khối ảnh nổi Sau bước loại bỏ nhiễu, đôi khi các vùng nhỏ vẫn còn do không chính xác trong bước phân đoạn đối tượng. Để xử lý vấn đề này chúng ta ước lượng kiểu của các vùng ảnh, kích cỡ trung bình () trong phạm vi của các điểm ảnh được tính cho mỗi khung hình và các vùng có kích thước nhỏ hơn một mẩu (). Nếu (Size (region) < * ) thì vùng đó sẽ được loại bỏ Ngoài ra, do một số lỗi phân đoạn, một số phần của vật thể bị tách biệt với vùng chính. Với những trường hợp này dùng hộp bao các vùng này là cách giải quyết tốt nhằm gộp chúng lại lại và thực hiện dán nhãn. 3.1.1.2.4. Đưa ra tính chất của các đối tượng được phát hiện Khi đã đã có các vùng ảnh được phân đoạn chúng ta sẽ thực hiện xuất ra các tính chất tương ứng của đối tượng từ khung hình hiện tại. Các tính chất này bao gồm: Kích cỡ (s), Trọng tâm của khối (), Biểu đồ màu () và hình chiếu của các vết đối tượng. Để tính kích cỡ S chúng ta chỉ việc thực hiện đếm số lượng điểm ảnh nổi trong hình bao của đối tượng. Tính trọng tâm khối của đối tượng O theo công thức sau : , (3.16 ) Trong đó n là số lượng điểm ảnh của đối tượng O Biểu đồ màu được tính qua độ đơn sắc của các điểm ảnh trong khung hình hiện tại. Để thực hiện giảm sự tính toán phực tạp ta sử dụng giá trị màu đã được lượng tử hóa theo 255/N giá trị màu. Biểu đồ màu được tính toán việc lặp đi lặp lại các điểm ảnh của O và tăng giá trị lưu trữ của lô màu tương ứng trong biểu đồ . Từ đó một biểu đồ màu của đối tượng O sẽ được cập nhật quá công thức: (3.17 ) Ở đây biểu điên giá trị màu tại điểm ảnh thứ i. Trong bước tiếp theo, biểu đồ màu sẽ được xem xét để có thẻ đưa ra so sánh phù hợp với các biểu đồ màu khác trong bước tiếp theo. Theo công thức sau: ( 3.18) Qua phương pháp tính này ta có thể có một số nhận xét đó là: Cách tính này sẽ gặp thất bại trong các trường hợp các đối tượng có cùng một biểu đồ màu ví dụ như hai đối tượng có cùng màu quần áo, hoặc người mặc áo sơ mi trắng, quần đen và người mặc áo sơ mi đen, quần trắng. Cả hai sẽ cho kết quả biểu đồ màu như nhau. Nếu xét về biểu đồ màu thì hai đối tượng này hoàn toàn sẽ bị hiểu là cùng một đối tượng. 3.1.2. Kết luận Khối xử lý phát hiện đối tượng trên thực tế bao gồm rất nhiều khối xử lý với các thuật toán xử lý khác nhau. Qua quá trình phân tích tìm hiểu các khối xử lý ta có thể thấy rằng phát hiện đối tượng có thể được coi là module trọng tâm quyết định hiệu quả, tính tin cậy của hệ thống giám sát thông minh. Chất lượng, kết quả của module xử lý này phụ thuộc vào việc kết hợp, áp dụng các thuật toán phù hợp trong các khối xử lý khác nhau với điều kiện giám sát thực tế. Cách thiết kế module phát hiện đối tượng được trình bày ở trên là một cách thiết kế nhằm tạo ra một module xử lý linh động, phù hợp với điều kiện giám sát. Chương tiếp theo, chúng tôi sẽ trình bày một số thực nghiệm để minh họa rõ hơn cho phương pháp giải quyết bài toán phát hiện đối tượng chuyển động. 3.2. Bài toán phân loại đối tượng Phân loại kiểu của một đối tượng video phát hiện được là một bước quan trọng để thực hiện mục đích trên. Với sự trợ giúp của thông tin kiểu của đối tượng, thêm những phương pháp chính xác và riêng biệt có thể được phát triển để nhận ra các hành động ở cấp độ cao hơn của các đối tượng video. Vì vậy, chúng tôi phát triển phương pháp phân loại đối tượng video mới dựa trên sự tương đồng( sự giống nhau) như một phần trong hệ thống theo dõi trực quan. Những cảnh video thông thường chứa các loại đối tượng như: người, xe cộ, động vật, các hiện tượng tự nhiên( mưa, tuyết..), cây cối, … Tuy nhiên sự quan tâm chủ yếu của ứng dụng theo dõi là người và xe cộ. Cả tự nhiên thời gian thực và môi trường thực thi của ứng dụng theo dõi yêu cầu một giản đồ phân loại sao cho tính toán đơn giản, có hiệu quả tốt trên các mục tiêu nhỏ và bất biến với điều kiện ánh sáng. Chúng tôi thoả mãn tất cả những yêu cầu trên bằng cách thực thi một giản đồ phân loại có khả năng nhóm các đối tượng video phát hiện được vào các nhóm định nghĩa trước: người, nhóm người và xe cộ sử dụng đặc trưng ảnh của đối tượng. Sơ đồ khối xử lý của phương pháp này được mô tả trong hình dưới đây: Trích rút hình chiếu của dối tượng Cơ sở dữ liệu hình chiếu mẫu Tính toán các dấu hiệu khoảng cách của O So sánh các dấu hiệu khoảng cách của đối tượng O với dấu hiệu khoảng cách của các đối tượng trong cơ sở dữ liệu mẫu Nếu đối tượng I trong cơ sở dữ liệu mẫu Các dấu hiệu khoảng cách của O Các dấu hiệu khoảng cách của các đối tượng mẫu Kiểu của O được gán cho P Hình 3-11: Sơ đồ khối của phương pháp phân loại dựa trên hình chiếu 3.2.1. Phân loại dựa trên các mẫu hình chiếu Độ đo phân loại được sử dụng trong phương pháp của chúng tôi đo sự giống nhau( sự tương đồng) của đối tượng dựa trên sự so sánh của hình chiếu của các vùng đối tượng phát hiện được trích rút từ bản đồ điểm ảnh cận cảnh với mẫu đối tượng hình chiếu xác định trước( phân loại thủ công) được lưu trữ trong cơ sở dữ liệu. Toàn bộ tiến trình của phương pháp phân loại đối tượng bao gồm hai bước: - Bước offline: Tạo một mẫu cơ sở dữ liệu của các hình chiếu đối tượng mẫu bằng cách phân loại thủ công các loại đối tượng. - Bước online: Trích rút hình chiếu của mỗi đối tượng phát hiện được trong mỗi khung hình và nhận ra loại của nó bằng cách so sánh hình chiếu dựa trên đặc trưng với các hình chiếu trong cơ sở dữ liệu mẫu trong thời gian thực trong khi theo dõi. Sau khi so sánh đối tượng đó với đối tượng trong cơ sở dữ liệu, một hình mẫu với khoảng cách nhỏ nhất được tìm thấy. Loại của đối tượng này được gán cho loại của đối tượng mà chúng ta muốn phân loại. Trong bước này kết quả của bước theo dõi đối tượng được tận dụng để thu được các kết quả phân loại nhất quán theo thời gian. 3.2.1.1. Trích rút hình chiếu của đối tượng Trong cả hai bước online và offline của thuật toán phân loại, các hình chiếu của các vùng đối tượng phát hiện được từ bản đồ điểm ảnh cận cảnh được trích rút bằng cách sử dụng một thuật toán theo vết đường viền [20]. Hình 3-12 chỉ ra ví dụ các vùng đối tượng cận cảnh phát hiện được mẫu và các hình chiếu trích rút được. Hình 3-12: Các vùng đối tượng cận cảnh phát hiện được mẫu và các hình chiếu được trích rút. 3.2.1.2. Cơ sở dữ liệu mẫu các hình chiếu Cơ sở dữ liệu hình chiếu mẫu được tạo offline bằng cách trích rút một vài đường viền đối tượng từ các cảnh khác nhau. Do giản đồ phân loại sử dụng sự giống nhau (sự tương đồng), các hình dạng của các đối tượng trong cơ sở dữ liệu nên thể hiện các dáng điệu của các loại đối tượng khác nhau. Xem xét kiểu người, chúng ta thêm các hình dạng người trong các tư thế khác nhau vào cơ sở dữ liệu mẫu nhằm tăng khả năng của một đối tượng truy vấn của kiểu người được phân loại đúng. Ví dụ, nếu chúng ta có tất cả hình người trong tư thế thẳng đứng; chúng ta có thể không phân loại được một người đang ngồi trên ghế. Hoặc nếu chúng ta có các hình chiếu của ô tô được nhìn theo phương ngang từ camera, có thể sẽ phân loại sai các phương tiện chuyển động theo chiều dọc với góc nhìn của camera. Hình 3-13 là một cơ sở dữ liệu mẫu nhỏ cỡ 24 chứa các dáng điệu khác nhau cho người, nhóm người và xe cộ. Hình 3-13: Hình chiếu mẫu trong cơ sở dữ liệu mẫu với các nhãn Trong bước phân loại, phương pháp của chúng ta không sử dụng hình chiếu trong định dạng thô, đúng hơn là so sánh các dấu hiệu khoảng cách của hình chiếu đã được chuyển đổi. Vì vậy, trong cơ sở dữ liệu khuôn mẫu chúng ta chỉ lưu trữ dấu hiệu khoảng cách của hình chiếu và thông tin tương ứng cho cả việc tính toán và lưu trữ sao cho hiệu quả. Để là hình chiếu của một đối tượng O bao gồm n điểm sắp xếp từ điểm tâm phía trên của vùng được phát hiện theo chiều kim đồng hồ và là tâm của của khối điểm của O. Dấu hiệu khoảng cách được sinh ra bằng cách tính khoảng cách giữa cm và mỗi pi bắt đầu từ 1 tới n như sau: (3.19) Trong đó hàm Dist là khoảng cách Ơclit giữa hai điểm a và b: (3.20) Các đối tượng khác nhau có hình dạng khác nhau trong video và do đó có hình chiếu khác nhau về kích cỡ. Thậm chí cùng một đối tượng cũng có đường viền thay đổi qua các khung hình. Để so sánh các dấu hiệu tương ứng với các đối tượng có kích cỡ khác nhau một cách chính xác và để tạo độ đo so sánh không đổi chúng ta sẽ cố định kích cỡ của dấu hiệu khoảng cách. Để N là độ lớn của một dấu hiệu khoảng cách DS và C là hằng số cho độ dài dấu hiệu cố định. Dấu hiệu khoảng cách có độ lớn cố định sau đó được tính toán bằng lấy mẫu con( sub-sampling) hoặc siêu lấy mẫu( super-sampling) dấu hiệu gốc DS như sau: (3.21) Trong bước tiếp theo, dấu hiệu khoảng cách được co dãn được chuẩn hoá để có vùng đơn vị toàn vẹn. Dấu hiệu khoảng cách được chuẩn hoá được tính bằng phương trình sau: (3.22) Hình 3-14: Hình chiếu đối tượng mẫu và các dấu hiệu khoảng cách gốc và co giãn. (a) Hình chiếu đối tượng (b) Dấu hiệu khoảng cách (c) Dấu hiệu khoảng cách được co giãn 3.2.1.3. Độ đo phân loại Độ đo phân loại của chúng ta dựa trên sự giống nhau của các hình dạng đối tượng. Có rất nhiều phương pháp so sánh các hình. Đòi hỏi quan trọng của một độ đo so sánh các hình là sự bất biến co dãn, sự dịch chuyển, sự quay. Phương pháp của chúng ta thoả mãn ba thuộc tính trên. Sự bất biến co giãn: Do chúng ta sử dụng một độ dài cố định cho dấu hiệu khoảng cách của các hình dạng đối tượng, dấu hiệu được chuẩn hoá và co dãn sẽ gần như giống nhau cho hai sự thể hiện khác nhau( trong các tỉ lệ co dãn khác nhau) của cùng tư thế của một đối tượng. Sự bất biến dịch chuyển: dấu hiệu khoảng cách là độc lập với vị trí hình học của hình dạng đối tượng bởi vì dấu hiệu khoảng cách được tính đối với tâm của khối hình đối tượng. Thực tế là sự dịch chuyển của hình đối tượng sẽ không thay đổi vị trí tương đối của của tâm khối điểm đối với đối tượng, độ đo so sánh sẽ không bị ảnh hưởng bởi sự dịch chuyển. Sự bất biến quay: Chúng ta không sử dụng thuộc tính bất biến phép quay của độ đo phân loại của chúng ta bởi vì chúng ta muốn phân biệt cả các tư thế khác nhau của một đối tượng đơn cho các bước tiếp theo trong hệ thống theo dõi. Tuy nhiên, bằng cách chọn một điểm bắt đầu khác ps trên hình chiếu của đối tượng trong bước theo vết đường viền, chúng ta có thể tính toán các dấu hiệu khoảng cách của đối tượng cho các dịch chuyển quay cho mỗi điểm bắt đầu ps. Độ đo phân loại của chúng ta so sánh sự giống nhau giữa các hình của hai đối tượng A và B, bằng cách tìm kiếm khoảng cách giữa các dấu hiệu khoảng cách tương ứng, và . Khoảng cách giữa hai dấu hiệu khoảng cách gốc và co dãn, và được tính như sau: (3.23) Để tìm kiểu của đối tượng O, chúng ta so sánh dấu hiệu khoảng cách của nó với tất cả dấu hiệu khoảng cách của đối tượng trong cơ sở dữ liệu khuôn mẫu. Kiểu của đối tượng khuôn mẫu P được gán là kiểu của đối tượng truy vấn O, nếu P thoả mãn: đối tượng I trong cơ sở dữ liệu mẫu Hình 3-15 chỉ ra các hình chiếu, dấu hiệu hình chiếu và dấu hiệu khoảng cách của một đối tượng truy vấn mẫu và đối tượng cơ sở dữ liệu mẫu cho phân loại kiểu. Hình 3-15: Ví dụ phân loại đối tượng. (a) Đối tượng truy vấn mẫu (b) Các đối tượng trong cơ sở dữ liệu mẫu với các dấu hiệu khoảng cách. Kiểu của mỗi đối tượng ( H: Người, HG: Nhóm Người, V: Xe cộ) và khoảng cách (D) giữa đối tượng truy vấn và mỗi đối tượng trong cơ sở dữ liệu được chỉ ra phía dưới các đối tượng. 3.2.1.4. Sự nhất quán thời gian Hiệu quả của của phương pháp phân loại đối tượng phụ thuộc vào chất lượng của đầu ra trong bước phân đoạn đối tượng. Do các nhân tố môi trường, như các đối tượng bị chồng chéo bởi các đối tượng cận cảnh tĩnh( vật thể nào đó chắn trước camera) hoặc do thực tế chỉ có một phần đối tượng xâm nhập vào cảnh, hình của vùng phát hiện được không phản ánh một hình chiếu đúng của đối tượng. Trong những trường hợp như thế, thuật toán phân loại sẽ sai trong việc phân loại đối tượng. Ví dụ, phần của phương tiện xâm nhập vào cảnh có thể trông giống một người, hoặc phần người chồng chéo có thể giống một nhóm người. Vì thế chúng tôi sử dụng một giản đồ nhiều giả thuyết để tăng độ chính xác cho phương pháp phân loại. Trong tiến trình này, một loại lưu đồ ( histogram) được khởi tạo và đảm bảo cho một đối tượng O được phát hiện trong cảnh. Kích cỡ của lưu đồ bằng với số loại đối tượng khác nhau( ví dụ: trong hệ thống chúng ta biểu diễn người(H), nhóm người(HG) và phương tiện(V)) và nhóm i của lưu đồ này giữ số lần đối tượng O được tìm thấy là loại ( một trong H, HG, V). Hình 3-16 chỉ ra một đối tượng mẫu và biểu đồ kiểu của nó cho ba loại khung hình khác nhau. Hình 3-16: Lưu đồ kiểu đối tượng cho một đối tượng phát hiện được mẫu. ((a), (c), (e)) Đối tượng phát hiện được((b), (d),(f)) Lưu đồ kiểu đối tượng tương ứng Với sự trợ giúp của giản đồ đa giả thuyết này, các kiểu có thể của một đối tượng có thể được tích luỹ qua một khoảng thời gian định nghĩa trước và quyết định đúng cho loại của nó có thể được làm thêm chính xác bằng cách chọn kiểu trong nhóm với giá trị lớn nhất với kiểu của đối tượng. 3.3. Bài toán theo vết đối tượng chuyển động Như đã trình bày các phương pháp được sử dụng trong từng module xử lý theo vết đối tượng có các ưu nhược điểm khác nhau, mỗi phương pháp cho hiệu quả nhất định với từng loại đối tượng và mục đích theo dõi khác nhau. Do đó để đạt hiệu quả cao và tăng tính linh động cho khối theo vết đối tượng, chúng tôi sẽ thiết kế một khối xử lý tích hợp các phương pháp xử lý khác nhau. Bài toán theo vết đối tượng chuyển động sẽ được phân thành ba module xử lý: Module chính xác hoá đối tượng tương ứng, module xử lý nhập nhằng và module dự đoán chuyển động của đối tượng. Mô hình hoá cụ thể cho việc áp dụng các thuật toán tương ứng với từng module như sau: XỬ LÝ NHẬP NHẰNG PHÁT HIỆN ĐỐI TƯỢNG RỜI KHỎI CẢNH VÊT ĐỐI TƯỢNG & ĐẶC TRƯNG CỦA ĐỐI TƯỢNG CHÍNH XÁC HOÁ ĐỐI TƯỢNG TƯƠNG ỨNG THÔNG TIN ĐƯỜNG ĐI CỦA ĐỐI TƯỢNG PHƯƠNG PHÁP DỰA VÀO KHOẢNG CÁCH PHƯƠNG PHÁP DỰA VÀO KHOẢNG CÁCH Hình 3-17: Mô hình Module chính xác hoá đối tượng và xử lý nhập nhằng DỰ ĐOÁN CHUYỂN ĐỘNG CỦA ĐỐI TƯỢNG VÊT ĐỐI TƯỢNG & ĐẶC TRƯNG CỦA ĐỐI TƯỢNG ĐƯỜNG ĐI CỦA ĐỐI TƯỢNG ĐÃ ĐƯỢC DỰ ĐOÁN THUẬT TOÁN KALMAN FILTER THUẬT TOÁN MEAN - SHIFT THUẬT TOÁN SSD Hình 3-18: Mô hình module xử lý dự đoán chuyển động của đối tượng Trong đó các module xử lý này đều được tích hợp các phương pháp, thuật toán khác nhau nhằm tạo khả năng tuỳ biến cho người sử dụng cũng như cho hệ thống giám sát chung. Sau đây sẽ trình bày chi tiết các khối xử lý và thuật toán áp dụng trong từng khối xử lý đó. 3.3.1. Khối chính xác hoá đối tượng tương ứng Mô hình hóa đối tượng tương ứng dựa vào khoảng cách theo hình vẽ dưới đây: TẤT CẢ CÁC ĐỐI TƯỢNG Op TRONG ẢNH In-1 TẤT CẢ CÁC ĐỐI TƯỢNG Oi TRONG ẢNH In ĐỐI TƯỢNG Op GẦN VỚI ĐỐI TƯỢNG Oi ? ĐỐI TƯỢNG Op THỰC SỰ TƯƠNG ỨNG VỚI ĐỐI TƯỢNG Ok ? SO SÁNH SỰ TƯƠNG ỨNG Oi VÀ Ok VỚI Op? CẬP NHẬT TẤT CẢ CÁC ĐỐI TƯƠNG ỨNG ĐỐI TƯỢNG Op TƯƠNG TỰ VỚI ĐỐI TƯỢNG Oi ? ĐỐI TƯỢNG TIẾP THEO CỦA In ? KHAI BÁO ĐỐI TƯỢNG TƯƠNG ỨNG ĐẦU TIÊN ? Oi LÀ ĐỐI TƯỢNG MỚI PHÙ HỢP HƠN? LƯU ĐỐI TƯỢNG CŨ TUƠNG ỨNG NO YES YES YES YES NO NO NO END NO YES Hình 3-19: Mô hình hoá thuật toán chính xác hoá đối tượng tương ứng Mô tả chi tiết thuật toán chính xác hóa đối tượng Bước đầu tiên trong thuật toán theo vết đối tượng là xác định chính các các đối tượng trong ảnh trước để phát hiện đối tượng mới trong ảnh hiện tại . Lưu đối tượng tương ứng của các đối tượng trong đồ thị bi-partite G(m, n), trong đó điểm biểu diễn đối tượng và cạnh biểu diễn sự tương ứng giữa hai đối tượng. Trong G(m, n), m là số đối tượng đã có trước, n là số đối tượng mới. Đồ thị xác định đối tượng tương ứng như hình 3-20 sau: NHỮNG ĐỐI TƯỢNG ĐÃ CÓ TRƯỚC Op . . . . NHỮNG ĐỐI TƯỢNG MỚI Os . . . Hình 3-20:Biểu đồ xác định chính xác đối tượng tương ứng Để xác định chính xác đối tượng, chúng ta đưa ra danh sách các đối tượng đã có và các đối tượng mới để đánh giá sự phù hợp tương ứng của chúng. Với mỗi đối tượng có trước , ta sẽ kiểm tra đối tượng mới trong danh sách những đối tượng mới có gần với hay không. Hai đối tượng gần nhau nếu khoảng cách giữa hai tâm của hai đối tượng nhỏ hơn một hằng số cho trước. Với hai khung hình liên tiếp nhau thì độ dịch chuyển của các đối tượng là nhỏ. Hai đối tượng có tâm và gần nhau nếu thỏa mãn điều kiện: (3.24) Trong đó Dist() là hàm khoảng cách được tính theo công thức Ơclit: (3.25) Nếu và là hai đối tượng gần nhau, ta kiểm tra mức độ tương tự của hai đối tượng này nhằm cải tiến việc xác định chính xác đối tượng. Hai đối tượng tương tự nhau nếu thỏa mãn tỉ lệ về kích thước: hoặc (3.26) Trong đó lần lượt là kích thước của các đối tượng và , và là ngưỡng được định nghĩa trước. Tuy nhiên lại có thể xảy ra trường hợp một đối tượng trước đó tương ứng với nhiều đối tượng mới. Do đó cần kiểm tra kĩ hơn xem đối tượng có thực sự chính xác hay không. Nếu đối tượng không có đối tượng tương ứng, chúng ta liên kết điểm tương ứng trong đồ thị bi-partite G(m, n) và tiếp tục với đối tượng mới , nhưng nếu có đối tượng tương ứng , chúng ta thực hiện thêm một bước để kiểm tra sự nhập nhằng giữa hai đối tượng và . Để giải quyết sự nhập nhằng giữa và cần so sánh mức độ tương ứng của với và với . Từ đó quyết định xem hay là đối tượng chính xác phù hợp với . Sự tương ứng được so sánh bằng khoảng cách giữa tâm điểm của và với và . Lấy dpi là khoảng cách giữa hai điểm và , và dpk là khoảng cách giữa hai điểm và . tương ứng với nếu , tương ứng với nếu . Có thể sử dụng phương pháp mạnh hơn như so sánh biểu đồ màu, tuy nhiên trong thực nghiệm sử dụng khoảng cách cho kết quả thực hiện là tốt. Sự tương ứng giữa đối tượng có trước và đối tượng mới được chia thành năm trường hợp như sau: 1. Một - một: Một đối tượng có trước tương ứng với đối tượng mới duy . 2. Một - nhiều: Một đối tượng có trước tương ứng với nhiều đối tượng mới. Giải quyết vấn đề nhập nhằng bằng cách so sánh khoảng cách tương ứng giữa các đối tượng. 3. Một – không: Một đối tượng có trước không tương ứng với bất cứ đối tượng mới nào. Trường hợp này xảy ra khi một đối tượng biến mất từ cảnh hoặc một đối tượng bị che khuất bởi một đối tượng khác. Nếu đối tượng bị che khuất thì sẽ được lưu trữ cho đến khi các đối tượng này tách nhau ra. Ngược lại, sẽ bị xoá khỏi danh sách các đối tượng có trước. 4. Không - một: Một đối tượng mới không tương ứng với bất cứ đối tượng nào trong danh sách các đối tượng đã có trước đó. Trường hợp này xảy ra khi một đối tượng mới đưa vào cảnh hoặc các đối tượng nhập nhằng tách nhau ra. Nếu là đối tượng hoàn toàn mới thì sẽ được lưu vào danh sách các đối tượng được theo dõi. 5. Nhiều - một: Một đối tượng mới tương ứng với nhiều đối tượng trong danh sách các đối tượng đã có trước. 3.3.2. Khối xử lý nhập nhằng giữa các đối tượng Các phương pháp phát hiện đối tượng không giải quyết được trong các trường hợp có sự nhập nhằng. Do đó ta sử dụng giải pháp đơn giản để phát hiện ra các đối tượng nhập nhằng và nhận dạng các đối tượng tách nhau ra hay các đối tượng hợp lại với nhau. 3.3.2.1. Phát hiện đối tượng kết hợp Ta sử dụng giả thiết đơn giản trong vấn đề phát hiện có sự nhập nhằng. Nếu đối tượng biến mất, cần kiểm tra đối tượng mới có hình bao chồng lên hay không và đối tượng nào tương ứng với đối tượng trước đó. Trong trường hợp này, và nhập nhằng với nhau và hình thành một đối tượng mới . Sau khi phát hiện, đối tượng không bị xoá khỏi danh sách các đối tượng đã có trước đó mà đánh dấu là đối tượng có sự nhập nhằng. Ta tạo ra một nhóm nhập nhằng từ các đối tượng có sự nhập nhằng và gắn ID mới cho những đối tượng này. Đồng thời lưu trữ biểu đồ màu của các đối tượng này để xác định chúng khi chúng tách nhau ra. Dưới đây là mô hình các đối tượng hợp lại với nhau. Hình 3-21: Mô hình các đối tượng kết hợp với nhau 3.3.2.2. Phát hiện các đối tượng tách nhau ra Việc phát hiện một đối tượng tách nhau ra tương tự như phát hiện sự nhập nhằng. Đối tượng mới xuất hiện, kiểm tra xem đối tượng đã có trước đó có hình bao chồng lên đối tượng hay không và có cùng ID của nhóm nhập nhằng với một đối tượng mới khác không. Ta sẽ kiểm tra danh sách những đối tượng đã có trước đó mà có cùng ID với không. Giả sử tìm được có ID giống với có nghĩa là và bị nhập nhằng với một đối tượng khác đã có trước đó. Theo vết hai đối tượng TO = {, } và 2 đối tượng mới NO = {, } và xác định xem đối tượng nào trong tập TO tương ứng với đối tượng nào trong tập NO. 3.3.2.3. Xác định nhập nhằng dựa vào biểu đồ màu Cần xác đinh sự tương ứng của các đối tượng trong tập TO với các đối tượng trong tập NO. Tuy nhiên nếu dựa vào vị trí, khoảng cách để xác định sự tương ứng giữa các đối tượng sẽ không khả quan, do đó ta so sánh biểu đồ màu của các đối tượng nhập nhằng có trước đó với biểu đồ màu của các đối tượng mới Khoảng cách giữa hai biểu đồ màu và với N bins được tính theo công thức sử dụng độ đo L1: (3.27) Lưu hai biểu đồ màu cho mỗi đối tượng, một biểu đồ màu cho “upper body” và một biểu đồ màu cho “lower body”, sau đó tính tổng khoảng của hai biểu đồ màu tương ứng với từng đối tượng theo công thức sau: (3.28) Các đối tượng có khoảng cách biểu đồ màu nhỏ nhất sẽ tương ứng với nhau. Biểu đồ màu của các đối tượng trước và sau khi có sự nhập nhằng được mô tả như hình sau: A sau nhập nhằng B sau nhập nhằng A trước nhập nhằng 0.283165 0.467758 B trước nhập nhằng 0.358641 0.241878 (g) Hình 3-22 :Giải quyết nhập nhằng với biểu đồ màu (a)Ảnh trước khi xảy ra nhập nhằng, (b) Ảnh sau khi xảy ra nhập nhằng, (c) Biểu đồ màu của đối tượng A trước khi nhập nhằng, (d) Biểu đồ màu của đối tượng B trước khi nhập nhằng, (e) Biểu đồ màu của đối tượng A sau khi nhập nhằng, (f) Biểu đồ màu của đối tượng B sau khi nhập nhằng, (g) Bảng khoảng cách biểu đồ màu của đối tượng A và B. Hình chỉ ra các đối tượng và biểu đồ màu của các đối tượng đó trước và sau khi xảy ra nhập nhằng. Những đối tượng có khoảng cách biểu đồ màu nhỏ nhất sẽ tương ứng với nhau. Như vậy sự nhập nhằng có thể giải quyết được thông qua việc sử dụng biểu đồ màu. 3.3.3. Khối dự đoán chuyển động của đối tượng Từ ưu điểm và nhược điểm của các thuật toán đã trình bày trong chương hai, chúng tôi trình bày chi tiết cách áp dụng thuật toán Kalman Filter, Mean – shift và SSD vào bài toán dự đoán chuyển động của đối tượng trong hệ thống giám sát thông minh. 3.3.3.1. Áp dụng thuật toán Kalman Filter, Mean – shift, SSD vào bài toán dự đoán chuyển động của đối tượng Thuật toán Kalman Filter đặc biệt chú ý đến tâm của đối tượng và tỉ lệ kích thước của đối tượng trong mỗi khung hình. Mục tiêu của thuật toán là dự đoán chính xác vị trí của các đối tượng trong khung hình tiếp theo. Bộ SSD(Sum of Squared Difference) dựa vào sự tương ứng của mỗi đối tượng từ khung hình này sang khung hình khác để xác dịnh vị trí của đối tượng tượng trong khung hình tiếp theo. Bộ MS(Mean - Shift) dựa vào các thuộc tính của đối tượng như màu sắc, dự đoán chuyển động của đối tượng nếu trong quá trình chuyển động đối tượng có sự thay đổi về hình dạng và kiểu dáng. Tuy nhiên bộ MS lại gặp khó khăn khi khoảng dịch chuyển của đối tượng là lớn và có sự nhập nhằng. Do đó sử dụng những ưu điểm của mỗi thuật toán để thu được kết quả dự đoán tốt nhất. Các giá trị dự đoán thu được bằng cách kết hợp các module được sử dụng trong quá trình ước lượng trạng thái của thuật toán Kalman Filter. Biểu diễn không gian trạng thái của bộ theo dõi được đưa vào thuật toán Kalman Filter như sau: (3.29) Trong đó là vị trí của đối tượng tại thời điểm t, là tỉ lệ tại thời điểm t và là nhiễu Gausse trắng. Phương trình liên kết các trạng thái và các độ đo tại thời điểm t là: (3.30) Trong đó là vận tốc chuyển động của đối tượng, là hệ số co giãn (bằng tỉ lệ của đối tượng tại thời điểm t chia cho tỉ lệ của đối tượng tại thời điểm t - 1), là nhiễu Gausse trắng. Quãng đường dịch chuyển chuyển ut thu được thông qua module SSD-MS, hệ số tỉ lệ thu được từ dự đoán chuyển động có tham số. Quá trình xử lý của hệ thống được mô tả như hình sau: BỘ THEO DÕI SSD BỘ THEO DÕI MEAN-SHIFT LINEAR KALMAN FILTER CẬP NHẬT MÔ HÌNH ĐÍCH Dự đoán vị trí và tỉ lệ đối tượng Khoảng dịch chuyển hoặc tỉ lệ Ft Ft+1 ĐỊNH NGHĨA ĐỐI TƯỢNG(Mô hình đích) ở khung hình 1 Hình 3-23: Hệ thống dự đoán chuyển động của đối tượng dựa vào mô hình SSD - MS Sau đây sẽ trình bày chi tiết từng module trong mô hình trên. 3.3.3.1.1. Dự đoán các tham số chuyển động của đối tượng trong mô hình SSD – MS Bộ theo dõi đối tượng sẽ xác định vị trí của đối tượng trong khung hình tiếp theo dựa vào khoảng cách nhỏ nhất giữa vị trí đích và các đối tượng ứng viên trong khung hình. Bộ theo dõi SSD rất ưu việt trong trường hợp khoảng dịch chuyển của đối tượng lớn nhưng có ít thay đổi hình dạng trong hai khung hình liên tiếp. Tuy nhiên trong thực tế hình dạng của các đối tượng thường thay đổi theo thời gian. Bộ SSD điển hình, ứng viên được lựa chọn sẽ trở thành mục tiêu trong thời gian tiếp theo. Đưa ra dự đoán trạng thái ở thời điểm quá khứ, dự đoán khoảng cách dịch chuyển dựa vào công thức SSD là: (3.31) Trong đó và là hai ảnh liên tiếp, là hệ số tỉ lệ trong khung hình trước, W là cửa sổ tìm kiếm, D là chuẩn hỗ trợ trừ ảnh. Đây là bước dự đoán khoảng dịch chuyển ban đầu được sử dụng cho việc khở tạo bộ theo dõi MS. Mô hình màu sắc mục tiêu là với , được kết hợp từ m bins trong một số không gian màu thích hợp (ví dụ như RGB hay Hue-Saturation). Nó được khởi tạo ngay từ lúc bắt đầu quá trình theo vết đối tượng. Đồ thị ứng viên p(x, s), ở vị trí x và tỉ lệ s trong khung hình hiện tại được xác định như sau: (3.32) Trong đó k(x) là hàm lồi và đơn điệu giảm với độ hỗ trợ D, là hàm Kronecker delta, và hàm b(x) {1, … , m} là số bin màu ở điểm ảnh x trong khung hình hiện tại. Khi độ tương tự được đo bởi hệ số Bhattacharyya, độ hội tụ hướng tới vị trí gần nhất được đưa ra từ module mean –shift. Trong trường hợp này, độ nghiêng gradient ở thời điểm t được khởi tạo và quá trình xử lý như sau: Đưa ra vị trí hiện tại yo và tỉ lệ s, cần tính biểu đồ ứng viên P(yo, s) và hệ số Bhattacharyya . Xác định vị trí ứng viên (3.33) Trong đó trọng số ở vị trí x là: (3.34) Nếu thì Nếu thì dừng Ngược lại thay và lặp lại bước 2 Đưa ra dự đoán khoảng dịch chuyển . Cuối cùng, hai thực thể liên kết với khoảng cách này trong ma trận thống kê (4.2) được chọn là: (3.35) 3.3.3.1.2. Độ lớn tỉ lệ Tỉ lệ của đối tượng là một tham số rất quan trọng trong theo vết đối tượng. Thông thường tỉ lệ của đối tượng thay đổi là do máy quay thay đổi tỉ lệ phóng to, thu nhỏ. Tỉ lệ thay đổi được tính thông qua các tham số liên quan đến chuyển động của đối tượng giữa các khung hình hiện tại và khung hình tiếp theo. Các tham số có thể ước lượng trong [8]. Nếu ma trận 2x2 là phần mô hình chuyển động tuyến tính được ước lượng tại thời điểm t, khi đó hệ số phóng to, thu nhỏ là: (3.36) Thực thể liên kết với độ đo này trong ma trận thống kê của mô hình quan sát được thiết lập bởi một hằng số nhỏ. 3.3.3.1.3. Cập nhật mô hình mục tiêu Cập nhật mô hình là vấn đề chủ chốt trong theo vết đối tượng. Thuật toán mean – shift làm giảm đáng kể khi sự xuất hiện của các đối tượng thay đổi theo thời gian. Trong trường hợp này biểu đồ màu thu được từ việc định nghĩa mục tiêu từ sự tương quan khung hình đầu tiên với quan sát hiện tại của đối tượng được theo vết. Để duy trì hiệu quả của bộ theo dõi mean – shift trong kịch bản, nhất thiết phải cập nhật mô hình trong khi theo vết đối tượng. Cập nhật mô hình giúp bộ theo dõi thực hiện tốt trong điều kiện ảnh nền lộn xộn và sự xuất hiện của đối tượng thay đổi. Trong hệ thống khoảng cách Bhattacharyya, khoảng cách giữa mô hình mục tiêu và mô hình ở vị trí hiện tại được dự đoán thông qua Kalman Filer. Quá trinh cập nhật được định nghĩa là: (3.37) Trong đó là hệ số thực dương, chỉ ra tốc độ cập nhật mô hình. có giá trị phổ biến trong các thực nghiệm là 10. 3.3.3.1.4. Tổng kết thuật toán SSD - MS Thuật toán được tổng kết như sau. Đưa ra mô hình màu tham chiếu trước đó và dự đoán trạng thái trước với thống kê lỗi : Khoảng cách tính dựa vào SSD, u(t,ssd) theo công thức (3.31) Khoảng cách này đúng với MS, khởi tạo và mô hình màu tham chiếu , thu được khoảng cách cuối cùng . Ước lượng chung chuyển động liên quan thông qua các ảnh và thu được tỉ lệ mới theo công thức (3.36). Sử dụng khoảng và tỉ lệ và , cập nhật các trạng thái bằng Kalman filter, đưa ra với thống kê lỗi . Cập nhật mô hình màu theo công thức (3.37) để thu được . Trạng thái ban đầu trong khung hình 3-23, mô hình màu tương ứng là . 3.4. Kết chương Như vậy với mỗi bài toán cụ thể chúng tôi đã đề xuất và lựa chọn phương pháp giải quyết. Các bài toán tuy độc lập song kết quả đầu ra và đầu vào của mỗi bài toán quyết định đến hiệu quả của bài toán kia. Phương pháp giải quyết bài toán được chúng tôi đề xuất hoàn toàn dựa trên những cơ sở lý thuyết chung tôi tìm hiểu được. Trong chương tiếp theo chúng tôi tiến hành cài đặt và thực nghiệm để từ đó kiểm chứng và minh họa cho những luận điểm được trình bày ở trên. CHƯƠNG 4 THỰC NGHIỆM Trong quá trình nghiên cứu và phát triển vấn đề phát hiện, phân loại đối tượng chuyển động chúng tôi đã thực hiện cài đặt và tiến hành thực nghiệm nhằm nghiên cứu và minh họa trực quan bài toán xử lý hình ảnh trong hệ thống giám sát. Ngoài việc thiết lập cơ sở dữ liệu thực nghiệm chúng tôi thực hiện các thực nghiệm chính sau: Thực nghiệm về việc áp dụng các thuật toán xử lý khác nhau cho module phát hiện đối tượng chuyển động Thực nghiệm module phát hiện đối tượng chuyển động trong các môi trường giám sát theo dõi khác nhau Thực nghiệm theo dõi đối tượng cụ thể: thực nghiệm chính xác hóa đối tượng, xử lý nhập nhằng giữa các đối tượng chuyển động và thực nghiệm vẽ đường đi của đối tượng chuyển động. 4.1. Môi trường thực nghiệm Chương trình được viết bằng ngôn ngữ C# phát triển trên môi trường .NET Framework. Được thử nghiệm trên hệ điều hành Windows XP SP2, máy tính PC tốc độ 1.5 GHz, bộ nhớ 512MB RAM. Các thiết bị và phần mềm hỗ trợ thực nghiệm: USB PC Camera (SN9C120) Phần mềm thu và nén và hiệu chỉnh video: Video Impression 2 Điều kiện môi trường thực nghiệm được tiến hành trong nhà và ngoài trời nhằm đánh giá các phương pháp xử lý, ngoài ra chúng tôi còn thực hiện thực nghiệm trong các điều kiện khác có nhiều nhiễu như ánh sáng thay đổi liên tục, đối tượng tạo bóng trong khung hình,… 4.2. Dữ liệu thực nghiệm Trong phần xây dựng dữ liệu thực nghiệm cho bài toán, chúng tôi đã tiến hành thu các đoạn hình ảnh các đối tượng chuyển động trong các điều kiện quan sát khác nhau nhằm đưa ra các đánh giá khách quan, trung thực nhất về bài toán này. Chúng tôi thực hiện phân loại các dữ liệu thực nghiêm thành hai loại: Dữ liệu thực nghiệm cho module phát hiện đối tượng chuyển động Các đoạn hình ảnh gây ít nhiễu Các đoạn hình ảnh gây nhiều nhiễu Dữ liệu thực nghiệm cho module theo dõi đối tượng chuyển động Đoạn hình ảnh thực nghiệm chính xác hóa đối tượng tương ứng Đoạn hình ảnh thực nghiệm về sự nhập nhằng giữa chuyển động giữa các đối tượng khác nhau Đoạn hình ảnh thực nghiệm vẽ đường chuyển động của đối tượng 4.2.1. Dữ liệu thực nghiệm cho module phát hiện đối tượng chuyển động 4.2.1.1 Các dữ liệu trong điều kiện quan sát ít nhiễu Dữ liệu hình ảnh được chúng tôi thu trong nhà, nơi có điều kiện ánh sáng, khung cảnh ổn định. Với các đối tượng chuyển động từ đơn giản đến phức tạp. Cụ thể sẽ là các đoạn hình thu hình ảnh của một và hai người chuyển động trong đoạn video để làm đầu vào thực nghiệm cho chương trình. Hình ảnh minh họa cho dữ liệu này có thể được thấy dưới đây: (a) (b) Hình 4-1: Hai đoạn phim trong điều kiện ít nhiễu Đoạn phim một đối tượng chuyển động Đoạn phim hai đối tượng chuyển động Ngoài ra, để đánh giá hiệu quả của phương pháp chênh lệch tạm thời trong module phát hiện đối tượng chuyển động, chúng tôi thực hiện thực nghiệm với hai đoạn phim quay một đối tượng chuyển động với vận tốc khác nhau. Đoạn phim đầu được thực hiện với một đối tượng chuyển động rất chậm, ít thay đối. Đoạn phim thứ hai được thực hiện với một đối tượng chuyển động nhanh hơn. Cả hai đoạn phim được thực hiện trong điều kiện, hoàn cảnh như nhau. Hình 4-2: Đối tượng trong hình bao màu đỏ là đối tượng chuyển động được quan sát 4.2.1.2. Các dữ liệu trong điều kiện quan sát nhiều nhiễu Dữ liệu hình ảnh được chúng tôi thu trong nhà và ngoài trời trong điều kiện ánh sáng thay đổi liên tục và cá nhiễu do môi trường quan sát. Với các đối tượng chuyển động từ đơn giản đến phức tạp. Cụ thể sẽ là các đoạn hình thu các đối tượng chuyển động như minh họa dưới đây. (a) (b) Hình 4-3: Hai đoạn phim trong điều kiện nhiều nhiễu a. Ba khung hình trong đoạn video với điều kiện ánh sáng thay đổi liên tục được quay trong nhà (nhiễu nhân tạo) b. Đoạn phim thu một con thuyền chuyển động trong điều kiệnngoài trời 4.2.2. Dữ liệu thực nghiệm cho module theo dõi đối tượng chuyển động 4.2.2.1. Dữ liệu thực nghiệm chính xác hóa đối tượng chuyển động Dữ liệu thực nghiệm chức năng này là cảnh phim quay hai đối tượng chuyển động nhằm thực nghiệm quá trình chính xác hóa đối tượng tương ứng. Kiểm tra sự tương ứng trong chuyển động, cụ thể đó là việc đánh số tương ứng trong chuyển động phù hợp qua các khung hình khác nhau. Đoạn video này được minh họa ở hình 4-1.b. 4.2.2.2. Dữ liệu thực nghiệm về sự nhập nhằng trong chuyển động của nhiều đối tượng Dữ liệu thực nghiệm cho chức năng phát hiện và xử lý nhập nhằng trong đa chuyển động được thực hiện đoạn phim có hai đến ba đối tượng chuyển động nhập nhằng. Từ đó minh họa hoàn cảnh xảy ra nhập nhằng và quá trình xử lý nhập nhằng trong module theo dõi đối tượng chuyển động. Ảnh dưới minh họa cho dữ liệu trong đoạn phim nhiều đối tượng chuyển động chồng chéo nhau. (a) (b) Hình 4-4: Đoạn phim hai đối tượng chuyển động chồng chéo Trước khi chồng chéo chuyển động 2 đối tượng trong hình chữ nhật đỏ chuyển động chồng chéo với nhau. 4.2.2.3. Dữ liệu thực nghiệm vẽ đường chuyển động của đối tượng Chúng tôi xây dựng hai đoạn phim thực nghiệm vẽ đường đi của một đối tượng chuyển động. Đoạn phim thứ nhất chúng tôi thực hiện quan sát đối tượng chuyển động đơn giản (chuyển động thẳng). Đoạn phim thứ hai quan sát đối tượng chuyển động phức tạp hơn (chuyển động cong, gấp khúc, không liên tục). Hình 4-5: Vẽ đường đi đối tượng chuyển động Đối tượng chuyển động thằng Đối tượng chuyển động cong 4.3. Cài đặt và thực nghiệm 4.3.1. Cài đặt chương trình Chúng tôi đã thực hiện cài đặt một số chức năng cho chương trình Motion Detector để thực nghiệm minh họa cho một số nghiên cứu: Cài dặt và sử dụng thư viện xử lý ảnh Aforge.Imaging, thư viện toán học Aforge.Math Lớp Difference thực hiện việc xử lý trừ ảnh giữa hai ảnh được đưa vào Lớp Threshold định nghĩa, thực hiện việc đưa ra ngưỡng xử lý Lớp Erosion được cài đặt để làm mịn, lọc nhiễu minh họa cho khối xử lý làm sạch Ngoài ra chúng chúng tôi cài đặt một số chức năng nhằm đưa ra vết, vùng, đường đi của đối tượng chuyển động: Lớp MotionDetector1: Thực hiện xử lý đưa ra vết chuyển động của đối tượng dựa trên thuật toán chênh lệch tạm thời Lớp MotionDetector2: Thực hiện xử lý bao khít đối tượng chuyển động Lớp MotionDetector3: Thực hiện xử lý bao đối tượng bằng các khối chữ nhật nhỏ Lớp MotionDetector4: Thực hiện xử lý bao đối tượng bằng một hộp chữ nhật lớn, và thực hiện đếm số đối tượng chuyển động Lớp MotionTracking: Thực hiện bao đối tượng chuyển đông và vẽ đường đi của đối tượng chuyển động. Các lớp trên đều kế thừa giao diện ImotionDetetor Việc xử lý phát hiện vùng ảnh nổi được thực hiện dựa trên hai mô hình: - Mô hình chênh lệch tạm thời (được minh họa trong lớp MotionDetector1) - Mô hình ảnh nền (được minh họa trong lớp MotionDetector2, 3, 4) 4.3.2. Giao diện chương trình Đưa dữ liệu đầu vào cho bài toán phát hiện đối tượng chuyển động Giao diện chính của hệ thống Các chức năng của chương trình Đường đi đối tượng Hình ảnh chuyển động đối tượng Tọa độ chuyển động Hình 4-6: Giao diện chương trình thực nghiệm 4.3.3. Kết quả thực nghiệm Sau khi tiến hành thực nghiệm với các dữ liệu thực nghiệm được xây dựng ở trên chúng chúng tôi thu được một số kết quả cụ thể như sau: 4.3.2.1. Thực nghiệm 1: Phát hiện đối tượng chuyển động 4.3.2.1.1. Với dữ liệu trong điều kiện quan sát ít nhiễu Chương trình thực hiện tốt với các dữ liệu ít nhiễu.Dùng một số dạng bao đối tượng chuyển động như bao bởi hình chữ nhât, bao bởi đường viền. Chương trình đưa ra một số kết quả đầu ra được minh họa bằng các hình đưới đây. Với một đối tượng chuyển động: Hình 4-7 : Bao đối tượng chuyển động bằng hình bao viền Hình 4-8: Bao đối tượng chuyển động bằng hình bao chữ nhật Với 2 đối tượng chuyển dộng Hình 4-9: Hình bao hộp chữ nhật với hai đối tượng chuyển động Kết quả thực hiện lấy vết đối tượng chuyển động với phương pháp chênh lệch tạm thời (a) (b) Hình 4-10: Lấy vết đối tượng chuyển động a. Với đối tượng chuyển động chậm, ít thay đổi b. Với đối tượng chuyển đông nhanh 4.3.2.1.2. Với dữ liệu trong điều kiện quan sát nhiều nhiễu (a) (b) Hình 4-11: Kết quả thu được trong điều kiện quan sát nhiều nhiễu Trong điều kiện ánh sáng thay đổi liên tục Trong điểu kiện ngoài trời, khung cảnh có nhiều thay đổi nhỏ 4.3.2.2. Thực nghiệm 2: Theo dõi đối tượng chuyển động 4.3.2.2.1. Chính xác hóa đối tượng Kết quả thực nghiệm chính xác hóa đối tượng trong đoạn phim hai đối tượng chuyển động được thể hiện trong hình vẽ dưới: (a)Đánh số đối tượng trong những khung hình đầu (b)Đánh số tương ứng trong các khung hình tiếp theo Hình 4-12: Tương ứng chính xác các đối tượng Thực nghiệm cho kết quả hai đối tượng được tương ứng chính xác qua các khung hình. Đối tượng 1 được chính xác với đối tượng thực được đánh dấu ban đầu. 4.3.2.2.2. Các vấn đề về chuyển động chồng chéo, nhập nhằng Từ kết quả thực nghiệm với các đoạn phim nhiều đối tượng chuyển động chồng chéo, chúng tôi thu được kết quả sau: (a) Hai đối tượng chuyển động được hiểu chỉ là một đối tượng chuyển động (b)Tách chuyển động trong khối chuyển động chung Hình 4-13: Xử lý chồng chéo Thực nghiệm cho kết quả phát hiện gộp khối và tách khối chuyển động trong khi thực nghiệm với dữ liệu nhiều đối tượng chuyển động chồng chéo. 4.3.2.2.3. Vẽ đường chuyển động của đối tượng Kết quả thực nghiệm vẽ đối tượng chuyển động: Hình 4-14: Đường đi và tọa độ chuyển động của đối tượng 4.4. Đánh giá kết quả thực nghiệm Qua các kết quả thu được từ thực nghiệm chúng tôi có một số đánh giá nhận xét sau: 4.4.1. Thực nghiệm phát hiện đối tượng chuyển động 4.4.1.1. Các dữ liệu ít nhiễu - Trong điểu kiện ít nhiễu, chương trình đã đưa ra được chính xác đối tượng đang chuyển động. Bằng cách sử dụng một số phương pháp bao đối tượng chuyển động, chương trình đã đưa ra chính xác vùng đối tượng chuyển động kèm với chức năng có thể đếm được số lượng đối tượng chuyển động trong khung hình. Tuy nhiên chương trình chưa thực hiện loại bỏ bóng của vật thể một cách hiệu quả. Do đó các hình bao các đối tượng chưa bao khít đối tượng. Các thuộc tính về vật thể như: trọng tâm khối, diện tích vùng vật thể sẽ không chính xác ảnh hưởng trực tiếp đến kết quả đầu ra của module phát hiện đối tượng chuyển động là đầu vào của các module phân loại và theo dõi đối tượng. - Các đối tượng chuyển động chậm, ít thay đổi, phương pháp chênh lệch tạm thời tỏ ra kém hiệu quả trong việc chỉ ra vết của đối tượng chuyển đông. Song phương pháp này đạt hiệu quả cao với đoạn phim quan sát một đối tượng chuyển động nhanh, thay đổi nhiều. - Với phương pháp dựa trên mô hình ảnh nền, việc phát hiện đối tượng qua thực nghiệm ta có thể thấy rằng chúng khá phù hợp với nhiều hoàn cảnh. Phương pháp này đặt hiệu quả tốt trong những trường hợp đối tượng chuyển động chậm, ít thay đổi. Hơn nữa phương pháp này cho phép ta dễ dàng bao đối tượng bằng các hình bao để có thể dễ dàng thể hiện vùng đối tượng chuyển động với các thuộc tính của nó. 4.4.1.2. Các dữ liệu nhiều nhiễu - Điều kiện quan sát: Các kết quả thực nghiệm cho thấy rằng điều kiện quan sát luôn chứa ẩn rất nhiều nhiễu ngay cả trong điều kiện quan sát trong nhà. Một số nhân tố bên ngoài có thể là nguyên nhân gây ra sự không chính xác trong việc quan sát, phát hiện đối tượng chuyển động. Đối với điều kiên quan sát ngoài trời, thực nghiệm cho thấy đây là môi trường quan sát nhiều nhiễu hơn cả, chứa nhiều nguy cơ tiềm ẩn gây nhiễu. Chỉ một thoáng thay đổi thời tiết (gió, mây, ánh sáng, …) có thể làm cho việc phát hiện đối tượng chuyển động làm việc không chính xác, chất lượng quan sát. Trong điều kiện như thế này module phát hiện đối tượng cần tập trung phát triển việc loại bỏ nhiễu, các nhiễu ảnh nền, các nhiễu ảnh nổi. - Kết quả phát hiện đối tượng chuyển động: Các kết quả quan sát trong điều kiện nhiều nhiễu thường kém chính xác, các đối tượng chuyển động chính vẫn được phát hiện. Song đôi khi các nhiễu trong đoạn phim được quan sát không được loại bỏ, được coi là một đối tượng chuyển động do đó đưa ra kết quả đầu ra không chính xác cho xử lý ở các module tiếp theo. So sánh: Như trình bày trong chương trình phát hiện đối tượng chuyển động này chúng tôi sử dụng hai phương pháp phát hiện vùng ảnh nổi đó là: Phương pháp chênh lệch tạm thời và phương pháp dựa trên một mô hình ảnh nền với kiến trúc được trình bày ở trên. Qua kết quả thực nghiệm chúng tôi đưa ra một số đánh giá về hai phương pháp xử lý này: - Phương pháp chênh lệch tạm thời với tốc độ xử lý nhanh (trung bình là 23 khung hình/1s) đạt hiệu quả tốt với các khung hình quan sát đối tượng chuyển động nhanh. Tuy nhiên phương pháp này hoàn toàn thất bại với các khung hình quan sát các đối tượng chuyển động chậm, ít thay đổi. - Phương pháp dựa trên một mô hình ảnh nền tốc độ xử lý trung bình qua thực nghiệm đó là: 13 khung hình/1s, tốc độ xử lý kém hơn với phương pháp chênh lệch tạm thời. Song phương pháp này cho kết quả tốt trong nhiều trường hợp quan sát kể cả với những trường hợp đối tượng chuyển động chậm, ít thay đổi. 4.4.2. Thực nghiệm theo dõi đối tượng chuyển động Xử lý chính xác hóa đối tượng tương ứng đã đạt được kết quả mong muốn trong nhiều thực nghiệm khác nhau Chuyển động chồng chéo vẫn là vấn đề đáng quan tâm, thực nghiệm trong khóa luận mới chỉ thực hiện ở mức phát hiện chồng chéo. Chương trình vẫn chưa xác định chính xác đối tượng chuyển động trong khối chồng chéo phát hiện được. Qua thực nghiệm chúng tôi đã vẽ được đường đi của một đối tượng chuyển động trong khung hình giám sát. Đồng thời đưa ra tập dữ liệu về tọa độ vị trí đã di chuyển qua của đối tượng chuyển động. KẾT LUẬN Trong thời gian nghiên cứu về hệ thống giám sát thông minh, chúng tôi đã nắm bắt được kiến trúc chung một hệ thống giám sát video thông minh cùng với các kiến thức cơ bản về các quá trình trong việc xử lý hình ảnh. Đó là: phát hiện đối tượng chuyển động, phân loại đối tượng và theo dõi đối tượng. Từ đó chúng tôi cài đặt và tiến hành thực nghiệm đưa ra một số đánh giá cho các phương pháp được lựa chọn Những kết quả chúng tôi đã đạt được và chưa đạt được (hướng phát triển) có thể tổng kết lại dưới đây Các kết quả đã đạt được Chúng tôi đã : Nghiên cứu tổng quan về bài toán giám sát và các vấn đề đặt ra trong hệ thống giám sát thông minh Trình bày một số kỹ thuật giải quyết vấn đề, đề xuất ra giải pháp trên cở sơ vận dụng và hoàn thiện các phương pháp đã có cho vấn đề dặt ra Cài đặt và thực nghiệm giải quyết hai bài toán phát hiện đối tượng chuyển động và theo dõi đối tượng chuyển động. Đưa ra so sánh và đánh giá cho các phương pháp được lựa chọn. Hạn chế Bên cạnh những kết quả đạt được, còn có những vấn đề hạn chế, đó là: Chưa xây dựng hoàn thiện một hệ thống giám sát thông minh, chúng tôi mới giải quyết được khâu cốt lõi của hệ thống đó là xử lý hình ảnh giám sát. Điều kiện quan sát, thiết bị kỹ thuật có ảnh hưởng đến đầu vào bài toán nên những kết quả đạt được vẫn chưa đạt được tốt nhất. Hướng phát triển trong tương lai Hoàn thiện lại module phát hiện và theo dõi đối tượng chuyển động. Đồng thời xây dựng module phân loại đối tượng hướng đến hoàn thiện toàn bộ hệ thống giám sát thông minh. Tích hợp quá trình xử lý hình ảnh giám sát vào hệ thống giám sát thông minh, cụ thể là: Bài toán giám sát giao thông. Nghiên cứu và cải tiến các kỹ thuật giải quyết bài toán nhằm đạt được hiệu quả và tính chính xác cao nhất TÀI LIỆU THAM KHẢO Tài liệu tham khảo tiếng Việt [1] Thế Thị Hường. Kỹ thuật trừ ảnh và ứng dụng. Khoá luận tốt nghiệp Đại học 2005, Đại học Công nghệ - Đại học Quốc Gia Hà Nội [2] Vũ Thị Đào. Kỹ thuật cộng ảnh và ứng dụng. Khóa luận tốt nghiệp Đại Học 2005, Đại học Công Nghệ - Đại Học Quốc Gia Hà Nội Tài liệu tham khảo tiếng Anh [3] Tao Yang, Stan Z.Li, Quan Pan, Jing Li. Real-time Multiple Objects Tracking with Occlusion Handling in Dynamic Scenes. College of Automatic Control, Northwestern Polytechnical University, Xi’an, China ,National Lab of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences, Beijing China [4] Yi˘githan Dedeo˘glu. Moving object detection, tracking and classification for smart video surveillance. A thesis submitted to the department of computer engineering and the institute of engineering and science of bilkent university in partial fulfillment of the requirements for the degree of master of science [5] Project Document: CANDELA DELIVERABLE. State of the art report [6] Nils T Siebel. Design and Implementation of people Tracking Alogrithms or Visual Surveillance Applications. Submited in partial fullilment of the requirements for the degree of Doctor of Philosophy, March 2003 [7] Oncel Tuzel, Fatih Porikli, Peter Meer.A Bayesian Approach to Background Modeling. CS Department ECE Department & Mitsubishi Electric Research Laboratories Rutgers University Cambridge Piscataway [8] Ying Ming Jingjue Jiang, Jun Ming. Background Modeling and Subtraction Using a Local-Linear-Dependence-Based Cauchy Statistical Mode. The research center for spatial information and digital engineering, Wuhan University, Dec. 2003. [9] F. Heijden. Object Recognition and Parameter Estimation. Image Based Measurement Systems Wiley, January 1996. [10] Zhiwei Zhu, Qiang Ji, Kikuo Fujimura. Combining Kalman Filtering and Mean Shift for Real Time Eye Tracking Under Active Illumination. 2002. [11] R.Venkatesh Babu, Patrick Perez, Patrick Bouthemy. Robust Tracking With Motion Estimation And Kernel-Based Color Modelling. 2005 [12] Greg Welch, Gary Bishop, Brenda Ng. An Introduction to the Kalman Filter. 2005. [13] P.Perez, C.Hue, Jvermaak, M.Gangnet. Color-Based Probabilistic Tracking. 2002. [14] Jean Gao, Akio Kosaka, Avinash C.Kak. A multi-Kalman filtering approach for video tracking of human-delineated objects in cluttered environments. [15] Theo Gevers. Multimedia Information Retrieval – Lecture 7. 2003 [16] R´omer Rosales, Stan Sclaroff. Improved Tracking of Multiple Humans with Trajectory Prediction and Occlusion Modeling. 1998 [17] Justus H. Piater. ÌN00013 – Computer Vision – Lecture 17.2003 [18] LYang , H. Sahli , ‘Integration for 3D structure/motion estimation based on line drawings’, Journal of Machine Graphics & Vision, 9, pp.251-261, 2000 [19] G.L. Foresti, C. Micheloni, ‘A robust feature tracker for active surveillance of outdoor scenes’, in Electronics Letters on Computer Vision and Image Analysis,1(1), pp.21-34, 2003. [20] I. Haritaoglu, D. Harwoord, L.S. Davis, ‘W4: real-time surveillance of people and their actions’, IEEE Trans. PAMI, 22, pp. 809-830, 2000. [21] R. E. Kalman, A new approach to linear filtering and prediction problems,Transactions of the ASME--Journal of Basic Engineering, Vol. 82, Series D, 1960 [22] R. Cutler and L.S. Davis. Robust real-time periodic motion detection, analysis and applications. In IEEE Transactions on Pattern Analysis and Machine Intelligence, volume 8, pages 781–796, 2000. [23] F. Heijden. Image Based Measurement Systems: Object Recognition and Parameter Estimation. Wiley, January 1996. [24] A. J. Lipton. Local application of optic flow to analyse rigid versus non-rigid motion. Technical Report CMU-RI-TR-99-13, Robotics Institute, Carnegie Mellon University, Pittsburgh, PA, December 1999. [25] A. J. Lipton, H. Fujiyoshi, and R.S. Patil. Moving target classification and tracking from real-time video. In Proc. of Workshop Applications of Computer Vision, pages 129–136, 1998. [26] L. Wixson and A. Selinger. Classifying moving objects as rigid or non-rigid.In Proc. of DARPA Image Understanding Workshop, pages 341–358, 1998 [27] R. T. Collins et al. A system for video surveillance and monitoring: VSAM fi-nal report. Technical report CMU-RI-TR-00-12, Robotics Institute, Carnegie Mellon University, May 2000.