Luận án Kỹ thuật xử lý vùng quan sát và phát hiện bất thường của các đối tượng trong hệ thống camera giám sát

ng cách bổ sung thêm vào cuối quỹ đạo thu được tọa độ của điểm cuối cùng, điều này 90 có thể cho kết quả không chính xác nếu trường hợp quỹ đạo thu được quá chênh lệch so với quỹ đạo khi huấn luyện. Li [67] sử dụng phương pháp phân tích tái tạo quỹ đạo thưa (SRA) để phát hiện bất thường, họ sử dụng đường cong B-spline bậc ba để xây dựng tập từ điển “bình thường”, với mỗi quỹ đạo kiểm tra họ tính toán lại SRA và so sánh với tập từ điển để xác định đó là quỹ đạo bình thường hay bất thường, khoảng cách được dùng trong SRA là Euclidean. Zhou [121] sử dụng độ đo tương tự dựa vào khoảng cách chỉnh sửa (Edit distance) và các bất thường được phát hiện bằng cách sử dụng phân cụm quang phổ trên các ma trận khoảng cách. Trong thực tế, các quỹ đạo thu nhận được trong quá trình giám sát thường có độ dài khác nhau, Rikard Laxhammar [60] sử dụng khoảng cách Hausdorff để đo độ khác nhau giữa các quỹ đạo có chiều dài tùy ý. Yang và cộng sự [111] đề xuất một mô hình 3 pha nhằm phát hiện bất thường cục bộ, họ sử dụng khoảng cách Hausdorff do García [32] đề xuất để đo độ tương tự giữa các quỹ đạo. Nhìn chung, tùy thuộc vào đặc điểm của mỗi độ đo khoảng cách được sử dụng mà mỗi nghiên cứu đưa ra các cách tiếp cận khác nhau để sử dụng cho phù hợp. Khoảng cách Euclidean luôn yêu cầu các quỹ đạo khi tính toán phải có độ dài bằng nhau nên chúng cần được chuẩn hóa trước khi tính toán. Trong khi đó, khoảng cách Hausdorff không yêu cầu các quỹ đạo phải có độ dài bằng nhau, nhưng nó không xét đến tính thứ tự của các điểm trong quỹ đạo bởi vậy mà có thể xẩy ra trường hợp hai quỹ đạo có hướng khác nhau nhưng lại có độ đo là tương tự. Phần lớn các thuật toán đề xuất dựa trên kỹ thuật phân cụm được thiết kế chủ yếu để phát hiện bất thường trong quỹ đạo hoàn chỉnh, tức là tất cả các 91 điểm dữ liệu từ quỹ đạo được yêu cầu trước khi phân loại nó là bất thường hay không. Điều này rõ ràng là một hạn chế trong ứng dụng giám sát tự động bởi yêu cầu thực hiện trong thời gian thực. Trong phần tiếp theo, luận án đề xuất một kỹ thuật phát hiện bất thường dựa trên quỹ đạo. Ý tưởng chính của đề xuất dựa trên tính chất các tuyến đường có ảnh hưởng nhất định đối với đối tượng di chuyển trên tuyến đường đó, luận án đưa ra cách biểu diễn quỹ đạo chuyển động của đối tượng thành các đoạn dựa vào sự thay đổi tốc độ chuyển động. Bên cạnh đó, luận án cũng đưa ra khái niệm quan hệ liên kết Q và chứng minh quan hệ liên kết này là một quan hệ tương đương, từ đó các tuyến đường được xây dựng dựa vào quan hệ liên kết này. Kỹ thuật đề xuất có thể phát hiện được bất thường ngay cả khi đối tượng chưa hoàn thành quỹ đạo chuyển động, do vậy có thể đáp ứng các hệ thống giám sát video thời gian thực. 3.2. Một số khái niệm, định nghĩa trong mô hình đề xuất  Định nghĩa 3.1 [Quỹ đạo chuyển động] Quỹ đạo chuyển động của đối tượng O là dãy các điểm 𝑡1, 𝑡2, , 𝑡𝑛 thể hiện vị trí tại các thời điểm khác nhau của O, được ký hiệu: 𝑂 = {𝑡1, 𝑡2, , 𝑡𝑛} Nhìn chung, việc thu nhận quỹ đạo chuyển động của đối tượng được thực hiện từ khâu phát hiện đối tượng chuyển động hoặc theo vết đối tượng. Hình 3.2 thể hiện quỹ đạo chuyển động của đối tượng được thu nhận trong quá trình theo vết đối tượng. 92 Hình 3.2. Quỹ đạo chuyển động của đối tượng  Định nghĩa 3.2 [Độ tương tự giữa hai quỹ đạo] Cho hai quỹ đạo 𝐴 = {𝑎1, 𝑎2, , 𝑎𝑛} và 𝐵 = {𝑏1, 𝑏2, , 𝑏𝑚} Khi đó, độ tương tự giữa hai quỹ đạo A, B, kí hiệu là h(A, B) được xác định như sau: ℎ(𝐴, 𝐵) = 𝑚𝑎𝑥{𝑑(𝐴, 𝐵), 𝑑(𝐵, 𝐴)} (3.1) Trong đó, 𝑑(𝐴, 𝐵), 𝑑(𝐵, 𝐴) được tính theo công thức: 𝑑(𝐴, 𝐵) = 𝑚𝑎𝑥{𝑑(𝑎𝑖 , 𝐵): 𝑎𝑖 ∈ 𝐴} (3.2) 𝑑(𝐵, 𝐴) = 𝑚𝑎𝑥{𝑑(𝑏𝑖 , 𝐴): 𝑏𝑖 ∈ 𝐵} (3.3) Với 𝑑(𝑎𝑖 , 𝐵), 𝑑(𝑏𝑖 , 𝐴) được tính theo công thức: 𝑑(𝑎𝑖 , 𝐵) = min {𝑑(𝑎𝑖 , 𝑏𝑗): 𝑏𝑗 ∈ 𝐵} (3.4) 𝑑(𝑏𝑖 , 𝐴) = min {𝑑(𝑏𝑖 , 𝑎𝑗): 𝑎𝑗 ∈ 𝐴} (3.5) Trong đó, 𝑑(𝑎𝑖 , 𝑏𝑗) được tính như sau: 93 𝑑(𝑎𝑖 , 𝑏𝑗) = 𝑑𝑒(𝑎𝑖, 𝑏𝑗) + 𝛾𝑑𝑜(𝑎𝑖 , 𝑏𝑗) (3.6) Trong đó, 𝑑𝑒(𝑎𝑖 , 𝑏𝑗) là khoảng cách Euclidean giữa 𝑎𝑖 và 𝑏𝑗: 𝑑𝑒(𝑎𝑖 , 𝑏𝑗) = √(𝑥𝑖 𝑎 − 𝑥𝑗 𝑏) 2 + (𝑦𝑖 𝑎 − 𝑦𝑗 𝑏) 2 (3.7) 𝑑𝑜(𝑎𝑖 , 𝑏𝑗) được xác định thông qua véc tơ vận tốc 𝑣𝑎𝑖 tại 𝑎𝑖 và 𝑣𝑏𝑗 tại 𝑏𝑗: 𝑑𝑜(𝑎𝑖 , 𝑏𝑗) = 1 − 𝑣𝑎𝑖 . 𝑣𝑏𝑗 |𝑣𝑎𝑖|. |𝑣𝑏𝑗| (3.8) Trong đó, vận tốc tại 𝑎𝑖 và 𝑏𝑗 được xác định: 𝑣𝑎𝑖 = (𝑥𝑖 𝑎 − 𝑥𝑖−1 𝑎 , 𝑦𝑖 𝑎 − 𝑦𝑖−1 𝑎 ) (3.9) 𝑣𝑏𝑗 = (𝑥𝑗 𝑏 − 𝑥𝑗−1 𝑏 , 𝑦𝑗 𝑏 − 𝑦𝑗−1 𝑏 ) (3.10) 𝛾 là tham số nhằm điều chỉnh trọng số của hướng di chuyển.  Định nghĩa 3.3 [Quan hệ liên kết 𝑸𝜽] Cho trước ngưỡng , hai quỹ đạo U, V  T (tập các quỹ đạo) được gọi là quan hệ liên kết theo  và ký hiệu là Qθ(𝑈, 𝑉) nếu tồn tại dãy các quỹ đạo O1, O2, , On sao cho: (i). 𝑈 ≡ 𝑂1 (ii). 𝑉 ≡ 𝑂𝑛 (iii). ℎ(𝑂𝑖 , 𝑂𝑖+1) < 𝜃, ∀ 𝑖, 1 ≤ i ≤ n − 1  Mệnh đề 3.1 Quan hệ liên kết Q là một quan hệ tương đương Chứng minh: (i). Tính chất phản xạ: U  T ta có h(U,U)= 0 < . 94 (ii). Tính chất đối xứng: Giả sử có Q(U, V) cần phải chứng minh Q(V, U). Thật vậy, theo giả thiết tồn tại dãy quỹ đạo O1, O2,..., On sao cho: UO1, VOn, h(Oi, Oi+1) <  i, 1 i n-1 Khi đó, với dãy quỹ đạo Y1, Y2,..., Yn mà: YiOn-i+1 i, 1i n ta có: VY1, UYn, h(Yi,Yi+1) <  i, 1i n-1. Suy ra, Q(V,U) (đpcm). (iii). Tính chất bắc cầu: Giả sử ta có Q(U,V) và Q(V,T) ta cần chứng minh Q(U,T) Thật vậy, vì Q(U,V) nên tồn tại dãy quỹ đạo O1, O2,...,On sao cho: UO1, VOn, h(Xi,Xi+1) <  i, 1i n-1 Do Q(V,T) nên tồn tại dãy quỹ đạo Y1, Y2,...,Ym sao cho: UY1, TTm, h(Yi,Yi+1) <  i, 1i m-1 Khi đó, dãy các quỹ đạo Z1, Z2,...,Zn, Zn+1,..., Zn+m ở đây: Zi  Oi i, 1i n và Zn+i Yi i, 1i  m có các tính chất: UZ1, TZn+m, h(Zi,Zi+1) <  i, 1i n+m-1 Suy ra Q(U,T) (đpcm).  Khái niệm Tuyến đường Quan hệ liên kết 𝑄𝜃 giữa các quỹ đạo là một quan hệ tương đương, nên nó phân lớp các quỹ đạo thành các lớp tương đương. Từ nay về sau ta gọi mỗi lớp tương đương là một tuyến đường. Các quỹ đạo trong cùng một tuyến đường thường được xem là có cùng số điểm biểu diễn. Khi di chuyển trong một khu vực, phần lớn các đối tượng thường đi theo những lộ trình nhất định, xuất phát ở cùng một khu vực và cùng 95 kết thúc khu vực khác, vết của các chuyển động này hình thành lên tuyến đường (Hình 3.3). Hình 3.3. Tuyến đường  Định nghĩa 3.4 [Đường đại diện của tuyến đường] Cho tuyến đường 𝑅 = {𝑂1, 𝑂2, , 𝑂𝑘}, đường đại diện của tuyến đường 𝑅 là 𝑃 = {𝑝𝑖}|(𝑖 = 1. . 𝑛) được xác định như sau: 𝑝𝑖 = { 1 𝑘 ∑O𝑗[𝑡𝑖] 𝑘 𝑗=1 } (3.11) Trong đó, k là số lượng quỹ đạo thuộc tuyến đường 𝑅, n là chiều dài quỹ đạo.  Định nghĩa 3.5 [Độ rộng của tuyến đường] Cho tuyến đường 𝑅 = {𝑂1, 𝑂2, , 𝑂𝑘} và 𝑃 = {𝑝𝑖}|(𝑖 = 1. . 𝑛) là đường đại diện của tuyến đường R. Khi đó, độ rộng tuyến đường R ký hiệu là ℎ𝑅 được xác định như sau: 96 ℎ𝑅 = max 𝑖=1..𝑘 {ℎ(𝑂𝑖 , 𝑃)} (3.12)  Định nghĩa 3.6 [Quỹ đạo bất thường đối với một tuyến đường] Cho 𝑃 = {𝑝𝑖} là đường đại diện của tuyến đường 𝑅 = {𝑂1, 𝑂2, , 𝑂𝑘} và quỹ đạo 𝑇∗ = {𝑡1, 𝑡2, , 𝑡𝑛}, T* được gọi là bất thường đối với R nếu ℎ(𝑇∗, 𝑃) > ℎ𝑅.  Khái niệm bất thường Khi giám sát một khu vực bởi camera, các đối tượng (con người) di chuyển theo các quỹ đạo thường hình thành theo các nhóm nhất định (tuyến đường). Một đối tượng được gọi là chuyển động bất thường nếu nó không thuộc vào bất kỳ nhóm quỹ đạo nào trong số các nhóm quỹ đạo cho trước. Trong luận án này, chúng tôi xác định đối tượng có hành vi bất thường là đối tượng có quỹ đạo chuyển động không thuộc bất kỳ tuyến đường nào trong các tuyến đường cho trước, nói cách khác đó là quỹ đạo bất thường với tất cả các tuyến đường cho trước (tuyến đường bình thường). 3.3. Phân đoạn quỹ đạo Việc phân đoạn quỹ đạo thành các quỹ đạo con đã được đề cập đến trong một số nghiên cứu, tiêu chí phân đoạn quỹ đạo phụ thuộc vào ứng dụng cụ thể. Christine Parent và cộng sự [78] xác định tiêu chí phân đoạn dựa vào việc tìm các điểm mà đối tượng thay đổi trạng thái từ dừng sang chuyển động. Yang [112] dựa vào việc xuất hiện hoặc biến mất của đối tượng trong cảnh quay để phân đoạn. Zheng [119] sử dụng thông tin về tốc độ, gia tốc và tỷ lệ thay đổi tốc độ để phân đoạn quỹ đạo. Vận tốc của các đối tượng khi di chuyển trên một tuyến đường bị ảnh hưởng bởi nhiều yếu tố, trong đó tính chất các tuyến đường có ảnh hưởng nhất định đối với đối tượng di chuyển trên tuyến đường đó. Luận án dựa vào tỷ lệ 97 thay đổi vận tốc của đối tượng chuyển động làm tiêu chí thực hiện phân đoạn. Điểm phân đoạn được xác định là điểm mà ở đó tỷ lệ thay đổi vận tốc 𝑟𝑎𝑡𝑒(𝑣𝑖) vượt qua ngưỡng 𝜗. 𝑟𝑎𝑡𝑒(𝑣𝑖) = 𝑚𝑖𝑛 ( 𝑣𝑖 𝑥 − 𝑣𝑖−1 𝑥 𝑣𝑖−1 𝑥 , 𝑣𝑖 𝑦 − 𝑣𝑖−1 𝑦 𝑣𝑖−1 𝑦 ) (3.13) Trong đó, 𝑣𝑖 𝑥 , 𝑣𝑖 𝑦 tương ứng là vận tốc theo hướng x và hướng y, chúng được tính là khoảng cách giữa hai điểm lân cận trong cùng một khoảng thời gian: 𝑣𝑖 𝑥 = 𝑥𝑖 − 𝑥𝑖−1 và 𝑣𝑖 𝑦 = 𝑦𝑖 − 𝑦𝑖−1 Gọi 𝑠𝑒𝑔 = {𝑠𝑒𝑔1, 𝑠𝑒𝑔2, . . , 𝑠𝑒𝑔𝑢} là vị trí các điểm phân đoạn của quỹ đạo O (1 < 𝑠𝑒𝑔𝑖 < 𝑛, 1 < u < n). Khi đó O sẽ được chia thành u+1 đoạn và được biểu diễn như sau: 𝑂 = {𝑡1, 𝑡2 , 𝑡𝑠𝑒𝑔1 , 𝑡𝑠𝑒𝑔1+1, . . , 𝑡𝑠𝑒𝑔2 , . . , 𝑡𝑠𝑒𝑔𝑢 , 𝑡𝑠𝑒𝑔𝑢+1, , 𝑡𝑛 } Các quỹ đạo: 𝑆𝑂𝑖 = {𝑡1, 𝑡2 , 𝑡𝑠𝑒𝑔𝑖} (1 ≤ 𝑖 ≤ 𝑢) được gọi là các quỹ đạo con của O. Hình 3.4. Quỹ đạo được chia thành các phân đoạn  Định lý 3.1. [Phát hiện bất thường dựa vào quỹ đạo con] Cho P là đường đại diện của một tuyến đường R: 𝑃 = {𝑝1, 𝑝2 , 𝑝𝑛 } 98 với 𝑠𝑒𝑔 = {𝑠𝑒𝑔1, 𝑠𝑒𝑔2, . . , 𝑠𝑒𝑔𝑢} là các điểm phân đoạn của P (1 < 𝑢 < 𝑛). T* là quỹ đạo cần kiểm tra. Khi đó, nếu T* được xác định là là bất thường với quỹ đạo con thứ i (1 ≤ 𝑖 ≤ 𝑢) thì T* là bất thường với mọi quỹ đạo con 𝑙(𝑖 < 𝑙 ≤ 𝑢). Chứng minh: Gọi các quỹ đạo các quỹ đạo con của P là 𝑆𝑃𝑖: 𝑆𝑃𝑖 = {𝑡1, 𝑡2 , 𝑡𝑠𝑒𝑔𝑖} ∈ 𝑃(1 ≤ 𝑖 ≤ 𝑢) Do T* là bất thường với quỹ đạo con thứ i, nên: 𝑑𝑑𝑒𝑡𝑒𝑐𝑡(𝑇 ∗, 𝑆𝑃𝑖) = ℎ(𝑇 ∗, 𝑆𝑃𝑖) > ℎ𝑅 Trong đó ℎ𝑅 là độ rộng tuyến đường mà P đại diện. Giả sử T không là bất thường với quỹ đạo con thứ 𝑙 (𝑖 < 𝑙 ≤ 𝑢) => 𝑑𝑑𝑒𝑡𝑒𝑐𝑡(𝑇 ∗, 𝑆𝑃𝑙) < ℎ𝑅 Mặt khác 𝑑𝑑𝑒𝑡𝑒𝑐𝑡(𝑇 ∗, 𝑆𝑃𝑙) = min{ℎ(𝑇 ∗, 𝑆𝑃𝑙), ℎ(𝑇 ∗, 𝑆𝑃𝑖)} < ℎ𝑅 => ℎ(𝑇∗, 𝑆𝑃𝑙) < ℎ(𝑇 ∗, 𝑆𝑃𝑖) < ℎ𝑅 trái với giả thiết. Do vậy T* là bất thường với mọi quỹ đạo thứ 𝑙 (𝑖 < 𝑙 ≤ 𝑢). Từ định lý 3.1, để phát hiện một quỹ đạo là bất thường hay bình thường, thay vì phải so sánh độ tương tự giữa T* với toàn bộ quỹ đạo P, ta chỉ cần thực hiện so sánh độ tương tự giữa T* với các quỹ đạo con của P. 3.4. Phát hiện bất thường dựa trên phân đoạn tuyến đường Trong phần này, luận án đề xuất một kỹ thuật phát hiện bất thường từ video giám sát dựa trên các phân đoạn của tuyến đường (Hình 3.5). Kỹ thuật đề xuất được chia làm hai pha. Pha thứ nhất nhằm mô hình hóa các chuyển động bình thường. Đầu tiên, các quỹ đạo của các đối tượng chuyển động bình thường (được rút trích từ giai 99 đoạn phát hiện và theo dõi đối tượng chuyển động) được nhóm thành các tuyến đường, thực hiện tính toán đường đại diện cho mỗi tuyến đường. Sau đó, tiến hành phân đoạn đường đại diện của tuyến đường thành các quỹ đạo con dựa vào tỷ lệ thay đổi vận tốc. Pha thứ hai, phát hiện bất thường, với quỹ đạo (chưa hoàn chỉnh) thu được trong quá trình giám sát, tính toán độ tương tự giữa quỹ đạo cần kiểm tra tới các phân đoạn của đường đại diện từng tuyến đường, từ đó quyết định đó là chuyển động bất thường hay bình thường. Hình 3.5. Sơ đồ khối phát hiện bất thường dựa vào các phân đoạn của tuyến đường  Pha thứ nhất: Khởi tạo Ký hiệu:  𝑅 = {𝑅1, 𝑅2, , 𝑅𝑘} là tập các tuyến đường bình thường;  𝑟𝑖 là số lượng quỹ đạo của tuyến đường 𝑅𝑖 với (1 ≤ 𝑖);  𝑂𝑗 𝑖 là các quỹ đạo thuộc tuyến đường 𝑅𝑖; (1 ≤ 𝑖 ≤ 𝑘), (1 ≤ 𝑗 ≤ 𝑟𝑖)  𝑃 = {𝑃1, 𝑃2, , 𝑃𝑘} tập các đường đại diện của các tuyến đường. 𝑃𝑖 là đường đại diện của tuyến đường 𝑅𝑖; 100  𝑆𝑂𝑗 𝑖 là quỹ đạo con thứ j của đường đại diện 𝑃𝑖; 𝑆𝑂𝑗 𝑖 = {𝑃𝑖 (𝑝1, 𝑝2, . . 𝑝𝑠𝑒𝑔𝑗)}  Bước 1: Lập nhóm các quỹ đạo cùng một tuyến đường  Bước 2: Xây dựng đường đại diện của mỗi tuyến đường  Bước 3: Tính giá trị ngưỡng 𝑑𝑚𝑎𝑥 Giá trị ngưỡng 𝑑𝑚𝑎𝑥 được xác định theo công thức dưới đây: 𝑑𝑚𝑎𝑥 = min 𝑖=1..𝑘 { max 𝑗=1..𝑟𝑖 {ℎ(𝑂𝑗 𝑖 , 𝑃𝑖)}} (3.14)  Bước 4: Phân đoạn các đường đại diện tuyến đường.  Pha thứ hai: Phát hiện bất thường dựa vào phân đoạn đường đại diện của tuyến đường. Thuật toán: Abnormal Detecter Based on Sub –Trajectories of Route (ADB-STR) Vào: 𝑢𝑚𝑎𝑥: là số quỹ đạo con lớn nhất của tất cả các tuyến đường k: số lượng tuyến đường 𝑑𝑚𝑎𝑥: giá trị ngưỡng {𝑆𝑂𝑗 𝑖} (𝑖 = 1. . 𝑘); (𝑗 = 1. . 𝑢𝑚𝑎𝑥): tập các quỹ đạo con của các tuyến đường T*: quỹ đạo cần kiểm tra Ra: Giá trị nhị phân Abnormal Thực hiện: j=1; Abnormal=false; While (𝑗 ≤ 𝑢𝑚𝑎𝑥 and Abnormal=false) 𝑑 = min 𝑖=1..𝑘 (ℎ(𝑇∗, 𝑆𝑂𝑗 𝑖)); 101 if (𝑑 > 𝑑max ) then Abnormal=true; j=j+1; End while;  Đánh giá độ phức tạp tính toán Có thể thấy rằng, với mỗi giá trị của j (𝑗 ≤ 𝑢𝑚𝑎𝑥), ta cần tìm d là giá trị độ tương tự nhỏ nhất giữa quỹ đạo T* với các quỹ đạo con thứ j của k tuyến đường. Tổng quát số lần thực hiện việc tìm d là: 𝑢𝑚𝑎𝑥 × 𝑢𝑚𝑎𝑥 × 𝑘, do vậy độ phức tạp tính toán của thuật toán ADB-STR là O(𝑢𝑚𝑎𝑥2 × 𝑘). 3.5. Thực nghiệm Nhằm kiểm chứng kỹ thuật đề xuất, luận án tiến hành thực nghiệm với hai tình huống: trường hợp thứ nhất thực hiện thao tác với dữ liệu quỹ đạo cho trước và trường hợp thứ hai thực hiện với dữ liệu video thu nhận trong quá trình giám sát. 3.5.1. Thực nghiệm với quỹ đạo cho trước Luận án sử dụng bộ dữ liệu quỹ đạo do Piciarelli [83] xây dựng năm 2008, gồm 1000 tập dữ liệu, mỗi tập dữ liệu có 260 quỹ đạo có chiều dài 16 điểm, trong đó 250 quỹ đạo được đánh dấu là bình thường, 10 quỹ đạo bất thường. Chúng tôi chia 260 quỹ đạo thành hai tập: tập thứ nhất gọi là tập huấn luyện gồm 200 quỹ đạo bình thường, tập thứ hai là tập kiểm tra với 60 quỹ đạo, gồm 50 quỹ đạo bình thường và 10 quỹ đạo bất thường. Quá trình thực nghiệm được thực hiện qua hai pha:  Pha thứ nhất:  Bước 1: Lập nhóm các quỹ đạo bình thường Từ 200 quỹ đạo trong tập huấn luyện (Hình 3.6), luận án chia thành 5 nhóm (Hình 3.7) tương ứng với 5 tuyến đường. 102 Hình 3.6. Tập 200 quỹ đạo bình thường (a) (b) (c) (d) 103 (e) (f) Hình 3.7. Phân nhóm các quỹ đạo (a) Tập 200 quỹ đạo; (b) Nhóm 1; (c) Nhóm 2; (d) Nhóm 3; (e) Nhóm 4; (f) Nhóm 5  Bước 2: Tìm đường đại diện của mỗi tuyến đường Đường đại diện của mỗi tuyến đường được xây dựng theo công thức (3.11), kết quả được chỉ ra ở Hình 3.8. Hình 3.8. Đường đại diện của mỗi tuyến đường  Bước 3: Xác định ngưỡng 𝑑𝑚𝑎𝑥 104  Xác định ngưỡng 𝑑𝑚𝑎𝑥 theo công thức (3.14).  Bước 4: Phân đoạn đường đại diện tuyến đường dựa vào sự thay đổi vận tốc Chúng tôi tính toán tỷ lệ thay đổi vận tốc và tìm điểm phân đoạn theo công thức (3.13), kết quả đưa ra như bảng 3.1 dưới đây. Bảng 3.1. Kết quả phân đoạn các đường đại diện của tuyến đường Đường đại diện Route 1 Route 2 Route 3 Route 4 Route 5 Số đoạn 2 2 2 2 2 Vị trí điểm phân đoạn 10 5 5 10 5 Hình 3.9. Kết quả phân đoạn đường đại diện của tuyến đường  Pha thứ hai: Phát hiện quỹ đạo bất thường Trong bước này chúng tôi thực nghiệm 2 phương án. Phương án thứ nhất: Phát hiện bất thường với quỹ đạo hoàn chỉnh, với mỗi quỹ đạo cần kiểm tra, thực hiện tính toán độ tương tự của quỹ đạo đó so với mỗi đường đại diện tuyến đường, nếu các độ tương tự vượt qua ngưỡng 𝑑𝑚𝑎𝑥 thì đó là quỹ đạo bất thường. 105 Kết quả thực nghiệm được chỉ ra ở Hình 3.10. Các quỹ đạo bất thường được phát hiện và biểu diễn bằng màu đỏ. So sánh với kết quả thực nghiệm của Piciarelli [83] và Laxhammar [60], toàn bộ các quỹ đạo bất thường đã được phát hiện. Hình 3.10. Phát hiện các quỹ đạo bất thường Phương án thứ hai: Quỹ đạo kiểm tra là quỹ đạo không hoàn chỉnh. Độ tương tự của quỹ đạo cần kiểm tra tới đoạn tương ứng của của từng tuyến đường được tính được mỗi khi bổ sung thêm một điểm trong quá trình đối tượng di chuyển. Bảng số liệu minh họa dưới đây được xuất từ Matlab khi tính toán độ tương tự của quỹ đạo số 254 với các đoạn của từng tuyến đường. Bảng 3.2. Khảo sát độ tương tự từ quỹ đạo 254 tới các tuyến đường Số điểm trong quỹ đạo Route 1 Route 2 Route 3 Route 4 Route 5 2 0.961359665 1.09034 1.132651 0.442812 0.523435 3 0.953210337 1.071169 1.013279 0.365972 0.478866 4 0.953210337 1.071169 0.999977 0.319593 0.463211 106 Số điểm trong quỹ đạo Route 1 Route 2 Route 3 Route 4 Route 5 5 0.860567775 1.071169 0.97914 0.260875 0.382601 6 0.820442634 1.071169 0.97914 0.260875 0.382601 7 0.75940701 1.071169 0.97914 0.260875 0.382601 8 0.703138912 1.071169 0.97914 0.260875 0.382601 9 0.699365257 1.071169 0.97914 0.365902 0.397552 10 0.74352951 1.071169 0.97914 0.49086 0.515073 11 0.839729784 1.071169 0.97914 0.614718 0.638544 12 0.956424773 1.071169 0.97914 0.726468 0.760365 13 1.07830758 1.071169 0.97914 0.836766 0.88019 14 1.183568886 1.083395 0.97914 0.961544 1.004378 15 1.275541911 1.163894 0.97914 1.084696 1.122798 16 1.385573223 1.266614 0.97914 1.209642 1.247059 Ngưỡng dmax 0.414927566 0.327587 0.445851 0.408382 0.351262 Kết quả cho thấy, đối với tuyến đường Route 1, Route 4, tại điểm thứ 10, độ tương tự của quỹ đạo 254 đối với Route 1 và Route 4 đã vượt qua ngưỡng dmax, tương tự như vậy đối với Route 2, Route 3 và Route 5, tại điểm thứ 5, quỹ đạo 254 đã là bất thường đối với chúng, bởi độ tương tự của quỹ đạo 254 đến các tuyến đường đều đã vượt qua ngưỡng dmax. Kết quả thực nghiệm đối với các quỹ đạo còn lại đều có kết quả tương tự. Như vậy, so với phương án thứ nhất, tất cả các quỹ đạo bất thường đều đã được phát hiện. Hơn nữa, so với kết quả của Piciarelli [83] và Laxhammar [60], phương án đề xuất cho phép xác định quỹ đạo bất thường mà không cần 107 duyệt toàn bộ đường đại diện tuyến đường. Trong trường hợp xấu nhất tại điểm thứ 10 đã phát hiện được bất thường. Tuyến đường Route 1 Route 2 Route 3 Route 4 Route 5 Vị trí điểm phát hiện bất thường 10 5 5 10 5 Kết quả này cho thấy nếu với yêu cầu cần kiểm tra xem một quỹ đạo có là bất thường với một tuyến đường cho trước ta chỉ cần kiểm tra nó với các đoạn con của đường đại diện tuyến đường đó. 3.5.2. Thực nghiệm với dữ liệu thu nhận từ video giám sát Luận án tiến hành thực nghiệm tại khuôn viên Trường đại học Công nghiệp Hà Nội, với dữ liệu thu nhận từ hai camera được gắn cố định trên tường. Trước hết chúng tôi thực hiện xây dựng các quỹ đạo bình thường nhằm tìm ra các tuyến đường trong khu vực giám sát. Hình 3.11 mô tả các tuyến đường bình thường khi các đối tượng di chuyển trong khu vực. Hình 3.11. Các tuyến đường trong khu vực giám sát Sau đó thực hiện kiểm tra với quỹ đạo chuyển động của các đối tượng kiểm chứng. Hình 3.12 minh họa kết quả thực nghiệm, đối tượng có quỹ đạo bất thường (vượt qua hàng rào) được biểu thị bằng màu đỏ. 108 Hình 3.12. Phát hiện bất thường trên dữ liệu video Để đánh giá kết quả thực nghiệm, luận án sử dụng hai tham số Recall và Precision được định nghĩa như sau: MC C NN N  Recall và FC C NN N  Precision Trong đó:  NC là số lượng các bất thường phát hiện chính xác;  NM là số lượng các bất thường không được phát hiện;  NF là số lượng các bất thường phát hiện nhầm. Bảng 3.3. Kết quả đo độ chính xác phát hiện bất thường trên dữ liệu video Video NC NM NF Recall Precision Video 1 11 2 2 0.85 0.85 Video 2 12 2 1 0.86 0.92 Total 23 4 3 0.85 0.88 Trên thực tế, khi thao tác với dữ liệu video giám sát, các yếu tố môi trường như: cường độ sáng thay đổi, nhiễu môi trường, chất lượng thu nhận của camera.. có ảnh hưởng nhiều đến độ chính xác và khả năng phát hiện hết 109 bất thường, bởi vậy những kỹ thuật được sử dụng trong giai đoạn phát hiện đối tượng chuyển động và theo vết đối tượng có luôn vai trò quan trọng để đảm bảo độ chính xác cao. Phát hiện bất thường trong giám sát video hiện rất được quan tâm bởi tính ứng dụng của nó. Đã có nhiều công trình nghiên cứu và nhiều cách tiếp cận được đề xuất, tuy vậy hầu hết đều tập trung vào xử lý, thao tác với quỹ đạo hoàn chỉnh, tức là chuyển động của đối tượng đã được diễn ra, điều này không hợp lý với hệ thống giám sát thời gian thực. Luận án đã đề xuất một kỹ thuật phát hiện bất thường dựa vào quỹ đạo, giải quyết hạn chế đó bằng cách kết hợp giữa phân đoạn các quỹ đạo dựa trên tính chất các tuyến đường có ảnh hưởng nhất định đối với đối tượng di chuyển trên tuyến đường đó, kết hợp với sử dụng độ đo tương tự. Kết quả thực nghiệm cho thấy, kỹ thuật đề xuất có thể phát hiện bất thường ngay cả khi đối tượng chưa hoàn thành quỹ đạo chuyển động. Điều này rất có ý nghĩa khi áp dụng đối với hệ thống thực hiện trong chế độ thời gian thực. 3.6. Kết luận chương 3 Chương này, luận án đã đề xuất một kỹ thuật phát hiện bất thường dựa trên phân đoạn đường đại diện của tuyến đường. Kỹ thuật đề xuất dựa trên tính chất các tuyến đường có ảnh hưởng nhất định đối với đối tượng di chuyển trên tuyến đường đó. Bằng cách kết hợp giữa việc sử dụng độ đo tương tự và phân đoạn đường đại diện của mỗi tuyến đường, kỹ thuật đề xuất có thể phát hiện được bất thường ngay cả khi đối tượng chưa hoàn thành quỹ đạo chuyển động. Kỹ thuật đề xuất được công bố tại Chuyên san của Tạp chí Công nghệ thông tin và Truyền thông năm 2015. 110 KẾT LUẬN Nghiên cứu về hệ thống camera giám sát tự động luôn nhận được nhiều sự quan tâm bởi tính ứng dụng của chúng trong thực tiễn. Trong đó vấn đề về chuyển tiếp camera nhằm theo dõi liên tục đối tượng khi chúng di chuyển qua các vùng quan sát của các camera và phát hiện chuyển động bất thường là bài toán quan trọng trong hệ thống camera giám sát. Luận án đã trình bày những vấn đề tổng quan về hệ thống camera giám sát cùng với các công trình nghiên cứu liên quan giải quyết bài toán chuyển tiếp camera và phát hiện bất thường trong hệ thống camera giám sát. Trên cơ sở những khảo sát, thực nghiệm, luận án đã đề xuất và đạt các kết quả chính sau:  Đề xuất một kỹ thuật phân vùng giám sát cố định cho các camera trong hệ thống camera giám sát dựa trên quan hệ hình học giữa thị trường quan sát của các camera. Kỹ thuật đề xuất giúp giảm số lần tính toán chuyển tiếp camera thông qua việc giảm thiểu các cạnh của đa giác quan sát trong vùng giao nhau giữa các camera trong hệ thống OVL.  Đề xuất kỹ thuật chuyển tiếp camera dựa vào đường ranh giới ảo, kỹ thuật đề xuất giúp xác định chính xác thời điểm thực hiện chuyển tiếp camera, bằng việc tính toán va chạm của đối tượng chuyển động với đường ranh giới ảo trong môi trường 3D.  Đề xuất một kỹ thuật chọn lựa camera khi thực hiện chuyển tiếp, kỹ thuật đề xuất dựa vào hướng di chuyển của đối tượng giúp giảm thiểu số lần thực hiện chuyển tiếp đối với hệ thống camera giám sát, thông qua đó nâng cao được hiệu suất thực hiện của hệ thống.  Đề xuất kỹ thuật phát hiện chuyển động bất thường dựa vào phân đoạn đường đặc trưng của mỗi tuyến đường. Kết quả cho thấy kỹ thuật đề xuất 111 có thể phát hiện được bất thường ngay cả khi đối tượng chưa hoàn thành quỹ đạo chuyển động, tức là đối tượng chưa ra khỏi cảnh quay, điều này rất có ý nghĩa đối với hệ thống giám sát thực hiện trong thời gian thực. Khi giám sát đối tượng bằng camera, quỹ đạo chuyển động của đối tượng chính là vết di chuyển của đối tượng trên mặt phẳng ảnh của camera, điều này mở ra hướng nghiên cứu tiếp theo đó là:  Nghiên cứu phát hiện chuyển động bất thường dựa quỹ đạo, thông qua các kỹ thuật xử lý ảnh đối với quỹ đạo chuyển động của đối tượng thu nhận sau khâu theo vết đối tượng. Đồng thời nghiên cứu các kỹ thuật nhằm nâng cao chất lượng trong giai đoạn phát hiện đối tượng chuyển động và theo vết đối tượng.  Nghiên cứu phát triển các ứng dụng vào các bài toán cụ thể. 112 DANH MỤC CÔNG TRÌNH CỦA TÁC GIẢ 1. Ngô Đức Vĩnh, Đỗ Năng Toàn, Hà Mạnh Toàn (2010). “Một tiếp cận trong phát hiện mặt người dưới sự trợ giúp của camera”, Tạp chí Khoa học và Công nghệ, Đại học Công nghiệp Hà Nội, ISSN 1859 – 3585, số 3.2010, tr. 20 – 24. 2. Ngô Đức Vĩnh, Đỗ Năng Toàn (2013). “Một cách tiếp cận mới giải quyết việc chuyển tiếp các camera trong hệ thống giám sát tự động”, Tạp chí Khoa học công nghệ, Viện hàn lâm Khoa học và Công nghệ Việt Nam, tập 51, số 3, 2013, tr. 279 – 292. 3. Ngô Đức Vĩnh, Đỗ Năng Toàn (2013). “Một thuật toán lựa chọn camera trong hệ thống giám sát tự động”. Kỷ yếu Hội nghị khoa học Quốc gia lần thứ VI: Nghiên cứu cơ bản và ứng dụng CNTT (FAIR 2013), tr. 341 – 347. 4. Ngô Đức Vĩnh, Đỗ Năng Toàn (2014). “Một kỹ thuật phân chia vùng quan sát của các camera trong hệ thống giám sát tự động”. Chuyên san các công trình nghiên cứu, phát triển và ứng dụng Công nghệ thông tin và Truyền thông, Tạp chí Công nghệ thông tin và truyền thông, tập V – 1, số 12 (32), tr. 53 – 60. 5. Ngô Đức Vĩnh, Đỗ Năng Toàn (2015). “Một thuật toán phát hiện bất thường dựa vào quỹ đạo trong giám sát video”. Chuyên san các công trình nghiên cứu, phát triển và ứng dụng Công nghệ thông tin và Truyền thông, Tạp chí Công nghệ thông tin và truyền thông, Kỳ 3, tập V – 1, số 14 (34), tr. 5 – 12. 6. Duc Vinh Ngo, Nang Toan Do, Luong Anh Tuan Nguyen (2016). "Anomaly Detection in Video Surveillance: A Novel Approach Based on Sub-Trajectory", The 15th IEEE International Conference on Electronics, Information, and Communication (ICEIC 2016), Jan – 2016, pp.272 - 275. 113 TÀI LIỆU THAM KHẢO 1. Adam A., Rivlin E., Shimshoni I., and Reinitz D. (2008), "Robust real -time unusual event detection using multiple fixed-location monitors", IEEE Trans. Pattern Anal, 30, pp: 555–560. 2. Alberton R., Carli R., Cenedese A., and Schenato L. (2012), "Multi-agent perimeter patrolling subject to mobility constraints", 2012 American Control Conference, pp: 4498 – 4503. 3. Anan L., Zhaoxuan Y., and Jintao L. (2006), "Video vehicle detection algorithm based on virtual line group", IEEE Asia Pacific Conference, pp: 1148 – 1151. 4. Arsic D., Hristov E., Lehment N., Hornler B., Schuller B., and Rigoll G. (2008), "Applying multi layer homography for multi camera person tracking", Proc. of the ACM/IEEE International Conference on Distributed Smart Cameras (ICDSC), pp: 1 - 9. 5. Bak S., Corvee E., Brémond F., and Thonnat M. (2010), "Person re-identification using spatial covariance regions of human body parts", In 7th IEEE International Conference on Advanced Video and Signal-Based Surveillance (AVSS). 6. Balcells M., DeMenthon D., and Doermann D. (2005), "An appearance-based approach for consistent labeling of humans and objects in video", Pattern and Application, pp: 373–385. 7. Baseggio M., Cenedese A., Merlo P., Pozzi M., and Schenato L. (2010), "Distributed perimeter patrolling and tracking for camera networks", 49th IEEE Conference on Decision and Control, pp: 2093 – 2098. 8. Berclaz J., Fleuret F., and Fua P. (2008), "Multi-camera tracking and atypical motion detection with behavioral maps", Proceedings of the European Conference on Computer Vision, pp: 112-125. 114 9. Bhanu B., Ravishankar C. V., Chowdhury A. K. R.-., Terzopoulos D., and Aghajan H. (2011), Distributed Video Sensor Networks. 10. Boiman O., and Irani M. (2007), "Detecting Irregularities in Images and in Video", Int J Comput Vision, 74(1), pp: 17–31. 11. Calderara S., Prati A., Vezzani R., and Cucchiara R. (2005), "Consistent labeling for multicamera object tracking", Image Analysis and Processing, 3617, pp: 1206–1214. 12. Chandola V., Banerjee A., and Kumar V. (2009), "Anomaly detection: A survey", ACM Comput. Surv, 41, pp: 1–58. 13. Chang T.-H., and Gong S. (2001), "Tracking multiple people with a multi- camera system", Proceedings of the IEEE Workshop on Multi-Object Tracking, pp: 19-26. 14. Cheikh F. A., Saha S. K., Rudakova V., and Wang P. (2012), "Multi-people tracking across multiple cameras", International Journal on New Computer Architectures and Their Applications (IJNCAA), 2(1), pp: 23-33. 15. Chen C.-H., Yao Y., Page D., Abidi B., Koschan A., and Abidi M. (2010), "Camera handoff and placement for automated tracking systems with multiple omnidirectional cameras", Computer Vision and Image Understanding, 114(2), pp: 179-197. 16. Chen C.-H., Yao Y., Page D., Abidi B., Koschan A., and Abidi M. (2010), "Camera handoff with adaptive resource management for multi-camera multi- object tracking", Image and Vision Computing, 28(6), pp: 851-864. 17. Cheng D. E., and Piccardi M. (2006), "Matching of objects moving across disjoint cameras", In ICIP, pp: 1769–1772. 18. Choi J.-Y., Choi J.-W., and Yang Y.-K. (2007), "Improved tracking of multiple vehicles using invariant feature-based matching", Pattern Recognition and Machine Intelligence, pp: 649-656. 115 19. Cohen J. K. I., and Medioni G. (2003), "Continuous tracking within and across camera streams", Computer Vision and Pattern Recognition, 2003. Proceedings. 2003 IEEE Computer Society Conference on, 1, pp: 267-272. 20. Collins R. T., and al e. (2000), "A system for visual surveillance and monitoring", Carnegie Mellon University. 21. Cui P., Sun L.-F., Liu Z.-Q., and Yang S.-Q. (2007), "A Sequential Monte Carlo Approach to Anomaly Detection in Tracking Visual Events", Computer Vision and Pattern Recognition, 2007. CVPR ’07. IEEE Conference, pp: 1–8. 22. Cui X., Liu Q., Gao M., and Metaxas D. N. (2011), "Abnormal detection using interaction energy potentials", Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference, pp: 3161–3167. 23. Dizan V., Thierry F., and Christian L. (2009), "Growing hidden Markov models: an incremental tool for learning and predicting human and vehicle motion", Int. J. Robot. Res., pp: 11–12. 24. Dong Q., Wu Y., and Hu Z. (2009), "Point wise Motion Image (PMI): A Novel Motion Representation and Its Applications to Abnormality Detection and Behavior Recognition", Circuits and Systems for Video Technology, IEEE Transactions, 19(3), pp: 407– 416. 25. Doubek P. (2005). Multi-view tracking and viewpoint selection. PhD, Swiss Federal Institute of Technology Zurich (ETH). 26. Durham W. J., Carli R., Frasca P., and Bullo F. (2012), "Discrete Partitioning and Coverage Control for Gossiping Robots. Robotics", IEEE Transactions on, 2012, 28(2), pp: 364-378. 27. Eberly D. (2008), "Dynamic collision detection using oriented bounding boxes", Geometric Tools, LLC. 28. Erdem U. M., and Sclaroff S. (2006), "Automated camera layout to satisfy task- specific and floor plan-specific coverage requirements", Computer Vision and Image Understanding, 103, pp: 156–169. 116 29. Eshel R., and Moses Y. (2010), "Tracking in a dense crowd using multiple cameras", International Journal of Computer Vision (IJCV), 88(1), pp: 129- 143. 30. Fleuret F., Berclaz J., Lengagne R., and Fua P. (2008), "Multi camera people tracking with a probabilistic occupancy map", IEEE Trans. on Pattern Analysis and Machine Intelligence, 30(2), pp: 267-282. 31. Gandhi T., and Trivedi M. (2007), "Person tracking and reidentification: Introducing panoramic appearance map (pam) for feature representation", In Machine Vision and Applications: Special Issue on Novel Concepts and Challenges for the Generation of Video Surveillance Systems. 32. García-García D., Hernández E., and Maria F. D. d. (2009), "A new distance measure for model-based sequence clustering", IEEE Trans. Pattern Analysis and Machine Intelligence 31, pp: 1325-1331. 33. Gerrard G., and Thompson R. (2011), "Two million cameras in the UK", CCTV Image Magazine, (42), pp: 10 - 12. 34. Gupta A., Mittal A., and Davis L. S. (2007), "Cost: An approach for camera selection and multi-object inference ordering in dynamic scenes", IEEE 11th International Conference on Computer Vision (ICCV). 35. Hamdoun O., Moutarde F., Stanciulescu B., and Steux B. (2008), "Person re- identification in multi-camera system by signature based on interest point descriptors collected on short video sequences", In ICDSC08, pp: 1–6. 36. Hordley S. D., Schaefer G. D. F. G., and Tian G. Y. (2005), "Illuminant and device invariant color using histogram equalization", Pattern Recognition Letters, 38(2), pp: 146–162. 37. Hsieh C.-T., Hsu S.-B., and Fan C.-C. H. K.-C. (2011), "Abnormal Event Detection Using Trajectory Features", Journal of Information Technology and Applications, 5(1), pp: 22-27. 38. 117 39. 40. Hu W., Hu M., Zhou X., Tan T., Lou J., and Maybank S. (2006), "Principal axis- based correspondence between multiple cameras for people tracking", IEEE Transactions on Pattern Analysis and Machine Intelligence, 28, pp: 663-671. 41. Hu W., Xiao X., Fu Z., Tan D. X. T., and Maybank S. (2006), "A system for learning statistical motion patterns", Pattern Analysis and Machine Intelligence, IEEE Transactions, 28(9), pp: 1450–1464. 42. Javed O., Rasheed Z., Shafique K., and Shah M. (2003), "Tracking across multiple cameras with disjoint views", IEEE International Conference on Computer Vision, pp: 952-957. 43. Javed O., Shafique K., Rasheed Z., and Shah M. (2008), "Modeling inter-camera space-time and appearance relationships for tracking across non-overlapping views", Comput. Vis. Image Underst, 109(2), pp: 146–162. 44. Javed O., and Shah M. (2008), Automated multi-camera surveillance algorithms and Practice. 45. Jiang F., Wu Y., and Katsaggelos A. K. (2009), "Detecting contextual anomalies of crowd motion in surveillance video", Image Processing (ICIP), 2009 16th IEEE International Conference, pp: 1117–1120. 46. Jiang F., Wu Y., and Katsaggelos A. K. (2009), "A Dynamic Hierarchical Clustering Method for Trajectory-Based Unusual Video Event Detection", Image Processing, IEEE Transactions, 18(4), pp: 907–913. 47. Jiang F., Yuan J., Tsaftaris S. A., and Katsaggelos A. K. (2011), "Anomalous video event detection using spatiotemporal context", Computer Vision and Image Understanding, 115, pp: 323–333. 48. Jo Y., and Han J. (2006), "A new approach to camera hand-off without camera calibration for the general scene with non-planar ground", Proceedings of the 118 4th ACM international workshop on Video surveillance and sensor networks. ACM, pp: 195-202. 49. Johansson B., Wiklund J., Forssén P.-E., and Granlund G. (2009), "Combining shadow detection and simulation for estimation of vehicle size and position", Pattern Recognition Letters, 30(8), pp: 751-759. 50. Ke S.-R., Thuc H. L. U., Lee Y.-J., Hwang J.-N., Yoo J.-H., and Cho K.-H. (2013), "A review on video-based human activity recognition", Computers 2, 2, pp: 88-131. 51. Khan S., Javed O., Rasheed Z., and Shah M. (2001), "Human tracking in multiple cameras", IEEE International Conference on Computer Vision, 1, pp: 331– 336. 52. Khan S., and Shah M. (2001), "Tracking people in presence of occlusion", Asian Conference on Computer Vision, pp: 1132 - 1137. 53. Khan S., and Shah M. (2003), "Consistent labeling of tracked objects in multiple cameras with overlapping fields of view", IEEE Transactions on Pattern Analysis and Machine Intelligence, 25, pp: 1355 - 1360. 54. Khan S., and Shah M. (2006), "A multiview approach to tracking people in crowded scenes using a planar homography constraint", Proc. of European Conf. on Computer Vision, pp: 133–146. 55. Khan S., and Shah M. (2009), "Tracking multiple occluding people by localizing on multiple scene planes", IEEE Transactions On Pattern Analysis And Machine Intelligence, Vol 31(3), pp: 505 - 519. 56. Khan S. M., and Shah M. (2009), "Tracking multiple occluding people by localizing on multiple scene planes", IEEE Trans. on Pattern Analysis and Machine Intelligence, 31(3), pp: 505-519. 57. Kim I. S., Choi H. S., Yi K. M., Choi J. Y., and Kong S. G. (2010), "Intelligent Visual Surveillance - A Survey", International Journal of Control, Automation, and Systems, 8(5), pp: 926-939. 119 58. Kim J., and Grauman K. (2009). Observe Locally, Infer Globally: A Space- time MRF for Detecting Abnormal Activities with Incremental Updates, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Miami, FL, USA, pp: 2921–2928. 59. Kim J., and Kim D. (2008), "Probabilistic camera hand-off for visual surveillance", Distributed Smart Cameras, 2008. ICDSC 2008. Second ACM/IEEE International Conference on. IEEE, pp: 1-8. 60. Laxhammar R., and Falkman G. (2011). Sequential Conformal Anomaly Detection in Trajectories based on Hausdorff Distance, 14th International Conference on Information Fusion, Chicago, Illinois, USA, pp: 61. Le T.-L., and Tran T.-H. (2015), Real-Time Abnormal Events Detection Combining Motion Templates and Object Localization, Advances in Intelligent Systems and Computing, 341, Springer International Publishing, pp: 17-30. 62. Lee C. Y., Lee S. S. J. L. C. W., and Yang C. S. (2012), "An Efficient Camera Hand-Off Filter In Real-Time Surveillance Tracking System", International Journal of Innovative Computing, Information and Control, 8(2). 63. Lee C. Y., Lin S. S. J., Lee C. W., and Yang C. S. (2012), "An Efficient Camera Hand-Off Filter In Real-Time Surveillance Tracking System", International Journal of Innovative Computing, Information and Control, 8(2). 64. Lee L., Romano R., and Stein G. (2002), "Monitoring activities from multiple video streams: Establishing a common coordinate frame", IEEE Transaction on Pattern Analysis and Machine Intelligence, 22(8), pp: 18–36. 65. LeFloch D. (2007). Real-time people counting system using video camera. Master’s thesis, Universite de Bourgogne. 66. Leon J. C., Martinez F., and Romero E. (2010), "Abnormal Motion Detection in Survilleance Video: A Review". 120 67. Li C., Han Z., Ye Q., and Jiao J. (2013), "Visual abnormal behavior detection based on trajectory sparse reconstruction analysis", Neurocomputing, 119, pp: 94–100. 68. Li H., Wu Q., and Dou A. (2013), "Abnormal Traffic Events Detection Based on Short-time Constant Velocity Model and Spatio-Temporal Trajectory Analysis", Journal of Information & Computational Science, 10(16), pp: 5233–5241. 69. Li W., Mahadevan V., and Vasconcelos N. (2014), "Anomaly Detection and Localization in Crowded Scenes", Pattern Analysis and Machine Intelligence, IEEE Transactions, 36(1), pp: 18-32. 70. Li Y., and Bhanu B. (2011), "Utility-Based Camera Assignment in a Video Network: A Game Theoretic Framework", Sensors Journal, IEEE, 11(3), pp: 676-687. 71. Lowe D. G. (2004), "Distinctive image features from scale-invariant keypoints", International Journal of Computer Vision (IJCV), 60(2), pp: 91–110. 72. Mahadevan V., Li W., Bhalodia V., and Vasconcelos N. (2010). Anomaly Detection in Crowded Scenes, Proccedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), San Francisco, CA, USA, pp: 1975–1981. 73. Makris D., Ellis T. J., and Black J. K. (2004), "Bridging the gaps between cameras", Computer Vision and Pattern Recognition, 2, pp: II-205. 74. Mittal A., and Davis L. S. (2003), "M2 Tracker: A multi-view approach to segmenting and tracking people in a cluttered scene", International Journal of Computer Vision (IJCV), 51(3), pp: 189-203. 75. Monari E., and Kroschel K. (2009), "A knowledge-based camera selection approach for object tracking in large sensor networks", Distributed Smart Cameras, 2009. ICDSC 2009. Third ACM/IEEE International Conference on. IEEE, pp: 1 - 8. 121 76. Monari E., and Kroschel K. (2010). Dynamic Sensor Selection for Single Target Tracking in Large Video Surveillance Networks, Proceedings of the 2010 7th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS '10), IEEE Computer Society, Washington, DC, USA, pp: 539-546 77. Oh J., Lee J., and Kote S. (2003), "Real Time Video Data Mining for Surveillance Video Streams", Knowledge Discovery and Data Mining. Berlin, Heidelberg: Springer Berlin Heidelberg, pp: 222–233. 78. Parent C., Spaccapietra S., Renso C., Andrienko G., Andrienko N., Bogorny V., . . . Yan Z. (2013), "Semantic trajectories modeling and analysis", ACM Comput. Surv, 45(4), pp: 32 pages. 79. Park J., Bhat P. C., and Kak A. C. (2006), "A look-up table based approach for solving the camera selection problem in large camera networks", Proceedings of the International Workshop on Distributed Smart Cameras (DCS’06), Boulder, CO, 31, pp: 72-76. 80. Park U., Jain A., Kitahara I., Kogure K., and Hagita N. (2006), "Vise: Visual search engine using multiple networked cameras", In 18th International Conference on Pattern Recognition (ICPR’06), pp: 1204–1207. 81. Pasqualetti F., Franchi A., and Bullo F. (2010), "On Optimal Cooperative Patrolling", 49th IEEE Conference on Decision and Control, pp: 7153 – 7158. 82. Pavone M., Frazzoli A. A. E., and Bullo F. (2009). Equitable partitioning policies for robotic networks, ICRA’09: Proceedings of the 2009 IEEE international conference on Robotics and Automation, Piscataway, NJ, USA, pp: 3979– 3984. 83. Piciarelli C., and Foresti G. L. (2008), "Trajectory-based anomalous event detection", IEEE Trans. Circ. Syst. Video Tech, pp: 1544–1554. 122 84. Popoola O. P., and Wang K. (2012), "Video-Based Abnormal Human Behavior Recognition - A Review", Systems, Man, and Cybernetics, Part C: Applications and Reviews, IEEE Transactions, 42(6), pp: 865–878. 85. Porikli F. (2003), "Inter-camera color calibration by correlation model function", International Conference on Image Processing, 3, pp: II-133. 86. Porikli F., and Divakaran A. (2003), "Multi-camera calibration, object tracking and query generation", In ICME 03, pp: 653–656. 87. Prosser B., Gong S., and Xiang T. (2008), "Multi-camera matching using bi- directional cumulative brightness transfer functions", Proceedings of the British Machive Vision Conference, pp: 64.61–64.10. 88. Puhuluwutta P., Puppus T., and Kutsuggelos A. (2004), "Optimal sensor selec- tion for video-based target tracking in a wireless sensor network", International Conference on Image Processing ICIP, 5, pp: 3073 – 3076. 89. Rahimi A., and Darrell T. (2004), "Simultaneous calibration and tracking with a network of nonoverlapping sensors", In IEEE Conference on Computer Vision and Pattern Recognition, 1, pp: I-187. 90. Roshtkhari M. J., and Levine M. D. (2013), "Online dominant and anomalous behavior detection in videos", Computer Vision and Pattern Recognition (CVPR), 2013 IEEE Conference, pp: 2611-2618. 91. Saleemi I., Shafique K., and Shah M. (2009), "Probabilistic Modeling of Scene Dynamics for Applications in Visual Surveillance", Pattern Analysis and Machine Intelligence, IEEE Transactions, 31(8), pp: 1472–1485. 92. Saligrama V., Konrad J., and Jodoin P. (2010), "Video Anomaly Identification", IEEE Signal Process. Mag., 27(5), pp: 18–33. 93. Santos T. T., and Morimoto C. H. (2011), "Multiple camera people detection and tracking using support integration", Pattern Recognition Letters, 32(1), pp: 47-55. 123 94. Shah M., Javed O., and Shafique K. (2007), "Automated visual surveillance in realistic scenarios", IEEE Transactions on Multimedia, 14(1), pp: 30 – 39. 95. Sillito R. R., and Fisher R. B. (2008), "Semi-supervised learning for anomalous trajectory detection", Proceedings of British Machine Vision Conference, pp: 1035–1044. 96. Snidaro L., Niu R., Varshney P. K., and Foresti G. L. (2003), "Automatic camera selection and fusion for outdoor surveillance under changing weather conditions", Proc. IEEE Conference on Advanced Video and Signal Based Surveillance, pp: 364–369. 97. Sternig S., Mauthner T., Irschara A., Roth P. M., and Bischof H. (2011), "Multi- camera Multi-object Tracking by Robust Hough-based Homography Projections", Computer Vision Workshops (ICCV Workshops), 2011 IEEE International Conference on. IEEE, pp: 1689-1696. 98. Sun Z., and Wang F. (2013), "A Comparative Study of Features and Distance Metrics for Trajectory Clustering in Open Video Domains", Proceedings of the 2013 Fifth International Conference on Multimedia Information Networking and Security. 99. Teddy K. (2011), A Survey on Behavior Analysis in Video Surveillance Applications. Video Surveillance (16, pp. 279 - 294): InTech. 100. Thang P. V., Worring M., and Smeulders A. (2007), "A multi-camera visual surveillance system for tracking re-occurrences of people", In International Conference on on Smart Distributed Cameras. 101. Tian Y., and al e. (2008), "IBM smart surveillance system (s3): Event based video surveillance system with an open and extensible framework", Machine Vision and Applications, 19(5 - 6), pp: 315–327. 102. Ting-Hsun, Chang, and Gong S. (2001), "Tracking multiple people with a multi- camera system", IEEE workshop on multi object tracking, pp: 19 - 26. 124 103. Tran D.-D., Le T.-L., and Tran T.-T.-H. (2014), "Abnormal event detection using multimedia information for monitoring system", Communications and Electronics (ICCE), 2014 IEEE Fifth International Conference on, pp: 490- 495. 104. Velipasalar S., Schlessman J., Chen C., Wolf W., and Singh J. (2008), "A scalable clustered camera system for multiple object tracking", EURASIP Journal on Image and Video Processing, pp: 22. 105. Wang X., and Grimson E. (2008), "Trajectory analysis and semantic region modeling using a nonparametric Bayesian model", IEEE Conference on Computer Vision and Pattern Recognition. 106. Wang X., and Grimson X. M. W. E. L. (2009), "Unsupervised Activity Perception in Crowded and Complicated Scenes Using Hierarchical Bayesian Models", Pattern Analysis and Machine Intelligence, IEEE Transactions, 31(3), pp: 539–555. 107. Wang X., Ma X., and Grimson E. (2007), "Unsupervised activity perception by hierarchical Bayesian models", Proceedings of IEEE Computer Vision and Pattern Recognition, pp: 1 - 8. 108. Wang X., Tieu K., and Grimson E. (2006), "Learning semantic scene models by trajectory analysis", In In ECCV, 3, pp: 110-123. 109. Welch G., and Bishop G. (2006), "An Introduction to the Kalman Filter", Department of Computer Science University of North Carolina at Chapel Hill, NC 27599-3175. 110. Xiang T., and Gong S. (2007), "Video behaviour profiling and abnormality detection without manual labelling", Computer Vision, 2007. ICCV 2007. IEEE 11th International Conference, 2, pp: 1238–1245. 111. Yang W., Gao Y., and Cao L. (2012), "TRASMIL: A Local Anomaly Detection Framework Based on Trajectory Segmentation and Multi-instance Learning", Computer Vision and Image Understanding. 125 112. Yang Y., Cui Z., Wu J., Zhang G., and Xian X. (2012), "Trajectory Analysis Using Spectral Clustering and Sequene Pattern Mining", Journal of Computational Information Systems, 8(6), pp: 2637 – 2645. 113. Yao Y., and Chen C.-H. (2010), "Multi Camera Positioning For Automated Tracking Systems In Dynamic Environments", International Journal of Information Acquisition, 7(3), pp: 225–242. 114. Yiming L., Bhanu B., and Nguyen V. (2010), "On the performance of handoff and tracking in a camera network", Pattern Recognition (ICPR), 2010 20th International Conference on. IEEE, pp: 3645-3648. 115. Zanella F., Pasqualetti F., Carli R., and Bullo F. (2012). Simultaneous Boundary Partitioning and Cameras Synchronization for Optimal Video Surveillance, IFAC Workshop on Distributed Estimation and Control in Networked Systems, Santa Barbara, CA, USA, pp: 1 - 6. 116. Zhang T., Lu H., and Li S. Z. (2009), "Learning semantic scene models by object classification and trajectory clustering", inComputer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference, pp: 1940–1947. 117. Zhang Y., and Ji Q. (2006), "Active and dynamic information fusion for mul- tisensor systems with dynamic bayesian networks", IEEE Transactions on Systems, Man, and Cybernetics, Part B, 36(2), pp: 467–472. 118. Zhao B., Fei-Fei L., and Xing E. P. (2011), "Online detection of unusual events in videos via dynamic sparse coding", Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference, pp: 3313–3320. 119. Zheng Y., Chen Y., Xie X., and Ma W.-Y. (2010), "Understanding transportation modes based on GPS data for Web applications", ACM Transaction on the Web, 4(1). 120. Zhong H., Shi J., and Visontai M. (2004), "Detecting unusual activity in video", Computer Vision and Pattern Recognition, 2004. CVPR 2004. Proceedings of the 2004 IEEE Computer Society Conferenc, 2, pp: II–819–II–826 126 121. Zhou Y., Yan S., and Huang T. (2007), "Detecting anomaly in videos from trajectory similarity analysis", IEEE International Conference on Multimedia and Expo 2007, pp: 1087–1090. 122. Zhu L. J., Hwang J. N., and Cheng H. Y. (2009), "Tracking of multiple objects across multiple cameras with overlapping and non-overlapping vie", In IEEE International Symposium on Circuits and Systems, (ISCAS), pp: 1056–1060.