Luận văn Phân tích Bayes theo chuẩn L^1

( ) , , 1 , 0 , , , 0 22, 0 2, 1 , , 1 , , , 1 , , n j n j n j n j n j n j n j n j P A B P A B Var Var P A B P A B P A B P A B µ µ π π α µ α µ = = + − − − +  trong đó ( ) ( ) ( ) ( ), ,1 2, , ,n j n jP A B P A B có dạng tương tự như ( ) ( ),0 ,n jP A B được xác định bởi biểu thức ( ) ( ) ( ) ( ) ( ) ( ) 1 2 1 2 1 2 2 1 1 2 , 0 0 1 2 , x x ; 0,1,... ! ! m mn j j m m m mn j k m m m m k j j n A BP A B k k m m α α β − + = = + + − − = = + +∑ ∑ và ( ), Varµ π là trung bình và phương sai được cho bởi phân phối tiên nghiệm Beta. 46 iv) Kỳ vọng mật độ hậu nghiệm của π là ( ) ( ) ( ) ( ) ( ) ( ), 0 , n n n n j V j jφ π ψ φ π = =∑ trong đó phân phối dự đoán của V với số lượng phân phối quan sát vào 1H : ( ) ( ) ( ) ( ) ( ) ( ) ( ),2 2 01 11 , , 0,1,..., . n jjn n jn V jP V j j d d P A B j nψ − = = = − = Chứng minh i) Ta có π có xác suất tiên nghiệm ( ), ,Beta π α β và hàm hợp lý ( ) ( ) ( ) ( ) ( )2 21 1, 1 1 1 . n j j n jjn jn j d d A Bπ π π − − = − − − Khi đó hàm mật độ hậu nghiệm của π được xác định ( ) ( ) ( ) [ ] [ ]( ) ( ) , , 0 , , . 1 1 , , j n j n j n j Beta A B P A B π α β π π φ π − − − = trong đó ( ) ( ) ( )( ) ( ) 1 , 0 0 , , , 1 1j n jn jP A B Beta A B dπ α β π π π−= − −∫ . Vì 0, 0α β> > nên theo định lý Picard ta có sự biểu diễn tích phân sau qua hàm Appell ( )2DF ( ) ( ) ( )( ) ( ) ( ) ( )( ) 1 , 0 0 2 , , , 1 1 , , ; ; , , j n jn j D P A B Beta A B d F j n j A B π α β π π π α α β − = − − = − − − + ∫ với ( )2DF là hàm siêu bội Appell hai biến. Chuỗi ( )2DF luôn hội tụ khi có A hoặc B lớn hơn 1 và do hệ số ( ),j n j− − − âm nên chuỗi chỉ gồm một số hữu hạn. Do đó ký hiệu ( ) ( ), , ; 1, 2,..n jkP A B k = là đa thức bậc n xác định bởi ( ) ( ) ( ) ( )( ) ( ) ( ) ( ) ( ) 1 2 1 2 1 2 2 1 1 2 , 2 0 0 1 2 , , , ; ; , x x ; 0,1,... ! ! n j k D m mn j j m m m m m m m m P A B F k j n j k A B k j j n A B k k m m α α β α α β − + = = + = + − − − + + + − − = = + +∑ ∑ 47 với ( )na là hệ số Pochhammer. ii) Khi j n= hoặc 0j = , ta có ( ) ( ) ( ) ( ) ( ),0 2 1 0, , ; ;n j nP A B F n A Q Aα α β= − + = hoặc ( ) ( ) ( ) ( ) ( ),0 2 1 0, , ; ;n j nP A B F n B R Bα α β= − + = , tương ứng là các đa thức chỉ theo A hoặc B . iii) Với giá trị j cố định, áp dụng định lý Picard và tính toán trực tiếp ta có trung bình và phương sai hậu nghiệm của π . ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 . , 0 11 , 00 1 1 , 00 , 1 , 0 , 1 , 0 1 1 11 ,, 11 1 1 1 1, , , , . , n j n j j n j n j j n j n j n j n j n j n j d A B d BP A B A B d P A B P A B P A B P A B P A B βα βα µ πφ π π π π π π π α β α βα π π π π π α β α β α α β µ − − − − = − − − = Γ + + = − − − + Γ + Γ = + = ∫ ∫ ∫ ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )( ) ( ) ( ) ( ) ( ) ( )( ) 1 2, , ,2 0 111 2, , 00 2, , 2 1 , , 0 0 1 1 11 ,, , 1 , 1, , 1 n j n j n j j n j n j n j n j n j n j n j Var d A B d BP A B P A B P A B P A B P A B P βα π π φ π π µ π π π π π µ α β α α α α β α β α β α β αα α β − −+  = −   − − −  = −    + = −   + + + +   + + = + ∫ ∫ ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )( ) ( ) ( ) ( ) ( ) ( )( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )( ) 2, , , 0 2 1 2, 0 , , 0 22, 0 2, 1 , , 1 , 1 , 1 , , , 1 , . n j n j n j n j n j n j n j n j A B P A B P A B P A B Var P A B P A B P A B P A B α α β α β α β π α µ α µ  − + +    + + +   = + − − − +  48 iv) Ta có hàm dự đoán của V hay phân phối xác suất số lượng các thành công là một phân phối Nhị thức-Beta, ký hiệu ( ), , , ,B V n π α β xác định bởi ( ) ( ) ( ) ( ) ( ) 1 0 , , , .nVP V j j Beta n j dψ π α β π π= = = ∫  Khi đó kỳ vọng hàm mật độ hậu nghiệm của π được xác định ( ) ( )( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 n n n n n V V j E jφ π φ π φ π ψ = = =∑ , trong đó, thay vì π thì xác suất chọn được một phần tử của 1H khi lấy một mẫu từ hỗn hợp 3H là θ nên ( ) ( ) ( ) ( ) ( )( ) ( ) ( ) ( ) ( ) ( ) 1 2 21 1 0 , 2 2 01 1 1 , , 1 1 1 , . n j j n jjn n V j n jj n jn j j d d Beta A B d d P A B ψ π α β π π − − − = − − − = − ∫ Nhận xét. Chúng ta có thể xem xét bài toán trên với π có phân phối tiên nghiệm như một hàm Beta tổng quát: ( ) ( ) ( ) ( ) ( ) 1 1 2 11 1 2 1 11 1 1 21 1 11, , ; ,1 , , 1 d d Beta d d B d d α β α β π π π α β α β − − + − − − − − = − − tức là cùng một phân phối Beta như π nhưng thu hẹp trên một khoảng bé hơn bên trong [ ]0,1 . Chú ý. Vì phân phối của mẫu thuộc họ phân phối mũ nên ngoài phân phối tiên nghiệm liên hợp Beta chúng ta cũng có thể sử dụng phân phối tiên nghiệm cùng dạng như phân phối chuẩn và phân phối mũ để đánh giá tham số. Nhưng vì các phân phối này xác định trên R nên để thích hợp với tham số ( )0 1π≤ ≤ chúng ta chỉ xét chúng trên [ ]0,1 . 2.2.1.3 Hệ quả. Nếu π có phân phối tiên nghiệm mũ ( )E b chặt cụt trên [ ]0,1 với tham số 0b > và với n quan sát từ hỗn hợp, trong đó có j quan sát thuộc 1H . Khi đó i) π có hàm mật độ xác suất hậu nghiệm 49 ( ) ( ) ( )( ) ( ) ( ) [ ] [ ] , 1 1 , 0,1 ,, 0 , 0,1 j n j n j E b A B I n j π π π φ π π − − − ∈ =   ∉ trong đó, ( ) ( ) ( ) 1 0 , 1 1 .j n jbI n j be A B dπ π π π−−= − −∫ ii) Hậu nghiệm ( ) ( ),n jφ π có trung bình và phương sai được cho bởi ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )( ) , , 2, 1 1, 1 1, , , 1 2, 2 1, 1 . , , 1 1, . n j n j n j I n j I n j B A I n j A BVar I n j I n j AB I n j AB B A I n j I n j AB µ π µ  = + + − + − + = + + + + + −− − + − − Chứng minh i) Phân phối tiên nghiệm mũ của π chặt cụt trên [ ]0,1 có hàm mật độ ( ) , 1 b b bef e π π − −= − và định nghĩa ( ) 0f π = nếu [ ]0,1π ∉ . Do đó, hàm mật độ hậu nghiệm của π được xác định ( ) ( ) ( ) [ ] [ ]( ) [ ] [ ] ( ) [ ] , . 1 1 , 1 1 , 0,1 , j n j n j j n jb f A B L n j be A B I n j π π π π φ π π π π − −− − − = − − = ∈ và ( ) ( ) [ ], 0 khi 0,1 ,n jφ π π= ∉ với ( ) ( ) ( ) ( ) 1 0 1, 1 1 1 1 , . 1 j n jb b b L n j be A B d e I n j e π π π π−−− − = − − − = − ∫ ii) Vì ( ) ( )1 1 1A B B A π π π = − − − − 50 và ( )( ) ( ) ( )2 1 1 1 1 1 1A B A BA B A B AB B A A B π π π π π+ + = − − + − + − − − −  nên tính toán trực tiếp ta có trung bình và phương sai hậu nghiệm của π : ( ) ( ) ( ) ( ) ( ) [ ] [ ] ( ) ( ) ( ) ( ) ( ) ( ) 1 , , 0 1 0 1 1 1 1 1 , 1 1, 1 1, . , n j n j j n jb d be A B A B d B A I n j I n j I n j B A I n j π µ πφ π π π π π π π−− =  = − − − − − −  = + + − + − ∫ ∫ ( ) ( ) ( ) ( ) ( )( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )( ) 1 2, , ,2 0 1 1 1 0 1 1 0 21 , 1 1 1 . , 1 1 . , 1 1 1 n j n j n j j n jb j n jb j n j n j Var d be A B d AB I n j A B be A B B A AB I n j A B d AB π π π π φ π π µ π π π π π π π π µ + − +− + −− − + = − = − − − + − − − −− − − − − − ∫ ∫ ∫ ( ) ( ) ( ) ( ) ( ) ( ) ( )( )2, 1 2, 2 1, 1 . , , 1 1, .n j A BI n j I n j AB I n j AB B A I n j I n j AB µ + = + + + + + −− − + − − Tương tự nếu π có phân phối tiên nghiệm chuẩn ( )2,N µ σ chặt cụt trên [ ]0,1 với hai tham số ,µ σ và với n quan sát từ hỗn hợp, trong đó có j quan sát thuộc 1H , ta cũng có i) π có hàm mật độ xác suất hậu nghiệm là ( ) ( ) ( ) ( ) ( ) ( ) [ ] [ ] 2 22 , 1 1 , 0,1 , 0 , 0,1 j n j n j e A B L n j π µ σ π π πφ π π − − −   − − ∈=    ∉ , trong đó, ( ) ( ) ( ) ( ) 2 2 1 2 0 , 1 1 .j n jL n j e A B d π µ σ π π π − − − = − −∫ 51 ii) Hậu nghiệm ( ) ( ),n jφ π có trung bình và phương sai được cho bởi ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )( ) , , 2, 1 1, 1 1, , , 1 2, 2 1, 1 . , , 1 1, . n j n j n j L n j L n j B A L n j A BVar L n j L n j AB L n j AB B A I n j L n j AB µ π µ  = + + − + − + = + + + + + −− − + − − Chứng minh Ta có hàm mật độ tiên nghiệm chuẩn của π trên [ ]0,1 : ( ) ( )2 22 ,ef E π µ σ π − − = với ( )2 2 1 2 0 t E e dt µ σ − − = ∫ và định nghĩa ( ) 0f π = nếu [ ]0,1π ∉ . Áp dụng tương tự hệ quả trên ta được phân phối hậu nghiệm của π . Bằng tính toán tương tự ta thay ( ),I n j trong trung bình và phương sai hậu nghiệm của π có phân phối tiên nghiệm mũ ở trên bởi ( ),L n j ta được trung bình và phương sai hậu nghiệm của π với phân phối tiên nghiệm chuẩn. Hệ quả đã được chứng minh. 2.2.2 Phân phối của tỷ lệ trộn π theo xác suất phân loại sai ngẫu nhiên 2.2.2.1 Phân tích π theo xác suất phân loại sai ngẫu nhiên Trong trường hợp tổng quát, khi các hàm mật độ ( )1f x , ( )2f x phụ thuộc vào tham số chúng ta sẽ xét phân phối hậu nghiệm của π có liên quan đến hai xác suất phân loại sai 1 1d và 2 1d với giả sử 1 1d , 2 1d độc lập với nhau và cùng độc lập với π . Vì 1 2 21 1 1d d h+ = , với 2 10 1h≤ ≤ nên 1 21 10 1d d≤ + ≤ . Khi đó hàm mật độ xác suất hậu nghiệm của π có thể thực hiện được khi 1 1d và 2 1d có phân phối bất kỳ xác định trên [ ]0,1 . 52 Dưới đây chỉ xét trường hợp của phân phối Beta , các tính toán tương tự có thể thực hiện được với các phân phối khác trên [ ]0,1 . Giả sử π , 1 1d và 2 1d là các biến ngẫu nhiên, với ( ) ( ) ( ) 0 0 1 1 1 11 1 2 2 2 21 1 , , , , , , , , . Beta d Beta d d Beta d π π α β α β α β    Khi đó hàm mật độ tiên nghiệm cho ( )1 21 1, ,d dπ sẽ là ( ) ( ) ( ) ( ) ( ) 1 201 20 1 111 11 1 2 1 21 1 1 1 1 2 21 1 0 1 1 1 , , ,i i i d d d d f d d B β ββα ααπ π π α β − −−− −− = − − − = ∏ . Hàm hợp lý ( ) ( )1 2 2 21 1 1 1, , , 1 j n jn jd d n j d M d Mπ π π −    = + − −    . Khi đó, với các giá trị cố định của n và j ta có hàm mật độ hậu nghiệm cho ( )1 21 1, ,d dπ sẽ là ( ) ( ) ( )1 2 1 21 1 1 11 21 1 , , . , , , , , , , f d d d d n j f d d n j D π π π =  trong đó ( ) ( ) 1 111 1 1 1 2 1 2 21 1 1 1 1 1 0 0 0 , , . , , , . d D d d d f d d d d n j d dπ π π − = ∫ ∫ ∫  Khi đó phân phối hậu nghiệm lề ( ),g n jπ của π đạt được bằng cách lấy tích phân của ( )1 21 1, , ,f d d n jπ theo 1 1d và 2 1d , ( ) ( ) 1 111 1 1 2 21 1 1 1 0 0 , , , , . d g n j d d f d d n j d dπ π − = ∫ ∫ Từ đó tính được trung bình và phương sai hậu nghiệm của π : ( ) ( ) 1 , 0 ,n j g n j dµ π π π= ∫ 53 và ( ) ( ) ( ) ( ) 1 2, ,2 0 Var ,n j n jg n j dπ π π π µ = −  ∫ . 2.2.2.2 Mệnh đề . Cho n cố định, V thay đổi từ 0 đến n , khi đó phân phối dự đoán của V là ( ) ( ) ( ) ( ) 1 1 0 0 . , 0,1, 2,...,n nV ii f d i nψ π π π= =∫  ; trong đó, ( ) ( )0 0 0, ,f Betaπ π α β= và ( )1 π xác định bởi ( ) ( ) ( ) ( ) 1 111 1 1 1 1 1 2 2 2 21 1 1 1 1 1 0 0 , , , d f d d d h d d n j f d d dπ π − = ∫ ∫ . Chứng minh Ta có ( ) ( ) ( )( ) 00 11 0 0 0 0 0 1 , , , f Beta B βαπ π π π α β α β −− − = = . Khi xét đến phân phối xác suất của hai phân loại sai 1 1d và 2 1d với phân phối tiên nghiệm Beta như đã nêu ở trên và giả thiết π , 1 1d và 2 1d đôi một độc lập với nhau, ta có hàm mật độ tiên nghiệm ( ) ( ) ( ) ( )1 2 0 1 1 2 21 1 1 1, ,f d d f f d f dπ π= và hàm hợp lý ( ) ( )( ) ( )1 2 2 21 1 1 1, , , 1 . j n jn jd d n j d M d Mπ π π − = + − − Khi đó phân phối dự đoán tiên nghiệm của V được xác định: ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 1 1 1 11 1 1 2 1 2 2 11 1 1 1 1 1 0 0 0 11 1 1 1 1 1 2 2 2 2 01 1 1 1 1 1 0 0 0 1 1 0 0 , , , , , = , , , = , d n j V n d j n j n j f d d d d n j d d d d d f d d d d d n j f d d d f d f d ψ π π π π π π π π π − − = ∫ ∫ ∫ ∫ ∫ ∫ ∫    với ( ) ( ) ( ) ( ) 1 111 1 1 1 1 1 2 2 2 21 1 1 1 1 1 0 0 , , , d f d d d d n j f d d dπ π − = ∫ ∫  . 54 Từ mệnh đề trên chúng ta có thể suy ra được nhiều kết quả khác, lấy ví dụ nếu chúng ta xét một hàm tổn thất sai số bình phương trong ước lượng Bayes có dạng ( ) ( )2,L θ θ θ θ= − , trong đó θ là ước lượng của tham số θ thì rủi ro hậu nghiệm cho một giá trị cố định của V với trung bình hậu nghiệm là ước lượng của π được xác định ( )( ) ( ) ( )2, ,n j n jVE Varµ π π− = và rủi ro Bayes ( ) ( ) ( )( ),n jVn E Varρ π= . Ta có kỳ vọng trung bình hậu nghiệm của π theo V : ( )( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) , 0 , ,1 2 2 0, 1 1 0 0 1 0 0 1 00 , 1 , , , 1, , , 1, , . n n n j n V V j n jn n jj n jn jn j j n j n j E j P A B d d P A B P A B Beta n j d Beta n j d µ µ π ψ µ µ π α β π π µ π α β π π µ = − = = = = = − = +   = +     = ∑ ∑ ∑∫ ∑∫   Và rủi ro Bayes ( ) ( ) ( )( ) ( ) ( ) ( ) ( ), 0 n n n j n V V j n E Var Var jρ π π ψ = = =∑ . 2.3 Khoảng cách 1L giữa hai hàm mật độ xác suất Giả sử trên hai tổng thể 1H và 2H xét ( ) ( )1 2,f x f x là hai hàm mật độ trong trường hợp tổng quát, phụ thuộc vào tham số nào đó. Khi đó, từ mối liên hệ giữa khoảng cách 1L : 1 2 41 1f f h− = với hệ số chồng lấp 2 1hε = : ( )1 2 1 2 1f f ε− = − có thể suy ra phân phối xác suất của chính khoảng cách này với giả thiết hai xác suất phân loại sai có phân phối bất kỳ xác định trên [ ]0,1 . 55 2.3.1 Hàm tổng của hai biến ngẫu nhiên độc lập trên [ ]0,1 Định lý . Giả sử 1 2,X X là hai biến ngẫu nhiên xác định trên [ ]0,1 có hàm mật độ xác suất lần lượt ( ) ( )1 2,f x f x . Xét 1 2Y X X= + , khi đó hàm mật độ xác suất của Y có dạng ( ) ( ) ( ) ( ) ( ) [ ] 1 2 0 1 1 2 1 ,0 1 ,1 2 0, 0,2 y y f t f y t dt y g y f t f y t dt y y −  − ≤ ≤  = − < ≤   ∉  ∫ ∫ . Chứng minh Ta có ( ) ( ) ( )1 2g y f y x f x dx +∞ −∞ = −∫ . Vì 2X là biến ngẫu nhiên trên [ ]0,1 nên ( ) [ ]2 0, 0,1f x x= ∀ ∉ , khi đó ( ) ( ) ( ) 1 1 2 0 g y f y x f x dx= −∫ . Đặt t y x= − , ta có ( ) ( ) ( )( ) ( ) ( ) 1 1 2 1 2 1 y y y y g y f t f y t dt f t f y t dt − − = − − = −∫ ∫ . Vì 1 2,X X thuộc khoảng [ ]0,1 nên [ ]0,2Y ∈ . Nếu 0 1y≤ ≤ thì 1 0y − ≤ , khi đó ( ) ( ) ( ) ( ) ( )1 2 1 2 1 0 y y y g y f t f y t dt f t f y t dt − = − = −∫ ∫ . Nếu 1 2y , khi đó ( ) ( ) ( ) ( ) ( ) 1 1 2 1 2 1 1 y y y g y f t f y t dt f t f y t dt − − = − = −∫ ∫ . Nếu [ ]0,2y∉ thì ( ) 0g y = . 56 2.3.2 Phân phối của khoảng cách 1L giữa hai hàm mật độ xác suất Định lý. Giả sử 1 1d và 2 1d là hai biến ngẫu nhiên độc lập với nhau xác định trên [ ]0,1 , với ( )1 1 11 eta , ,d B α β ( )2 2 21 eta ,d B α β , 1 21 10 1d d≤ + ≤ . Khi đó 4 1 Z h= có phân phối ( ) ( ) ( )1 2 1 1 2 1 1 21 2 1 2 1 2 1 2 22 ,1 ,1 ; ; , 2 2 D z zB z z F zf z α α β α α β α β β α α+ − − + + − − − − − − +   = xác định trên [ ]0,2 , trong đó ( ) ( ) ( ) ( ) ( ) 1 1 2 2 1 2 1 2 B α β α β β β α α Γ + Γ + = Γ Γ Γ + và ( ) ( )2 1 2, , ; ; ,DF a b b c x y là hàm siêu bội Appell thứ nhất. Chứng minh Trước tiên, ta có hàm mật độ của 2 1 21 1 1h d dε = = + như hàm mật độ của tổng hai biến ngẫu nhiên Beta độc lập. Giả sử 1 1d , 2 1d có hàm mật độ xác định trên [ ]0,1 lần lượt là ( ) ( )( ) ( ) ( )( ) 11 22 11 1 11 1 1 1 1 1 1 11 2 21 1 2 2 1 2 2 1 , , 1 , d d f d B d d f d B βα βα α β α β −− −− − = − = và ( )g y là hàm mật độ của 1 21 1y d dε= = + . Ta có 0 1ε≤ ≤ , theo định lý xác định tổng hai hàm mật độ ta có: ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )( ) ( ) ( ) 21 21 11 2 1 2 0 11 11 1 1 2 2 0 1 21 2 1 2 1 2 1 1 1 , , 1 ,1 ,1 ; ; , , 1 y y D g y f t f y t dt t t y t y t dt B B yBy y F y y ββ αα βα α α β α β α β β α α −− −− −+ − = − = − − − −   = − − − + −  ∫ ∫ 57 trong đó, ( ) ( ) ( ) ( ) ( ) 1 1 2 2 1 2 1 2 B α β α β α α β β Γ + Γ + = Γ + Γ Γ . Ta có 4 1 2 2 2 2Z h yε= = − = − . Vì hàm ngược của Z là 1 2 Zy = − và ' 2yZ = − nên hàm mật độ xác suất của Z là ( ) ' 1 1 2y zh z g Z  = −    . Từ hàm mật độ xác suất ( )g y đã tính ở trên, với [ ]0,1y∈ ta có hàm mật độ xác suất của Z: ( ) ( ) ( ) ( ) 1 2 1 1 2 1 1 2 1 1 1 2 2 1 2 1 2 1 21 2 1 2 1 2 1 1 1 2 2 2 2 2 ,1 ,1 , , , 2 2 2 2 2 22 ,1 ,1 , , , 2 , 2 D D zh z g B z z z zF z z zB z z F z α α β α α β α α β α β β α α α β β α α + − − + − − + + −  = −    − − −     = − − +            − − − − − +   = với [ ]0,2z∈ . 2.4 Khoảng cách 1L giữa hai tổng thể Giả sử ( ) ( )1 2, f x f x là hai hàm mật độ xác suất trên hai tổng thể 1H và 2H , trong trường hợp π không đổi ( )0 1π≤ ≤ , dựa vào biểu thức ( )1 2 11 1 2 ef f Pπ π− − = − trong đó ( ) ( ) ( ){ }1 2min , 1eP f x f x dxτ δ π π= + = −∫  và hai xác suất phân loại sai τ và δ là hai biến ngẫu nhiên độc lập ta có thể suy ra phân phối của ( )1 2 11Z f fπ π= − − . Đây chính là khoảng cách 1L giữa hai hàm ( )1 2 và 1f fπ π− hay khoảng cách ( )1L π− giữa hai tổng thể 1H và 2H , ký hiệu ( )1 1 2,J H H π . Định lý. Giả sử τ và δ là hai biến ngẫu nhiên độc lập với nhau xác định trên 10, 2      , với 58 1 1 1eta , ,0, , 2 Bτ α β      2 2 1eta , ,0, 2 Bδ α β      , 0 1τ δ≤ + ≤ . Khi đó ( )1 2 11 ;0 1Z f fπ π π= − − ≤ ≤ có phân phối ( ) ( ) ( )1 2 11 21 2 1 2 1 2 11 ,1 ,1 , , ,1 ,D zh z B z z F z z α α β α β β α α+ − − − = − − − + − −  với [ ]0,1z∈ . Trong đó ( ) ( )( ) ( ) ( ) 1 1 2 2 1 2 1 2 B α β α β β β α α Γ + Γ + = Γ Γ Γ + và ( ) ( )2 1 2, , ; ; ,DF a b b c x y là hàm siêu bội Appell thứ nhất. Chứng minh Giả sử hai biến ngẫu nhiên τ và δ có hàm mật độ lần lượt là ( )1f x , ( )2f x và ( )g y là hàm mật độ của ey P τ δ= = + . Khi đó Với 10 2 y≤ ≤ , thì ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )( ) ( ) ( ) 1 2 21 21 11 2 1 2 1 2 0 11 11 1 1 2 2 0 1 21 1 2 1 2 1 2 2 1 2 1 2 , , 2 2 1 2 ,1 ,1 ; ; , 2 , 2 1 y y D g y f t f y t dt t t y t y t dt B B yB y y F y y α α ββ αα βα α α α α β α β α β β α α + −− −− −+ + − = − = − − − −   = − − − + −  ∫ ∫ trong đó ( ) ( ) ( ) ( ) ( ) 1 1 2 2 1 1 2 1 2 B α β α β β β α α Γ + Γ + = Γ Γ Γ + . Với 1 1 2 y< ≤ , thì ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )( ) ( ) ( ) ( ) 1 2 21 21 1 2 21 2 1 2 1 2 1 2 1 2 11 11 11 1 2 2 2 1 1 2 2 1 1 2 1 2 2 1 2 1 2 , , 2 2 2 1 2 1 ,1 ,1 ; ;2 2 , , 2 1 y y D g y f t f y t dt t t y t y t dt B B yB y y F y y α α ββ αα β β αβ β α β α β β α α β β − + −− −− − + − −+ = − = − − − −  − = − − − − + − −  ∫ ∫ 59 trong đó ( ) ( ) ( ) ( ) ( ) 1 1 2 2 2 1 2 1 2 B α β α β α α β β Γ + Γ + = Γ Γ Γ + . Ta có ( )1 2 11 1 2 1 2eZ f f P yπ π= − − = − = − . Vì hàm ngược của Z là 1 2 zy −= và ' 2yZ = − nên hàm mật độ xác suất của Z là ( ) ' 1 1 2y zh z g Z − =     . Từ hàm mật độ xác suất ( )g y đã tính ở trên, ta có hàm mật độ xác suất của Z trên [ ]0,1 tương ứng với hàm mật độ của y xác định trên 10, 2      là: ( ) ( ) ( ) ( ) ( ) 1 2 11 2 1 2 1 1 1 21 2 1 2 1 2 1 21 1 2 1 2 1 2 1 1 2 2 1 1 2 ,1 ,1 , , ,1 2 2 1 1 ,1 ,1 , , ,1 , D D zh z g B z zz F z z zB z z F z z α α βα α α α β α β β α α α β β α α + − −+ + − − − =     − −   = − − + −   −    − = − − − + − −  với [ ]0,1z∈ . 2.5 Ví dụ cụ thể trong phân tích tỷ lệ trộn π 2.5.1 Bài toán Giả sử tổng thể 1H có phân phối chuẩn ( )25,9N với hàm mật độ ( )1f x và tổng thể 2H có phân phối chuẩn ( )218,6N với hàm mật độ ( )2f x được kết hợp trong một tổng thể 3H , trong đó gọi π là tỷ lệ 1H trong hỗn hợp. Bằng cách nhìn vào dạng hàm mật độ của hai tổng thể chúng ta sẽ dự đoán tỷ lệ π và độ lệch chuẩn của nó, sau đó áp dụng phương pháp tìm phân phối tiên nghiệm cho π . Ở đây chúng ta sẽ sử dụng phân phối tiên nghiệm liên hợp Beta với trung bình và độ lệch chuẩn cho π đã được dự đoán. Để ý thấy π khá nhỏ và tin rằng sự phân tán rất ít do đó chúng ta sẽ chọn tiên nghiệm ( )Beta ,4,16π để phân tích. Thông qua phương pháp Bayes chúng ta sẽ nghiên cứu π , sử dụng một mẫu với kích thước 20 và tiêu chuẩn phân loại đã được thiết lập trong phân tích nhận dạng. 60 2.5.2 Các kết quả phân tích nhận dạng phần tử Ta thấy rằng ( )1f x và ( )2f x cắt nhau tại hai giao điểm 1 11.198x = và 2 45.602x = . Khi đó Hai xác suất phân loại sai: 1 21 10.2455, 0.1285d d= = . Hệ số chồng lấp: 2 1 0.3740hε = = . Khoảng cách 1L giữa hai hàm 1f và 2f : 4 1 21 1 1.2520h f f= − = . Sự phân tích nhận dạng một phần tử vào tổng thể 1H hoặc 2H : Phần tử với quan sát y được xếp vào 1H nếu 11.1982 45.602y≤ ≤ , Phần tử với quan sát y được xếp vào 2H nếu [ ]11.1982,45.602y∉ . 2.5.3 Phân tích hậu nghiệm cho tỷ lệ trộn π trong hỗn hợp Phân phối tiên nghiệm của π là ( )Beta ,4,16π , ta có trung bình và phương sai tiên nghiệm tương ứng là 0.20µ = và ( ) 3Var 7.619 x 10π −= . Xác suất cho một phần tử thuộc vào 1H khi lấy một mẫu từ hỗn hợp là 2 1 0.1285 0.6260d Mθ π π= + = + và các giá trị ( ) 4 41 1 2 21 1 4.8716, 0.7183 2 2 1 h h A B d d = − = − = = − . Giả sử ta xem xét mẫu { }1 2 20, ,...,Y Y Y có kích thước 20 . Khi đó tương ứng với các giá trị của j ta có các quan sát iY nằm trong khoảng [ ]11.1982,45.602 . Giả sử lấy 5j = . Khi đó hàm mật độ hậu nghiệm của π là ( ) ( ) ( ) ( ) ( )( ) ( ) ( ) 15 5 153 20,5 20,5 0 1 1 1 , 4,16 A B P A B B π π π π φ π − − − = , trong đó ( ) ( )20,50 , 2.5593P A B = . Trung bình và phương sai hậu nghiệm của π lần lượt là 0.1954 và 35.763 x 10− . 61 Nhận xét. Trung bình phân phối hậu nghiệm của π có sự dịch chuyển nhỏ về bên trái so với trung bình của phân phối tiên nghiệm với phương sai hậu nghiệm nhỏ hơn phương sai tiên nghiệm, đồ thị của nó được mô tả trong hình 2.2. Nếu 4j = , ta có hàm mật độ hậu nghiệm ( ) ( )20,4φ π với trung bình 0.1771 và phương sai 35.186 . 10− gọn hơn mật độ tiên nghiệm, có thể thấy trong hình 2.2. Ta thấy với 5j = , kết hợp sự thay đổi về trung bình và phương sai tiên nghiệm của π cho thấy kết quả là hàm mật độ hậu nghiệm ( ) ( )20,5φ π của nó không gọn bằng ( ) ( )20,4φ π . Tuy nhiên, trong cả hai trường hợp, trung bình hậu nghiệm luôn nhỏ hơn trung bình của phân phối tiên nghiệm do sự có mặt của hai xác suất phân loại sai τ và δ . Nếu 0τ δ= = , tức là hai hàm mật độ không cắt nhau, thì π có hậu nghiệm ( ) ( ) ( )20,4 ,8,32Betaφ π π= sẽ có trung bình bằng với trung bình phân phối tiên nghiệm của π . Hình 2.2 Mật độ tiên nghiệm và hậu nghiệm của π với 20, 5n j= = và 4j = Phân phối dự đoán của V đối với mẫu kích thước 20 được xác định: ( ) ( ) ( ) ( ) ( )20 20,520 20 2 2 01 11 , , 0,1,..., 20 jj V jj d d P A B jψ − = − = ,. Ta có một khoảng mật độ hậu nghiệm cao nhất (hpd) 95% cho π là [ ]0.0466,0.3442 . Đó là khoảng tin cậy Bayes của π căn cứ vào kết quả lấy mẫu ở trên và được tính theo phương pháp xấp xỉ phân phối chuẩn Prior ( )4,16Beta Post ( ) ( )20,5φ π Post ( ) ( )20,4φ π 62 ( )20.1954, 0.005763N     . Thực hiện cùng một thao tác trên các giá trị khác nhau của 0,1,..., 20j = và sử dụng phân phối dự đoán ( )20V jψ ở trên, chúng ta có thể suy ra giá trị trung bình chặn trên và chặn dưới của khoảng tin cậy 95% cho π : ( ){ } 0.0519jE a = và ( ){ } 0.3472jE b = . Do đó chiều dài trung bình là 0.2953. 2.5.4 Ảnh hưởng của hệ số chồng lấp giữa hai hàm mật độ của tổng thể trên phân phối hậu nghiệm của π Khi xem xét một vài trường hợp phân phối chuẩn giống với hai hàm mật độ phân phối chuẩn ở trên nhưng tăng khoảng cách giữa các giá trị trung bình của chúng, ta thấy hệ số chồng lấp của chúng từ đó giảm và do đó tổng xác suất các phân loại sai cũng giảm theo. Một số thay đổi tương ứng trong sự lựa chọn tiêu chuẩn đánh giá cho π được thể hiện trong bảng 2.1. Chẳng hạn từ bảng này ta thấy rằng, khi tổng xác suất phân loại sai giảm thì có một ước lượng tốt hơn cho π , điều này được thể hiện trong sự rút ngắn của khoảng tin cậy Bayes cho π . Bảng 2.1. Ảnh hưởng của hệ số chồng lấp trên trung bình khoảng mật độ hậu nghiệm cao nhất 95% của π . ( )1f x ( )2f x 2 1d 1 1d Khoảpg tin cậy Bayes trung bình 95% cho π ( )25,9N ( )218,6N 0.1284 0.2455 [ ]0.0466,0.3442 ( )25,9N ( )220,6N 0.1085 0.1993 [ ]0.0562,0.3428 ( )25,9N ( )225,6N 0.0653 0.1123 [ ]0.0656,0.3341 ( )25,9N ( )230,6N 0.0351 0.0581 [ ]0.0720,0.3275 ( )25,9N ( )240,6N 0.0074 0.0117 [ ]0.0779,0.3209 63 2.5.5 Mật độ hậu nghiệm của π theo các xác suất phân loại sai có phân phối Beta Giả sử ( ) ( )1 11 1, 4,16 , ,5, 22Beta d Beta dπ π  , ( )2 21 1 ,3,18d Beta d và 20, 5n j= = . Khi đó, hàm mật độ tiên nghiệm cho ( )1 21 1, ,d dπ là ( ) ( ) ( ) ( ) ( ) 21 17154 23 1 2 1 21 1 1 1 1 2 21 1 0 1 1 1 , , ,i i i d d d d f d d B π π π α β = − − − = ∏ . Hàm hợp lý ( ) ( ) ( ) ( )5 15201 2 5 1 2 2 2 21 1 1 1 1 1 1, , 20,5 1 1 1d d d d d h dπ π π   = − − + − + −    . Lấy tích phân tích hai hàm trên ta được hằng số chuẩn hóa ( ) ( ) 1 111 1 6 1 1 2 1 2 21 1 1 1 1 1 0 0 0 , , , , 20,5 9.7012 x 10 d D d d d f d d d d d dπ π π − −= =∫ ∫ ∫  . Từ đó suy ra hàm mật độ hậu nghiệm lề ( ) ( )20,5jg π của π . Hình 2.3. Từ mật độ phân phối hậu nghiệm của π ta tính được trung bình và phương sai hậu nghiệm của π ( ) ( )20,5 0.1922µ π = và ( ) ( )20,5 3Var 5.6907 x 10π −= . Hình 2.3 Hàm mật độ hậu nghiệm và tiên nghiệm của π theo các xác suất phân loại sai có phân phối Beta. Prior ( )4,16Beta Post ( ) ( )20,5g π 64 Quan sát kết quả ta có thể thấy rằng trung bình hậu nghiệm ở bên trái so với trung bình tiên nghiệm và phân phối hậu nghiệm gọn hơn phân phối tiên nghiệm. Phân phối dự đoán của V là ( ) ( ) ( ) ( ) ( ) 1 20 20 1 0 0 , 0 20V jj f d jψ π π π= ≤ ≤∫  , trong đó ( ) ( ) ( ) ( ) ( ) 1 111 5 1 1 1 1 1 2 21 1 1 1 1 0 0 15 2 2 2 2 21 1 1 1 1 x 1 1 , d f d d d d d d h d f d d d π π π −  = − − +   − + −  ∫ ∫ với ( ) ( )1 1 11 1Beta ,5, 22f d d= và ( ) ( )2 2 21 1Beta ,3,18f d d= . Đồ thị của nó được cho bởi hình 2.4. Hình 2.4 Phân phối dự đoán của V theo các xác suất phân loại sai có phân phối Beta Ta có kỳ vọng trung bình hậu nghiệm và rủi ro Bayes: ( )( ) ( ) ( ) ( ) ( ) 20 20 20,j 20 0 0.2V V j E jµ µ π = = Ψ =∑ , ( ) ( ) ( )( ), 3Var 6.073 x 10n jVn Eρ π −= = . 0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 0.16 j 5 10 14 0 65 Nhận thấy giá trị kỳ vọng trung bình hậu nghiệm của π bằng với trung bình tiên nghiệm của nó, vì thế việc chọn tiên nghiệm để ước lượng π ( )4,16Beta là rất thích hợp. Cuối cùng, xét biến ngẫu nhiên 1 2 41 1Z f f h= − = có hàm mật độ trên [ ]0,2 được cho bởi ( ) ( )19 15 1 24 2 22 . 5, 15, 21;20; , 2 2 z zB z z F zf z − − − − −   = , với 71.821 x 10B = . Đồ thị của Z được thể hiện trong hình 2.5, với trung bình là 1.344 và phương sai 0.044 . Ngoài ra, chúng ta có thể xác định khoảng tin cậy 90% của 1 2 1f f− là [ ]0.999,1.689 Hình 2.5 Hàm mật độ của 1 2 1Z f f= − theo phân loại sai có phân phối Beta. 0.999 1.689 90% f(z ) 66 CHƯƠNG III CẬN CỦA SAI SỐ BAYES TRONG BÀI TOÁN PHÂN LOẠI Trong chương này chúng ta nghiên cứu hai dạng cận của sai số Bayes đó là cận Lissack và Fu, và cận Bhattacharyya trong sự phân loại quan sát phần tử vào một trong hai tổng thể xác định, theo giả thiết π (với π là tỷ lệ của tổng thể 1H trong hỗn hợp đã được đề cập ở chương II) có một phân phối tiên nghiệm. Như đã được xem xét ở chương II, ta có sai số Bayes trong phân loại là ( ) ( ) ( ){ }1 2min , 1e R P f x f x dxπ π= −∫ , nhưng vì việc xác định giá trị chính xác cho eP theo phương pháp số gặp phải nhiều khó khăn nên việc đánh giá tốt nhất lúc này là tìm các giới hạn bị chặn, tức cận trên và cận dưới cho cho sai số eP . Một dạng các cận như vậy đã đạt được theo Lissack và Fu (1976). Chúng được gọi là các cận hậu nghiệm trong không gian pL , ký hiệu bởi ( )1 2,pJ H H π và tìm được bằng cách sử dụng định lý Bayes từ phân phối hậu nghiệm của 1H và 2H với quan sát X x= . Mặt khác, ta còn có cận Bhattacharyy được xác định ( ) ( )21 1 4 1 2 2 1ePπ π ρ π π ρ− − − ≤ ≤ − , trong đó ( ) ( )1 2f x f x dxρ ∞ −∞ = ∫ là chuẩn 1L của trung bình nhân của hai hàm mật độ, với 1 ρ− là khoảng cách Hellinger giữa chúng. Việc nghiên cứu các ảnh hưởng của các tiên nghiệm của π trên hai loại cận ở trên và các phép đo tính hiệu quả sẽ được đề cập để đánh giá sự thực hiện của một phân phối, so sánh giữa hai phân phối tiên nghiệm và từ đó cho phép đưa ra các kết luận và quyết định hữu ích. 67 3.1 Cận cho sai số Bayes trung bình 3.1.1 Các bất đẳng thức cho sai số Bayes trung bình Xét hỗn hợp 3H chứa những phần tử chung của 1H và 2H tương ứng với hàm mật độ ( )1f x và ( )2f x . Gọi π là tỷ lệ trộn của những phần tử 1H trong 3H ( )0 1π< < , khi đó hàm mật độ xác suất của biến ngẫu nhiên X từ 3H có dạng: ( ) ( ) ( ) ( )1 21 .g x f x f xπ π= + − Ký hiệu ( )1 2,pJ H H π là khoảng cách pL hậu nghiệm giữa hai phân phối với độ đo ( ) ( )d t g t dtµ = . Ta có ( ) ( ) ( ) ( ) 1 1 2 1 2, , pp p R J H H P H t P H t g t dtπ   = −    ∫ với 1p ≥ và ( ) ( ) ( ) ( )1 2 1 2, p p R J H H P H t P H t g t dtπ = −∫ , với 0 1p< < . Trong đó ( )iP H t là xác suất để một phần tử thuộc vào tổng thể , 1, 2iH i = sau khi quan sát t được thực hiện. Theo định lý Bayes, ta có ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 2 1 2 1 1 p p p R R f t f t P H t P H t g t dt dt g t π π − − − − =    ∫ ∫ . Do đó khoảng cách pL hậu nghiệm giữa hai phân phối có thể được biểu thị như một khoảng cách pL với độ đo ( ) 1p dt g t −    giữa hai hàm ( )1f xπ và ( ) ( )21 f xπ− , còn được gọi là khoảng cách ( )pL π− giữa hai tổng thể. Bây giờ chúng ta xét π như một biến ngẫu nhiên, với phân phối tiên nghiệm ( ), ,Beta π α β có hàm mật độ ( )f π . Nhưng với bất kỳ phân phối nào trên [ ]0,1 cũng có thể được sử dụng như một phân phối tiên nghiệm cho .π Vì ( ) [ ]1 1 2, 1 2 eE J H H E Pπ ππ  = −  nên từ giới hạn của khoảng cách ( )1L π− giữa hai 68 tổng thể có thể suy ra giới hạn cho sai số Bayes cũng như cho kỳ vọng của sai số Bayes. Ta có bổ đề sau Bổ đề. Giả sử π có phân phối tiên nghiệm ( ), ,Beta π α β . Khi đó i) Khoảng cách W giữa π và 1 π− có hàm mật độ tiên nghiệm ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 1 1 1 1 1 1 1 1 , 0 1 1 2 , w w w w f w w B α β β α α β α β − − − − + −  − + + − + = ≤ ≤    ii) Với 1 p≤ < ∞ , ta có: ( )( ) [ ] ( )( ) ( )1 2 1 21 , 2 1 , 2 p p e pE J H H E P E J H Hπ π ππ π − ≤ ≤ −    và với 0 1p< < , ta có ( ) [ ] ( ) ( ) 1 1 2 1 21 , 2 1 , . 3pp e pE J H H E P E J H Hπ π ππ π      − ≤ ≤ −        Trong đó các kỳ vọng được lấy đối với mật độ tiên nghiệm của π . iii) Với các cận Bhattacharyya, ta có: ( ) [ ] ( ) ( )21 1 4 1 2 2 1 , 4eE E P Eπ π ππ π ρ π π ρ   − − − ≤ ≤ −   trong đó ( ) ( )1 2 0 .f x f x dxρ ∞ = ∫ Chứng minh i) Ta có 1 2W π= − . Vì ( ), ,Betaπ π α β nên bằng cách thay đổi các biến trước khi tính toán, chúng ta có biểu thức i) cho hàm mật độ của W . Thật vậy, giả sử ( )f w là hàm mật độ của ( ) 1 2W g π π= = − và ( )f π là hàm mật độ tiên nghiệm của π . Xét phương trình ( ) 1 2w g π π= = − ta có ( ) ( )1 2 1 1, 2 2 w ww wπ π− += = . Vậy ( )( ) ( )( )1 2 .w g w g wπ π= = Khi đó hàm mật độ của W là 69 ( ) ( ) ( ) ( ) ( ) ( ) ( )1 2 1 2 1 2 1 . 2' ' f f f w f f g g π π π π π π  = + = +  Vì ( ), ,Betaπ π α β nên ta có ( ) ( ) ( ) ( ) ( ) 1 1 1 1 1 2 1 11 1 11 2 2 2 , 2 , w w w wwf f B B α β α β α βπ α β α β − − − − + − − −   −    − +−     = = =    và ( ) ( ) ( ) ( ) ( ) 1 1 1 1 2 2 1 11 1 11 2 2 . 2 , 2 , w w w wwf f B B α β α β α βπ α β α β − − − − + − + +   −    + −+     = = =    Do đó ( ) ( ) ( ) ( ) ( ) ( ) ( )( ) 1 1 1 1 1 2 1 1 w 1 w 1 w 1 w1 . 2 2 , f w f f B α β α β α βπ π α β − − − − + − − + + + −  = + =  ii) Theo bất đẳng thức Holder với 1 p< < ∞ , ta có ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 1 1 2 1 2 1 2, pp R R J H H P H t P H t g t dt P H t P H t g t dtπ   = − ≤ −    ∫ ∫ và ( ) ( ) ( ) ( ) ( ) ( ) ( )1 2 1 2 1 1 2, p R R P H t P H t g t dt P H t P H t g t dt J H H π− ≤ − =∫ ∫ . Từ đó lấy kỳ vọng hai vế đối với tiên nghiệm của π , ta được ( )( ) ( ) ( )1 2 1 1 2 1 2, , , p p pE J H H E J H H E J H Hπ π ππ π π     ≤ ≤      . Mặt khác ( ) ( ) ( ) ( ) ( ) ( ) ( ){ } 1 1 2 1 2 1 2 , 1 1 2 min , 1 1 2 .e J H H f t f t dt f t f t dt P π π π π π = − − = − − = − ∫ ∫ Do đó ( )( ) [ ] ( )( )1 2 1 21 , 2 1 , p p e pE J H H E P E J H Hπ π ππ π − ≤ ≤ −    . 70 Tương tự với 0 1p< < , theo bất đẳng thức Holder đối với số mũ âm, ta có: ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 1 1 2 1 1 1 1, pp R R J H H P H t P H t g t dt P H t P H t g t dtπ   = − ≥ −    ∫ ∫ và ( ) ( ) ( ) ( )1 1 2 1 1, p R J H H P H t P H t g t dtπ ≤ −∫ . Do đó ( ) ( ) ( ) 1 1 2 1 1 2 1 2, , ,pp pJ H H J H H J H Hπ π π  ≤ ≤  . Lấy kỳ vọng hai vế đối với tiên nghiệm của π và dựa vào biểu thức ( )1 1 2, 1 2 eJ H H Pπ = − , ta có ( ) [ ] ( ) 1 1 2 1 21 , 2 1 , .pp e pE J H H E P E J H Hπ π ππ π      − ≤ ≤ −        Nhận xét. Ta thấy rằng khi 1p > , khoảng cách giữa các cận trên và cận dưới của eP tăng lên theo giá trị của p . iii) Ta có ( ) ( ) ( ){ }1 2min , 1 .e R P f x f x dxπ π= −∫ Vì { } ( )1min , , 0,1 và 0, 0a b a b a bα α α−≤ ∈ > > nên với 1 2 α = , ta có ( ) ( ) ( ) ( )1 2 0 1 1eP f x f x dxπ π π π ρ ∞ ≤ − ≤ −∫ , với ( ) ( )1 2 0 .f x f x dxρ ∞ = ∫ Đặt ( ) ( ) ( )1 1 22E P H t P H t g t dt= ∫ . Ta có ( ) ( ) ( ) ( ){ }1 2 1 22 min ,P H t P H t P H t P H t≥ khi ( ) ( ){ }1 22max , 1P H t P H t ≥ . Do đó, ký hiệu ( ) ( ){ }1 2min ,A P H t P H t= , ta có 71 ( ) ( ) ( ){ } ( ) ( ){ } ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 2 1 2 1 2 min , 1 min , 2 2 1 2 1 2 1 2 . e R R e e e P f t f t dt P H t P H t g t dt P H t P H t g t dt E A A E A E A P P P π π= − =  ≤ = −  ≤ − = − ≤ ∫ ∫ ∫ Đặt ( ) ( ) ( ) ( ) ( )( )1 2 1 2P H t P H t g t dt E P H t P H tδ = =∫ . Ta có 2 1 1 1 1 11 4 1 2 2 2 2 2 e E Pδ− − ≤ − − ≤ . Thật vậy, trước hết từ bất đẳng thức Jensen ta có ( ) ( )( ) ( ) ( ) ( ) 2 2 1 2 1 2 1 2 1 .e e E P H t P H t E P H t P H t E P P δ =  ≤   = ≤ − Mặt khác ( )11 2 1 4 1 1 2e e eE P P P− ≥ − − = − . Suy ra 21 2 1 4eP δ− ≤ − Hay 21 1 1 4 2 2 e Pδ− − ≤ . Như vậy ( ) ( )21 1 4 1 2 2 1 .ePπ π ρ π π ρ− − − ≤ ≤ − Lấy kỳ vọng hai vế đối với π ta được bất đẳng thức (4). Bổ đề đã được chứng minh. Nhận xét. 1E trong cách đặt ở chứng minh trên được gọi là sai số lân cận gần nhất trong bài toán phân loại phần tử, ký hiệu NNL và có mối quan hệ với sai số Bayes: 2e NN eP L P≤ ≤ . 72 Chú ý rằng hai loại cận ở trên bổ sung cho nhau, cận thứ nhất sử dụng cho trường hợp 0, 1p p> ≠ còn cận thứ hai sử dụng đối với 1p = . Nhận thấy rằng vì cả π và phần bù của nó 1 π− đều xảy ra trong hỗn hợp nên chúng cần phải được xem xét cùng nhau. Do đó, việc tìm khoảng cách 1 2W π= − là điều cần thiết, W thay đổi từ 0 đến 1, 0W = khi 1 2 π = và 1W = khi 0π = hoặc 1π = . Trường hợp khi π là biến ngẫu nhiên có phân phối tiên nghiệm suy biến tại 1 2 , ta có 0W = và ( ) ( ) ( ) ( ) ( ) 1 1 2 1 2 1 1 2 1 1, 1, 1 . 2 2 p p p p R f t f t J H H dt p f t f t π −  −   = = < ≥     +  ∫ Khi π có phân phối suy biến tại 0 hoặc 1, ta có 1W = và ( ) ( )1 2 1 2, 0 , 1 1.p pJ H H J H Hπ π= = = = Để nghiên cứu một dạng tính hiệu quả của một phân phối tiên nghiệm, chúng ta có thể xem xét khoảng cách mà nó tạo ra giữa hai cận của [ ]2 eE Pπ và khoảng cách W được xem xét lúc đầu. 3.1.2 Đơn vị đo tính hiệu quả của phân phối tiên tiên nghiệm 3.1.2.1 Định nghĩa. Giả sử ( ).f là phân phối tiên nghiệm của π . Khi đó đơn vị đo tính hiệu quả (ký hiệu S – tính hiệu quả) cho ( ).f : ( )pfλ với 0 , 1p p< ≠ và fθ được định nghĩa như sau: i) Với 0 , 1p p< ≠ , ( ) ( ) ( ) [ ] 1 2 1 2, , , 2 p p pp f E J H H E J H H E W π π π π π λ    −   = với 1p > và ( ) ( ) ( ) [ ] 1 1 2 1 2, , , 2 p p pp f E J H H E J H H E W π π π π π λ    −   = với 0 1.p< < ii) Tương tự, sử dụng cận Bhattacharrya định nghĩa 73 ( ) ( ) [ ] 22 1 1 4 1 1 2f E E E W π π π ρ π π π π ρ θ − + − − − = như một đơn vị đo tính hiệu quả tương ứng trong 1L . 3.1.2.2 Định nghĩa. Cho hai phân phối tiên nghiệm phân biệt ( )1 .f và ( )2 .f và một giá trị cố định của p, ta định nghĩa 1f hiệu quả hơn 2f (hoặc S – hiệu quả hơn) theo cận Lissack-Fu, ký hiệu bởi ( )1 2LF pf f> nếu ( ) ( ) 1 2 p p f fλ λ> . Tương tự, 1f hiệu quả hơn 2f theo cận Bhattacharyya, ký hiệu bởi 1 2Bf f> nếu 1 2f f θ θ> . 3.1.2.3 Định lý. Cho phân phối tiên nghiệm ( ).f của π và ( ) 1 2 E π ≠ . i) ( )pfλ là một hàm tăng của p , với 1p > . Hơn nữa, với p cố định, ta có: ( ) ( ) ( ) 1 1 1 1 2 1 2 p f p p p E λ π − − − < − . ii) ( ) 2 1 . 2 1 2f E θ π − < − Chứng minh i) Vì khoảng cách giữa hai cận của eP là hàm tăng theo ( ) 1p p > nên ta có ( )pfλ cũng là một hàm tăng theo p . Mặt khác, ta có cực đại khoảng cách giữa hai cận L – F của eP là 1 1 1 2 p p pp p − − − −− và đối với cận Bhattachayya là 2 1 2 − , nên ( ) ( ) [ ] 1 1 1 1 2 p p p p E W ξ π λ − − − ≤ và [ ] 2 1 2E Wξ π θ −≤ . Vì 1 2W π= − là hàm lồi nên theo bất đẳng thức Jensen ta có 74 [ ] ( )1 2 1 2E W E Eπ π ππ π= − ≥ − . Vì ( ) 1 2 E π ≠ nên ( ) ( ) ( ) 1 1 1 1 2 1 2 p f p p p E λ π − − − < − và ( ) 2 1 . 2 1 2f E θ π − < − Định lý đã được chứng minh. Nhận xét. Khi α β= →∞ ta có ( ) 1 2 E π → , do đó ( )pfλ →∞ (tương tự fθ →∞ ). Như vậy, theo sự sắp thứ tự của các phân phối tiên nghiệm của π , đối với một họ các tiên nghiệm như Beta có thể xác định các tham số ( )* *,α β để làm cho ( )*pfλ cực đại được hay không? Với ( ) 1 2 E π ≠ , phương trình ( )pf UBλ = (ký hiệu UB là cận trên) đã được chứng minh là không có nghiệm với bất kỳ ( )* *, .α β Do đó mặc dù có thể tìm ( )', 'α β để mà ( ) ( )' p p f f UBλ λ< < nhưng cận trên của ( ) p fλ chưa bao giờ đạt được. Kết quả tương tự được áp dụng đối với fθ . 3.2 Phân tích hậu nghiệm Tương tự như trong chương II, để đơn giản, chúng ta sẽ xét trường hợp phân loại trực tiếp dựa trên hai hàm mật độ với xác suất phân loại sai tương ứng là 1 1d và 2 1 d với hệ số chồng lấp 1 21 1d dε = + . Khi đó, như đã được chứng minh trong chương II, nếu π có phân phối tiên nghiệm ( ), ,Beta π α β và với n quan sát từ hỗn hợp, trong đó có j quan sát thuộc 1H , ta có hàm mật độ xác suất hậu nghiệm của π là ( ) ( ) ( ) [ ] [ ]( ) ( ) , , 0 , , . 1 1 , , j n j n j n j Beta A B P A B π α β π π φ π − − − = trong đó, ( )2 21 1 1 1, 1 A B d d ε ε− − = = − và ( ) ( )( ) ( ) 1 0 , 1 1 .j n jL n j f A B dπ π π π−= − −∫ 75 Phân phối hậu nghiệm của khoảng cách giữa và 1π π− Định lý . Giả sử π là tỷ lệ trộn trong hỗn hợp với hàm mật độ ( ) ( ) ( ) ( )1 21g x f x f xπ π= + − và sự phân loại sai vào 2H hoặc 1H với xác suất tương ứng là 1 21 1d và d . Nếu π có phân phối tiên nghiệm là ( ), ,Beta π α β và với n quan sát từ hỗn hợp có j quan sát thuộc vào 1H , khi đó W có hàm mật độ hậu nghiệm ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 1, 1 1 ,1 0 1 1 2 2 1 1 2 2 / 2 , , , j n jn j j n j n jn f w w w A Aw B Bw w w A Aw B Bw B P A B α β α β α β α β −− − −− − + + −     = − + − + − +       + + − − − − −         trong đó ( ) ( ),0 ,n jP A B là đa thức chỉ theo A hoặc B khi j n= hoặc 0j = . Chứng minh Ta có 1 2W π= − . Vì π có phân phối hậu nghiệm được cho bởi hàm mật độ ( ) ( ) ( ) [ ] [ ]( ) ( ) , , 0 , , . 1 1 , j n j n j n j Beta A B P A B π α β π π φ π − − − = nên bằng cách thay đổi các biến trước khi tính toán, chúng ta có biểu thức cho hàm mật độ hậu nghiệm của W . Thật vậy, giả sử ( ) ( ),n jf w là hàm mật độ của ( ) 1 2W g π π= = − và ( ) ( ),n jφ π là hàm mật độ của π . Xét phương trình ( ) 1 2w g π π= = − ta có ( ) ( )1 2 1 1, 2 2 w ww wπ π− += = . Vậy ( )( ) ( )( )1 2w w w .g gπ π= = Khi đó hàm mật độ hậu nghiệm của W là ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) , , , , ,1 2 1 2 1 2 1 . 2' ' n j n j n j n j n jf w g g φ π φ π φ π φ π π π  = + = +  Ta có 76 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) , , 1 , 0 1 1 ,2 0 1 w 2 1 w 1 w 1 w, , . 1 1 2 2 2 , 1 w 1 w 2 Aw 2 w 2 , , n j n j j n j n j j n j n jn Beta A B P A B A B B B P A B α β α β φ π φ α β α β − −− − + + − − =        − − −     − −                =    − + − + − +   = và ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) , , 2 , 0 1 1 ,2 0 1 2 1 1 1, , . 1 1 2 2 2 , 1 1 2 2 . 2 , , n j n j j n j n j j n j n jn w w w wBeta A B P A B w w A Aw B Bw B P A B α β α β φ π φ α β α β − −− − + + − + =        + + +     − −                =    + − − − − −   = Từ đó suy ra phân phối hậu nghiệm của W có hàm mật độ cho bởi biểu thức (5). Định lý đã được chứng minh. Từ các kết quả trên, chúng ta có thể tính được ( ) ( )( ), 1 2,n j pE J H Hπ π và ( ) ( ) ( ). . , , n j n j ff pλ θ thông qua hàm mật độ hậu nghiệm của π và W . 3.3 Ví dụ cụ thể Giống như trong chương II, ở đây ta vẫn lấy hai tổng thể 1H và 2H với phân phối ( )21 5,9X N và ( )22 18,6X N . Tỷ lệ π của 1H được cho bởi phân phối tiên nghiệm ( )Beta ,4,16π . 3.3.1 Phân tích tiên nghiệm Phân phối tiên nghiệm π có hàm mật độ ( ) ( )( ) 153 1 4,16 f B π π π − = , với trung bình và phương sai ( ) 0.20E π = và ( ) 37.619 x 10Var π −= . Khoảng cách W giữa π và 1 π− có hàm mật độ tiên nghiệm 77 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) [ ] 3 15 15 3 19 3 15 15 3 1 1 1 1 2 4,16 1 1 1 1 , 0 1. 33.81631 w w w w f w B w w w w w  − + + − + =     − + + − + = ≤ ≤ Khi đó ( ) 0.6003E Wπ = và ( ) 0.0301Var Wπ = . Tính cận Lissack-Fu và cận Bhattacharyya cho [ ]eE Pπ Bây giờ giả sử 2p = , ta có thể tính được ( )( ) ( ) ( ) ( )( ) ( ) ( ) ( ) ( ) 2 15312 1 2 1 2 1 20 1 1 , 0.6768 4,161p f t f t E J H H dtd Bf t f tπ π π π π π π π π − − −  = =    + −  ∫ ∫  và ( )2 1 2, 0.8208E J H Hπ π  =  . Từ đó cận Lissack và Fu xác định bởi [ ]0.0896 0.1616eE Pπ≤ ≤ . Tương tự, ta có cận Bhattacharyya của [ ]eE Pπ [ ]0.0705 0.251eE Pπ≤ ≤ . S – tính hiệu quả của một phân phối tiên nghiệm và so sánh hai tiên nghiệm Ký hiệu ( )1f π là hàm mật độ tiên nghiệm thứ nhất của π với phân phối ( )Beta ,4,16π . Với 2p = , ta tính được ( ) 1 2 0.8208 0.6768 0.1199 2 x 0.6003f λ −= = . Giả sử lấy ( )Beta ,2,18π là phân phối tiên nghiệm thứ hai của π với hàm mật độ ( )2f π . Khi đó ( )2 2 0.0560fλ = . Ta có ( ) ( ) 1 2 2 2 f fλ λ> nên ( )1 22LFf f> . Như vậy, theo sự đánh giá này chúng ta thấy sử dụng tiên nghiệm ( )Beta ,4,16π thích hợp hơn tiên nghiệm ( )Beta ,2,18π . 78 Tương tự 1 0.3006fθ = và 2 0.1800fθ = . Do đó 1 2Bf f> . Từ đây các cận trên của ( ) ( ) 1 2 2 2 và f fλ λ cũng lần lượt tính được là 0.2083 và 0.1565. Tương tự, cận trên đối với 1f θ là 0.3451 và đối với 2f θ là 0.2588. 3.3.2 Phân tích hậu nghiệm Khi π phân phối tiên nghiệm ( )Beta ,4,16π thì phân phối hậu nghiệm của π và W có hàm mật độ xác định bởi ( ) ( ) ( ) ( ) ( )( ) ( ) ( ) 15 5 153 20,5 20,5 0 1 1 1 , 4,16 A B P A B B π π π π φ π − − − = , ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 5 153 1520,5 5 153 15 20,539 0 1 1 2 2 1 1 2 2 / 2 4,16 , , f w w w A Aw B Bw w w A Aw B Bw B P A B     = − + − + − +       + + − − − − −         trong đó ( ) ( )20,504.8716, 0.7183, , 2.5593A B P A B= − = = . Phân phối W được thể hiện trong hình 3.1. Hình 3.1. Phân phối tiên nghiệm và hậu nghiệm của khoảng cách giữa và W π 1 π− prior posterior f(w ) 79 Ta có trung bình và phương sai hậu nghiệm của W là ( ) ( )20,5 0.6092E Wπ = và ( ) ( )20,5 0.023Var Wπ = . Trung bình hậu nghiệm của W lệch về bên phải một ít so với phân phối tiên nghiệm và có phương sai nhỏ hơn phương sai tiên nghiệm. Bây giờ giả sử lấy và tính toán ta thấy rằng cận hậu nghiệm Lissack và Fu cho [ ]eE Pπ là . So sánh với cận L-F tiên nghiệm tại cùng một giá trị ta thấy có sự tăng lên tương đối nhỏ đối với cả cận trên và cận dưới của [ ]eE Pπ . Tương tự cận hậu nghiệm Bhattacharyya: . So với cận tiên nghiệm thì hai giá trị này cũng có tăng lên một ít. Đồng thời cũng tính được đơn vị đo tính hiệu quả hậu nghiệm đối với là ( ) ( ) 20,6 1 2 0.1246 fφ λ = và ( )( )20,6 1 2 0.2971 fφ θ = . Nhận xét. ( ) ( ) ( ) ( ) ( ) 20,6 1 1 20,6 1 1 2 2 2 0.1246 0.1199 0.2971 0.3006 f f f f φ φ λ λ θ θ = > = = > = . 6j = [ ]0.0953 0.1712eE Pπ≤ ≤ 2p = [ ]0.0710 0.254eE Pπ≤ ≤ ( )1f π 80 KẾT LUẬN Luận văn đã trình bày các lý thuyết về phương pháp phân loại các phần tử vào một trong hai tổng thể trên R trực tiếp dựa trên các hàm mật độ và trình bày các phân loại sai theo khoảng cách . Đồng thời luận văn cũng đã nêu khái quát về phương pháp Bayes và lý thuyết quyết định để từ đó thực hiện phân tích tỷ lệ trộn những phần tử trong hỗn hợp , phân tích các kết quả hậu nghiệm cho và đưa ra những ví dụ cụ thể để phân tích làm rõ hơn vấn đề trong việc chọn hàm mật độ tiên nghiệm cho , quan sát dữ liệu và tính toán các kết quả hậu nghiệm của để đưa ra ước lượng tốt nhất cho . Trong chương 3, luận văn đã nêu một số kết quả về giới hạn cho trung bình sai số Bayes khi được xem như một biến ngẫu nhiên. Và từ đó đưa ra định nghĩa các phép đo tính hiệu quả để đánh giá sự thực hiện của một phân phối và so sánh giữa hai phân phối tiên nghiệm. Vì tỷ lệ và luôn được xem xét cùng nhau trong hỗn hợp nên việc tìm phân phối tiên nghiệm và hậu nghiệm cho khoảng cách này cũng được trình bày ở đây. Lý thuyết về phương pháp Bayes trong bài toán phân loại và phân tích tham số trong một mô hình xác suất nào đó được xem là khá vững mạnh so với các phương pháp khác, so với phương pháp thống kê cổ điển (hay thống kê tần suất) thì việc suy diễn về tham số trong phương pháp Bayes là tối ưu và thuận lợi hơn do đó luận văn đã thực hiện phần nào suy diễn về theo cách thức của thống kê Bayes và trình bày theo chuẩn để làm cơ sở cho việc phân loại các phần tử trong các tổng thể khi chưa biết về một tỷ lệ của tổng thể nào đó trong hỗn hợp. Các kết quả của luận văn có thể làm cơ sở cho việc nghiên cứu về suy diễn tham số theo thống kê Bayes, một số vấn đề trong bài toán phân loại phần tử và các giới hạn bị chặn của sai số Bayes. Tuy nhiên, do còn hạn chế về kiến thức và thời gian nên luận văn chưa thể hiện hết các phân tích về tham số trên tất cả các khía cạnh của thống kê Bayes và lý 1L π 1H 3H π π π π π π 1 π− π 1L 81 thuyết quyết định cũng như chưa mở rộng vấn đề đối với hỗn hợp nhiều tổng thể. Do đó chúng tôi định hướng cho những nghiên cứu tiếp theo là sẽ giải quyết những vấn đề chưa được làm rõ và mở rộng đến nhiều ứng dụng hơn trong thống kê Bayes. 82 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Võ Văn Tài (2010), Sử dụng hàm cực đại trong phân tích nhận dạng thống kê cho nhiều tổng thể nhiều chiều, Luận án tiến sĩ toán học, Đại học Quốc gia TPHCM. [2] Võ Văn Tài, Phạm Gia Thụ, Tô Anh Dũng (2008), “Sai số Bayes và khoảng cách giữa hai hàm mật độ xác suất trong phân loại hai tổng thể”, Tạp chí phát triển khoa học công nghệ, Đại học Quốc gia TPHCM, 11(6), tr.23-37. [3] Võ Văn Tài, Phạm Gia Thụ, Tô Anh Dũng (2008), “Ước lượng Bayes cho tỉ lệ trộn trong phân loại và nhận dạng hai tổng thể”, Tạp chí phát triển khoa học công nghệ, Đại học Quốc gia TPHCM, 11(1), tr.21-30. [4] Nguyễn Thị Hải Yến (2012), Sử dụng hàm cực đại vào bài toán phân biệt và phân chùm, Luận văn thạc sĩ toán học, Đại học sư phạm TPHCM. Tiếng Anh [1] Anderson, T.W. (1984), An introduction to multivariate statistical analysis, Wiley, New York. [2] William M. Bolstad (2007), Introduction to Bayesian statistics, Wiley. [3] Luc Devroye, László Gyorfi, Gábor Lugosi (1996), A Probabilistic Theory of Pattern Recognition, Springer. [4] Jayanta K. Ghosh, Mohan delampady, Tapas (2006), An introduction to Bayesian analysis theory and methods, Springer. [5] Lymon Ott, R., Micheal longnecker, An introduction to statistical methods and data analysis, Texas A&M university. [6] Pham – Gia, T., and Turkkan, N. (2006), “Bayesian analysis in the - norm of the mixing proportion using discriminant analysis”, Metrika 64(1), pp.1-22. [7] Pham – Gia, T., Turkkan, N. and Bekker, A., (2006), “Bounds for the Bayes error in classification: A Bayesian approach using discrimination analysis”, Statistical Methods and Applications 16, pp.7-26. 1L 83 [8] Pham – Gia, Turkkan, N and Tai, Vovan, (2008), “The maximum function in statistical discrimination analysis”, Commun. In Stat – Simulation computation 37(2), pp.320-336. [9] Larry Wasserman (2003), All of statistics, Springer.