Nhận dạng ký tự số bằng mạng neuron

§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 1 MỞ ĐẦU Kỹ thuật nhận dạng hiện nay đang được nhiều người quan tâm, bởi đây là một ngành khoa học có rất nhiều ứng dụng trong khoa học kỹ thuật, tin học, sinh học và cả trong lĩnh vực an ninh quốc gia. Nó là một bộ phận quan trọng trong các hệ thống thông minh; được sử dụng trong việc dò tìm, xử lý số liệu và hỗ trợ ra quyết định,… Nói một cách tổng quát thì nhận dạng là một bộ môn khoa học có liên quan một cách hữu cơ đến việc phân lớp, tính toán các độ đo. Bài toán nhận dạng ký tự là một bài toán con trong lớp bài toán nhận dạng và xử lý ảnh. Có rất nhiều phương pháp khác nhau để giải quyết bài toán này và phương pháp áp dụng mạng neuron đã mang lại hiệu quả khá cao. “Nhận dạng ký tự số bằng mạng neuron ” là nội dung đề tài. Để nhận dạng các ký tự số tôi lựa chọn “Mạng neuron 2 lớp lan truyền ngược sai số”. Mặc dù đã có nhiều cố gắng trong quá trình thực hiện nhưng đề tài không thể tránh được những thiếu sót mong sự góp ý của thầy giáo và các ban. Tôi xin chân thành cảm ơn sự hướng dẫn của Thầy giáo TS. Đào Thanh Tĩnh – Khoa CNTT – HVKTQS, xin cảm ơn sự góp ý quý báu của các bạn học viên . Người thực hiện. §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 2 m¹ng n¬ ron nh©n t¹o vµ NhËn d¹ng theo m¹ng n¬ ron i. tæng quan vÒ nhËn d¹ng NhËn d¹ng lµ qu¸ tr×nh ph©n lo¹i c¸c ®èi t−îng ®−îc biÓu diÔn theo mét m« h×nh nµo ®ã vµ g¸n cho chóng vµo mét líp (g¸n cho ®èi t−îng mét tªn gäi) dùa theo nh÷ng quy luËt vµ c¸c mÉu chuÈn. Qu¸ tr×nh nhËn d¹ng dùa vµo nh÷ng mÉu häc biÕt tr−íc gäi lµ nhËn d¹ng cã thµy hay häc cã thµy (supervised learning); trong tr−êng hîp ng−îc l¹i gäi lµ häc kh«ng cã thµy (non supervised learning). Chóng ta sÏ lÇn l−ît giíi thiÖu c¸c kh¸i niÖm nµy. 1.1 Kh«ng gian biÓu diÔn ®èi t−îng, kh«ng gian diÔn dÞch Kh«ng gian biÓu diÔn ®èi t−îng C¸c ®èi t−îng khi quan s¸t hay thu thËp ®−îc, th−êng ®−îc biÓu diÔn bëi tËp c¸c ®Æc tr−ng hay ®Æc tÝnh. Nh− trong tr−êng hîp xö lý ¶nh, ¶nh sau khi ®−îc t¨ng c−êng ®Ó n©ng cao chÊt l−îng, ph©n vïng vµ trÝch chän ®Æc tÝnh, ®−îc biÓu diÔn bëi c¸c ®Æc tr−ng nh− biªn, miÒn ®ång nhÊt, v...,v. Ng−êi ta th−êng ph©n c¸c ®Æc tr−ng nµy theo c¸c lo¹i nh−: ®Æc tr−ng t« p«, ®Æc tr−ng h×nh häc vµ ®Æc tr−ng chøc n¨ng. ViÖc biÓu diÔn ¶nh theo ®Æc tr−ng nµo lµ phô thuéc vµo øng dông tiÕp theo. ë ®©y ta ®−a ra mét c¸ch h×nh thøc viÖc biÓu diÔn c¸c ®èi t−îng. Gi¶ sö ®èi t−îng X (¶nh, ch÷ viÕt, dÊu v©n tay, v...,v) ®−îc biÓu diÔn bëi n thµnh phÇn (n ®Æc tr−ng): X = {x1, x2,..., xn}; mçi xi biÓu diÔn mét ®Æc tÝnh. Kh«ng gian biÓu diÔn ®èi t−îng th−êng gäi t¾t lµ kh«ng gian ®èi t−îng X ®−îc ®Þnh nghÜa: X = {X1, X2,..., Xm} trong ®ã mçi Xi biÓu diÔn mét ®èi t−îng. Kh«ng gian nµy cã thÓ lµ v« h¹n. §Ó tiÖn xem xÐt chóng ta chØ xÐt tËp X lµ h÷u h¹n. Kh«ng gian diÔn dÞch Kh«ng gian diÔn dÞch lµ tËp c¸c tªn gäi cña ®èi t−îng. KÕt thóc qu¸ tr×nh nhËn d¹ng ta x¸c ®Þnh ®−îc tªn gäi cho c¸c ®èi t−îng trong tËp kh«ng gian ®èi §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 3 t−îng hay nãi lµ ®· nhËn d¹ng ®−îc ®èi t−îng Mét c¸ch h×nh thøc gäi Ω lµ tËp tªn ®èi t−îng: Ω = {w1, w2,...,wk} víi wi, i = 1, 2,..., k lµ tªn c¸c ®èi t−îng Qu¸ tr×nh nhËn d¹ng ®èi t−îng f lµ mét ¸nh x¹ f: X ---> Ω víi f lµ tËp c¸c quy luËt ®Ó ®Þnh mét phÇn tö trong X øng víi mét phÇn tö trong Ω. NÕu tËp c¸c quy luËt vµ tËp tªn c¸c ®èi t−îng lµ biÕt tr−íc nh− trong nhËn d¹ng ch÷ viÕt (cã 26 líp tõ A ®Õn Z), ng−êi ta gäi lµ nhËn d¹ng cã thµy. Tr−êng hîp thø hai lµ nhËn d¹ng kh«ng cã thµy. §−¬ng nhiªn trong tr−êng hîp nµy viÖc nhËn d¹ng cã khã kh¨n h¬n. 1.2 M« h×nh vµ b¶n chÊt cña qu¸ tr×nh nhËn d¹ng 1.2.1 M« h×nh ViÖc chän lùa mét qu¸ tr×nh nhËn d¹ng cã liªn quan mËt thiÕt ®Õn kiÓu m« t¶ mµ ng−êi ta sö dông ®Ó ®Æc t¶ ®èi t−îng. Trong nhËn d¹ng, ng−êi ta ph©n chia lµm 2 hä lín: - Hä m« t¶ theo tham sè. - Hä m« t¶ theo cÊu tróc. C¸ch m« t¶ ®−îc lùa chän sÏ x¸c ®Þnh m« h×nh cña ®èi t−îng. Nh− vËy, chóng ta sÏ cã 2 lo¹i m« h×nh: m« h×nh theo tham sè vµ m« h×nh cÊu tróc. • M« h×nh tham sè sö dông mét vÐct¬ ®Ó ®Æc t¶ ®èi t−îng. Mçi phÇn tö cña vÐct¬ m« t¶ mét ®Æc tÝnh cña ®èi t−îng. ThÝ dô nh− trong c¸c ®Æc tr−ng chøc n¨ng, ng−êi ta sö dông c¸c hµm c¬ së trùc giao ®Ó biÓu diÔn. Vµ nh− vËy ¶nh sÏ ®−îc biÓu diÔn bëi mét chuçi c¸c hµm trùc giao. Gi¶ sö C lµ ®−êng bao cña ¶nh vµ C(i,j) lµ ®iÓm thø i trªn ®−êng bao, i = 1, 2,..., N (®−êng bao gåm N ®iÓm). Gi¶ sö tiÕp : x0 = 1 1N i N = ∑ xi §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 4 y0 = 1 1N i N = ∑ yi lµ to¹ ®é t©m ®iÓm. Nh− vËy, moment trung t©m bËc p, q cña ®−êng bao lµ: µpq = 1 1N i N = ∑ (xi-x0)p(yi-y0)q (1) VÐct¬ tham sè trong tr−êng hîp nµy chÝnh lµ c¸c moment µij víi i=1, 2,...,p vµ j=1, 2,...,q. Cßn trong sè c¸c ®Æc tr−ng h×nh häc, ng−êi ta hay sö dông chu tuyÕn , ®−êng bao, diÖn tÝch vµ tØ lÖ T = 4piS/p2, víi S lµ diÖn tÝch, p lµ chu tuyÕn. ViÖc lùa chän ph−¬ng ph¸p biÓu diÔn sÏ lµm ®¬n gi¶n c¸ch x©y dùng. Tuy nhiªn, viÖc lùa chän ®Æc tr−ng nµo lµ hoµn toµn phô thuéc vµo øng dông. ThÝ dô , trong nhËn d¹ng ch÷, c¸c tham sè lµ c¸c dÊu hiÖu: - sè ®iÓm ch¹c ba, ch¹c t−, - sè ®iÓm chu tr×nh, - sè ®iÓm ngoÆt, - sè ®iÓm kÕt thóc, 1.2.2 B¶n chÊt cña qu¸ tr×nh nhËn d¹ng Qu¸ tr×nh nhËn d¹ng gåm 3 giai ®o¹n chÝnh: - Lùa chän m« h×nh biÓu diÔn ®èi t−îng. - Lùa chän luËt ra quyÕt ®Þnh (ph−¬ng ph¸p nhËn d¹ng) vµ suy diÔn qu¸ tr×nh häc. - Häc nhËn d¹ng. Khi m« h×nh biÓu diÔn ®èi t−îng ®· ®−îc x¸c ®Þnh, cã thÓ lµ ®Þnh l−îng (m« h×nh tham sè) hay ®Þnh tÝnh (m« h×nh cÊu tróc), qu¸ tr×nh nhËn d¹ng chuyÓn sang giai ®o¹n häc. Häc lµ giai ®o¹n rÊt quan träng. Thao t¸c häc nh»m c¶i thiÖn, ®iÒu chØnh viÖc ph©n ho¹ch tËp ®èi t−îng thµnh c¸c líp. ViÖc nhËn d¹ng chÝnh lµ t×m ra quy luËt vµ c¸c thuËt to¸n ®Ó cã thÓ g¸n ®èi t−îng vµo mét líp hay nãi mét c¸ch kh¸c g¸n cho ®èi t−îng mét tªn. §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 5 Häc cã thµy (supervised learning) Kü thuËt ph©n lo¹i nhê kiÕn thøc biÕt tr−íc gäi lµ häc cã thµy. §Æc ®iÓm c¬ b¶n cña kü thuËt nµy lµ ng−êi ta cã mét th− viÖn c¸c mÉu chuÈn. MÉu cÇn nhËn d¹ng sÏ ®−îc ®em s¸nh víi mÉu chuÈn ®Ó xem nã thuéc lo¹i nµo. ThÝ dô nh− trong mét ¶nh viÔn th¸m, ng−êi ta muèn ph©n biÖt mét c¸nh ®ång lóa, mét c¸nh rõng hay mét vïng ®Êt hoang mµ ®· cã c¸c miªu t¶ vÒ c¸c ®èi t−îng ®ã. VÊn ®Ò chñ yÕu lµ thiÕt kÕ mét hÖ thèng ®Ó cã thÓ ®èi s¸nh ®èi t−îng trong ¶nh víi mÉu chuÈn vµ quyÕt ®Þnh g¸n cho chóng vµo mét líp. ViÖc ®èi s¸nh nhê vµo c¸c thñ tôc ra quyÕt ®Þnh dùa trªn mét c«ng cô gäi lµ hµm ph©n líp hay hµm ra quyÕt ®Þnh. Hµm nµy sÏ ®−îc ®Ò cËp trong phÇn sau. Häc kh«ng cã thµy(unsupervised learning) Kü thuËt häc nµy ph¶i tù ®Þnh ra c¸c líp kh¸c nhau vµ x¸c ®Þnh c¸c tham sè ®Æc tr−ng cho tõng líp. Häc kh«ng cã thµy ®−¬ng nhiªn lµ khã kh¨n h¬n. Mét mÆt, do sè líp kh«ng ®−îc biÕt tr−íc, mÆt kh¸c nh÷ng ®Æc tr−ng cña c¸c líp còng kh«ng biÕt tr−íc. Kü thuËt nµy nh»m tiÕn hµnh mäi c¸ch gép nhãm cã thÓ vµ chän lùa c¸ch tèt nhÊt. B¾t ®Çu tõ tËp d÷ liÖu, nhiÒu thñ tôc xö lý kh¸c nhau nh»m ph©n líp vµ n©ng cÊp dÇn ®Ó ®¹t ®−îc mét ph−¬ng ¸n ph©n lo¹i. Nh×n chung, dï lµ m« h×nh nµo vµ kü thuËt nhËn d¹ng ra sao, mét hÖ thèng nhËn d¹ng cã thÓ tãm t¾t theo s¬ ®å sau: TrÝch chän ®Æc tÝnh biÓu diÓn ®èi t−îng ph©n líp ra quyÕt ®Þnh §¸nh gi¸ tr¶ lêi Khèi nhËn d¹ng H 1 S¬ ®å tæng qu¸t mét hÖ nhËn d¹ng Qu¸ tr×nh tiÒn xö lý §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 6 II. m¹ng n¬ ron nh©n t¹o vµ NhËn d¹ng theo m¹ng neuron. 2.1 Bé n·o vµ neuron sinh häc: Tr−íc tiªn, cÇn xem xÐt mét sè kh¸i niÖm c¬ b¶n vÒ bé n·o còng nh− c¬ chÕ ho¹t ®éng cña m¹ng n¬ ron sinh häc. TiÕp theo, ®Ó tiÖn theo dâi, ë ®©y sÏ ®Ò cËp ®Õn mét øng dông cña m¹ng n¬ ron trong nhËn d¹ng ch÷ viÕt. C¸c nhµ nghiªn cøu sinh häc vÒ bé n·o cho ta thÊy r»ng c¸c n¬ ron (tÕ bµo thÇn kinh) lµ ®¬n vÞ c¬ së ®¶m nhiÖm nh÷ng chøc n¨ng xö lý nhÊt ®Þnh trong hÖ thÇn kinh, bao gåm n·o, tuû sèng vµ c¸c d©y thÇn kinh. Mçi n¬ ron cã phÇn th©n víi nh©n bªn trong (gäi lµ soma), mét ®Çu thÇn kinh ra (gäi lµ sîi trôc axon) vµ mét hÖ thèng d¹ng c©y c¸c d©y thÇn kinh vµo (gäi lµ dendrite). C¸c d©y thÇn kinh vµo t¹o thµnh mét l−íi dµy ®Æc xung quanh th©n tÕ bµo, chiÕm diÖn tÝch kho¶ng 0,25 mm2, cßn d©y thÇn kinh ra t¹o thµnh trôc dµi cã thÓ tõ 1 cm cho ®Õn hµng mÐt. §−êng kÝnh cña nh©n tÕ bµo th−êng chØ lµ 10-4m. Trôc d©y thÇn kinh ra còng cã thÓ ph©n nh¸nh theo d¹ng c©y ®Ó nèi víi c¸c d©y thÇn kinh vµo hoÆc trùc tiÕp víi nh©n tÕ bµo c¸c n¬ ron kh¸c th«ng qua c¸c khíp nèi (gäi lµ synapse). Th«ng th−êng, mçi n¬ ron cã thÓ gåm vµi chôc cho tíi hµng tr¨m ngµn khíp nèi ®Ó nèi víi c¸c n¬ ron kh¸c. Ng−êi ta −íc l−îng r»ng l−íi c¸c d©y thÇn kinh ra cïng víi c¸c khíp nèi bao phñ diÖn tÝch kho¶ng 90% bÒ mÆt n¬ ron . C¸c tÝn hiÖu truyÒn trong c¸c d©y thÇn kinh vµo vµ d©y thÇn kinh ra cña c¸c n¬ ron lµ tÝn hiÖu ®iÖn vµ ®−îc thùc hiÖn th«ng qua c¸c qu¸ tr×nh ph¶n øng vµ gi¶i phãng c¸c chÊt h÷u c¬. C¸c chÊt nµy ®−îc ph¸t ra tõ c¸c khíp nèi dÉn tíi c¸c d©y thÇn kinh vµo sÏ lµm t¨ng hay gi¶m ®iÖn thÕ cña nh©n tÕ bµo. Khi ®iÖn thÕ nµy ®¹t tíi mét ng−ìng nµo ®ã, sÏ t¹o ra mét xung ®iÖn dÉn tíi trôc d©y thÇn kinh ra. §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 7 Xung nµy ®−îc truyÒn theo trôc, tíi c¸c nh¸nh rÏ khi ch¹m tíi c¸c khíp nèi víi c¸c n¬ ron kh¸c sÏ gi¶i phãng c¸c chÊt truyÒn ®iÖn. Ng−êi ta chia lµm hai lo¹i khíp nèi: khíp nèi kÝch thÝch (excitatory) hoÆc khíp nèi øc chÕ (inhibitory). Ph¸t hiÖn quan träng nhÊt trong ngµnh nghiªn cøu vÒ bé n·o lµ c¸c liªn kÕt khíp thÇn kinh kh¸ mÒm dÎo, cã thÓ biÕn ®éng vµ chØnh ®æi theo thêi gian tuú thuéc vµo c¸c d¹ng kÝch thÝch. H¬n n÷a, c¸c n¬ ron cã thÓ s¶n sinh c¸c liªn kÕt míi víi c¸c n¬ ron kh¸c vµ ®«i khi, l−íi c¸c n¬ ron cã thÓ di tró tõ vïng nµy sang vïng kh¸c trong bé n·o. C¸c nhµ khoa häc cho r»ng ®©y chÝnh lµ c¬ së quan träng ®Ó gi¶i thÝch c¬ chÕ häc cña bé n·o con ng−êi. PhÇn lín c¸c qu¸ tr×nh xö lý th«ng tin ®Òu x¶y ra trªn vá n·o. Toµn bé vá n·o ®−îc bao phñ bëi m¹ng c¸c tæ chøc c¬ së cã d¹ng h×nh thïng trßn víi ®−êng kÝch kho¶ng 0,5 mm, ®é cao 4 mm. Mçi ®¬n vÞ c¬ së nµy chøa kho¶ng 2000 n¬ ron. Ng−êi ta chØ ra r»ng mçi vïng n·o cã nh÷ng chøc n¨ng nhÊt ®Þnh. §iÒu rÊt ®¸ng ng¹c nhiªn chÝnh lµ c¸c n¬ ron rÊt ®¬n gi¶n trong c¬ chÕ lµm viÖc, nh−ng m¹ng c¸c n¬ ron liªn kÕt víi nhau l¹i cã kh¶ n¨ng tÝnh to¸n, suy nghÜ, ghi nhí vµ ®iÒu khiÓn. Cã thÓ ®iÓm qua nh÷ng chøc n¨ng c¬ b¶n cña bé n·o nh− sau: -Bé nhí ®−îc tæ chøc theo c¸c bã th«ng tin vµ truy nhËp theo néi dung (Cã thÓ truy xuÊt th«ng tin dùa theo gi¸ trÞ c¸c thuéc tÝnh cña ®èi t−îng) -Bé n·o cã kh¶ n¨ng tæng qu¸t ho¸, cã thÓ truy xuÊt c¸c tri thøc hay c¸c mèi liªn kÕt chung cña c¸c ®èi t−îng t−¬ng øng víi mét kh¸i niÖm chung nµo ®ã - Bé n·o cã kh¶ n¨ng dung thø lçi theo nghÜa cã thÓ ®iÒu chØnh hoÆc tiÕp tôc thùc hiÖn ngay khi cã nh÷ng sai lÖch do th«ng tin bÞ thiÕu hoÆc kh«ng chÝnh x¸c. Ngoµi ra, bé n·o cßn cã thÓ ph¸t hiÖn vµ phôc håi c¸c th«ng tin bÞ mÊt dùa trªn sù t−¬ng tù gi÷a c¸c ®èi t−îng. - Bé n·o cã kh¶ n¨ng xuèng cÊp vµ thay thÕ dÇn dÇn. Khi cã nh÷ng trôc trÆc t¹i c¸c vïng n·o (do bÖnh, chÊn th−¬ng) hoÆc b¾t gÆp nh÷ng th«ng tin hoµn toµn míi l¹, bé n·o vÉn cã thÓ tiÕp tôc lµm viÖc. -Bé n·o cã kh¶ n¨ng häc. §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 8 So s¸nh kh¶ n¨ng lµm viÖc cña bé n·o vµ m¸y tÝnh M¸y tÝnh Bé n·o ng−êi §¬n vÞ tÝnh to¸n Bé xö lý trung t©m víi 105m¹ch logic c¬ së M¹ng 1011 n¬ ron Bé nhí 109 bit RAM 1011 n¬ ron 1010 bit bé nhí ngoµi víi 1014 khíp nèi thÇn kinh Thêi gian xö lý 10-8 gi©y 10-3 gi©y Th«ng l−îng 109 bit/gi©y 1014 bit/gi©y CËp nhËt th«ng tin 105 bit/gi©y 1014 n¬ ron/gi©y DÔ dµng thÊy r»ng bé n·o con ng−êi cã thÓ l−u gi÷ nhiÒu th«ng tin h¬n c¸c m¸y tÝnh hiÖn ®¹i; Tuy r»ng ®iÒu nµy kh«ng ph¶i ®óng m·i m·i, bëi lÏ bé n·o tiÕn hãa chËm, trong khi ®ã nhê nh÷ng tiÕn bé trong c«ng nghÖ vi ®iÖn tö, bé nhí m¸y tÝnh ®−îc n©ng cÊp rÊt nhanh. H¬n n÷a, sù h¬n kÐm vÒ bé nhí trë nªn hoµn toµn thø yÕu so víi sù kh¸c biÖt vÒ tèc ®é tÝnh to¸n vµ kh¶ n¨ng xö lý song song. C¸c bé vi xö lý cã thÓ tÝnh 108 lÖnh trong mét gi©y, trong khi ®ã m¹ng n¬ ron xö lý chËm h¬n, cÇn kho¶ng vµi miligi©y ®Ó kÝch ho¹t. Tuy nhiªn, bé n·o cã thÓ kÝch ho¹t hÇu nh− cïng mét lóc t¹i rÊt nhiÒu n¬ ron vµ khíp nèi, trong khi ®ã ngay c¶ m¸y tÝnh hiÖn ®¹i còng chØ cã mét sè h¹n chÕ c¸c bé vi xö lý song song. NÕu ch¹y mét m¹ng n¬ ron nh©n t¹o trªn m¸y tÝnh, ph¶i tèn hµng tr¨m lÖnh m¸y ®Ó kiÓm tra mét n¬ ron cã ®−îc kÝch ho¹t hay kh«ng (tiªu phÝ kho¶ng 10-8 x 102 gi©y/n¬ ron). Do ®ã, dÇu bé vi xö lý cã thÓ tÝnh to¸n nhanh h¬n hµng triÖu lÇn so §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 9 víi c¸c n¬ ron bé n·o, nh−ng xÐt tæng thÓ bé n·o l¹i tÝnh to¸n nhanh h¬n hµng tû lÇn. C¸ch tiÕp cËn m¹ng n¬ ron nh©n t¹o cã ý nghÜa thùc tiÔn rÊt lín cho phÐp t¹o ra c¸c thiÕt bÞ cã thÓ kÕt hîp kh¶ n¨ng song song cao cña bé n·o víi tèc ®é tÝnh to¸n cao cña m¸y tÝnh. Tuy vËy, cÇn ph¶i cã mét kho¶ng thêi gian dµi n÷a ®Ó c¸c m¹ng n¬ ron nh©n t¹o cã thÓ m« pháng ®−îc c¸c hµnh vi s¸ng t¹o cña bé n·o con ng−êi. Ch¼ng h¹n, bé n·o cã thÓ thùc hiÖn mét nhiÖm vô kh¸ phøc t¹p nh− nhËn ra khu«n mÆt ng−êi quen sau kh«ng qu¸ 1 gi©y, trong khi ®ã mét m¸y tÝnh tuÇn tù ph¶i thùc hiÖn hµng tû phÐp tÝnh (kho¶ng 10 gi©y) ®Ó thùc hiÖn cïng thao t¸c ®ã, nh−ng víi chÊt l−îng kÐm h¬n nhiÒu, ®Æc biÖt trong tr−êng hîp th«ng tin kh«ng chÝnh x¸c, kh«ng ®Çy ®ñ. H×nh 2 . CÊu t¹o n¬ ron sinh häc 2.2. M« h×nh m¹ng neuron nh©n t¹o: M¹ng n¬ ron nh©n t¹o (Artificial Neural Network) gäi t¾t lµ MNR bao gåm c¸c nót (®¬n vÞ xö lý, n¬ ron) ®−îc nèi víi nhau bëi c¸c liªn kÕt n¬ ron. Mçi liªn kÕt kÌm theo mét träng sè nµo ®ã, ®Æc tr−ng cho ®Æc tÝnh kÝch ho¹t/ øc chÕ gi÷a c¸c n¬ ron. Cã thÓ xem c¸c träng sè lµ ph−¬ng tiÖn ®Ó l−u gi÷a th«ng tin dµi h¹n trong m¹ng n¬ ron vµ nhiÖm vô cña qu¸ tr×nh huÊn luyÖn (häc) m¹ng lµ cËp nhËt c¸c träng sè khi cã thªm c¸c th«ng tin vÒ c¸c mÉu häc, hay nãi mét c¸ch kh¸c, c¸c träng sè ®−îc ®iÒu chØnh sao cho d¸ng ®iÖu vµo ra cña nã m« pháng hoµn toµn phï hîp m«i tr−êng ®ang xem xÐt. Khíp nèi Nh©n D©y TK vµo Trôc tõ n¬ ron kh¸c Trôc Khíp nèi §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 10 Trong m¹ng, mét sè n¬ ron ®−îc nèi víi m«i tr−êng bªn ngoµi nh− c¸c ®Çu ra, ®Çu vµo. 2.2.1. M« h×nh n¬ ron nh©n t¹o H×nh 3 . M« h×nh n¬ ron nh©n t¹o Mçi n¬ ron ®−îc nèi víi c¸c n¬ ron kh¸c vµ nhËn ®−îc c¸c tÝn hiÖu sj tõ chóng víi c¸c träng sè wj. Tæng c¸c th«ng tin vµo cã träng sè lµ: Net = Σ wj sj. Ng−êi ta gäi ®©y lµ thµnh phÇn tuyÕn tÝnh cña n¬ ron. Hµm kÝch ho¹t g (cßn gäi lµ hµm chuyÓn) ®ãng vai trß biÕn ®æi tõ Net sang tÝn hiÖu ®Çu ra out. out = g ( Net ). §©y lµ thµnh phÇn phi tuyÕn cña n¬ ron. Cã 3 d¹ng hµm kÝch ho¹t th−êng ®−îc dïng trong thùc tÕ: Hµm dÊu    >= <− = 01 01)( xneu xneu xsign hoÆc    >= <− = θ θ xneu xneu xsign 1 1)( Hµm d¹ng b−íc    >= < = 01 00)( xneu xneu xstep hoÆc    >= < = θ θ xneu xneu xstep 1 0)( Hµm kÝch ho¹t Net = Σ g out Hµm vµo §Çu ra C¸c liªn kÕt vµo C¸c liªn kÕt ra sj wj §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 11 Hµm sigmoid )(1 1)( θα +−+= xexsigmoid ë ®©y ng−ìng θ ®ãng vai trß lµm t¨ng tÝnh thÝch nghi vµ kh¶ n¨ng tÝnh to¸n cña m¹ng n¬ ron. Sö dông ký ph¸p vÐct¬, S = (s1,...,sn) vÐct¬ tÝn hiÖu vµo, W=( w1,..., wn) vÐct¬ träng sè, ta cã out = g( Net ) , Net = SW. Tr−êng hîp xÐt ng−ìng θ, ta dïng biÓu diÔn vÐct¬ míi S'=( s1,...,sn, θ), W'=( w1,..., wn,-1) 2.2.2. M¹ng n¬ ron M¹ng n¬ ron lµ hÖ thèng bao gåm nhiÒu phÇn tö xö lý ®¬n gi¶n (n¬ ron) ho¹t ®éng song song. TÝnh n¨ng cña hÖ thèng nµy tuú thuéc vµo cÊu tróc cña hÖ, c¸c träng sè liªn kÕt n¬ ron vµ qu¸ tr×nh tÝnh to¸n t¹i c¸c n¬ ron ®¬n lÎ. M¹ng n¬ ron cã thÓ häc tõ d÷ liÖu mÉu vµ tæng qu¸t hãa dùa trªn c¸c d÷ liÖu mÉu häc. Trong m¹ng n¬ ron, c¸c n¬ ron ®ãn nhËn tÝn hiÖu vµo gäi lµ n¬ ron vµo vµ c¸c n¬ ron ®−a th«ng tin ra gäi lµ n¬ ron ra. 2.2.3. Ph©n lo¹i m¹ng neuron Theo kiÓu liªn kÕt n¬ ron: Ta cã m¹ng n¬ ron truyÒn th¼ng (feel-forward Neural Network) vµ m¹ng n¬ ron qui håi (recurrent NN). Trong m¹ng n¬ ron truyÒn th¼ng, c¸c liªn kÕt n¬ ron ®i theo mét h−íng nhÊt ®Þnh, kh«ng t¹o thµnh ®å thÞ kh«ng cã chu tr×nh (Directed Acyclic Graph) víi c¸c ®Ønh lµ c¸c n¬ ron, c¸c cung lµ c¸c liªn kÕt gi÷a chóng. Ng−îc l¹i, c¸c m¹ng qui håi cho phÐp c¸c liªn kÕt n¬ ron t¹o thµnh chu tr×nh. V× c¸c th«ng tin ra cña c¸c n¬ ron ®−îc truyÒn l¹i cho c¸c n¬ ron ®· gãp phÇn kÝch ho¹t chóng, nªn m¹ng håi qui cßn cã kh¶ n¨ng §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 12 l−u gi÷ tr¹ng th¸i trong cña nã d−íi d¹ng c¸c ng−ìng kÝch ho¹t ngoµi c¸c träng sè liªn kÕt n¬ ron. Theo sè líp: C¸c n¬ ron cã thÓ tæ chøc l¹i thµnh c¸c líp sao cho mçi n¬ ron cña líp nµy chØ ®−îc nèi víi c¸c n¬ ron ë líp tiÕp theo, kh«ng cho phÐp c¸c liªn kÕt gi÷a c¸c n¬ ron trong cïng mét líp, hoÆc tõ n¬ ron líp d−íi lªn n¬ ron líp trªn. ë ®©y còng kh«ng cho phÐp c¸c liªn kÕt n¬ ron nh¶y qua mét líp. H×nh 4 . M¹ng n¬ ron truyÒn th¼ng vµ nhiÒu líp H×nh 5. M¹ng n¬ ron håi qui DÔ dµng nhËn thÊy r»ng c¸c n¬ ron trong cïng mét líp nhËn ®−îc tÝn hiÖu tõ líp trªn cïng mét lóc, do vËy vÒ nguyªn t¾c chóng cã thÓ xö lý song song. Th«ng th−êng, líp n¬ ron vµo chØ chÞu tr¸ch nhiÖm truyÒn ®−a tÝn hiÖu vµo, kh«ng thùc hiÖn mét tÝnh to¸n nµo nªn khi tÝnh sè líp cña m¹ng, ng−êi ta kh«ng tÝnh líp nµo. VÝ dô, m¹ng n¬ ron ë h×nh 5 cã 2 líp : mét líp Èn vµ mét líp ra. 2.2.4. Hai c¸ch nh×n vÒ m¹ng neuron: • M¹ng n¬ ron nh− mét c«ng cô tÝnh to¸n: N¬ ron vµo N¬ ron ra Líp vµo Líp Èn Líp ra a) M¹ng n¬ ron nhiÒu líp b) M¹ng n¬ ron truyÒn th¼ng §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 13 Gi¶ sö m¹ng n¬ ron NN cã m n¬ ron vµo vµ n n¬ ron ra, khi ®ã víi mçi vÐc t¬ c¸c tÝn hiÖu vµo X = (x1,...,xm), sau qu¸ tr×nh tÝnh to¸n t¹i c¸c n¬ ron Èn, ta nhËn ®−îc kÕt qu¶ ra Y=(y1,...,yn). Theo nghÜa nµo ®ã m¹ng n¬ ron lµm viÖc víi t− c¸ch mét b¶ng tra, mµ kh«ng cÇn biÕt d¹ng phô thuéc hµm t−êng minh gi÷a Y vµ X. Khi ®ã ta viÕt : Y = Tinh( X, NN ) CÇn l−u ý thªm r»ng c¸c n¬ ron trªn cïng mét líp cã thÓ tÝnh to¸n ®ång thêi, do vËy ®é phøc t¹p tÝnh to¸n nãi chung sÏ phô thuéc vµo sè líp m¹ng. C¸c th«ng sè cÊu tróc m¹ng n¬ ron bao gåm: + Sè tÝn hiÖu vµo , sè tÝn hiÖu ra. + Sè líp n¬ ron. + Sè n¬ ron trªn mçi líp Èn. + Sè l−îng liªn kÕt cña mçi n¬ ron (liªn kÕt ®Çy ®ñ, liªn kÕt bé phËn vµ liªn kÕt ngÉu nhiªn). + C¸c träng sè liªn kÕt n¬ ron. • M¹ng n¬ ron nh− mét hÖ thèng thÝch nghi cã kh¶ n¨ng häc (huÊn luyÖn) ®Ó tinh chØnh c¸c träng sè liªn kÕt còng nh− cÊu tróc cña m×nh sao cho phï hîp víi c¸c mÉu häc (samples). Ng−êi ta ph©n biÖt ba lo¹i kü thuËt häc: häc cã quan s¸t (supervised learning) hay cßn gäi lµ häc cã thÇy, häc kh«ng cã gi¸m s¸t (unsupervised learning) hay cßn gäi lµ häc kh«ng cã thÇy vµ häc t¨ng c−êng. Trong häc cã gi¸m s¸t, m¹ng ®−îc cung cÊp mét tËp mÉu häc {(Xs,Ys)} theo nghÜa Xs lµ c¸c tÝn hiÖu vµo, th× kÕt qu¶ ra ®óng cña hÖ ph¶i lµ Ys. ë mçi lÇn häc, vect¬ tÝn hiÖu vµo Xs ®−îc ®−a vµo m¹ng, sau ®ã so s¸nh sù sai kh¸c gi÷a c¸c kÕt qu¶ ra ®óng Ys víi kÕt qu¶ tÝnh to¸n outs. Sai sè nµy sÏ ®−îc dïng ®Ó hiÖu chØnh l¹i c¸c träng sè liªn kÕt trong m¹ng. Qu¸ tr×nh cø tiÕp tôc cho ®Õn khi tho¶ m·n mét tiªu chuÈn nµo ®ã. Cã hai c¸ch sö dông tËp mÉu häc: hoÆc dïng c¸c mÉu lÇn l−ît, hÕt mÉu nµy ®Õn mÉu kh¸c, hoÆc sö dông ®ång thêi tÊt c¶ c¸c mÉu mét lóc. C¸c m¹ng víi c¬ chÕ häc kh«ng gi¸m s¸t ®−îc gäi lµ c¸c m¹ng tù tæ chøc. C¸c kü §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 14 thuËt häc trong m¹ng n¬ ron cã thÓ nh»m vµo hiÖu chØnh c¸c träng sè liªn kÕt (gäi lµ häc tham sè) hoÆc ®iÒu chØnh, söa ®æi cÊu tróc cña m¹ng bao gåm sè líp, sè n¬ ron, kiÓu vµ träng sè c¸c liªn kÕt (gäi lµ häc cÊu tróc). C¶ hai môc ®Ých häc nµy cã thÓ thùc hiÖn ®ång thêi hoÆc t¸ch biÖt. Häc tham sè: Gi¶ sö cã k n¬ ron trong m¹ng vµ mçi n¬ ron cã ®óng l liªn kÕt vµo víi c¸c n¬ ron kh¸c. Khi ®ã, ma trËn träng sè liªn kÕt W sÏ cã kÝch th−íc kxl. C¸c thñ tôc häc tham sè nh»m môc ®Ých t×m kiÕm ma trËn W sao cho Ys = Tinh ( Xs, W ) ®èi víi mäi mÉu häc S = ( Xs, Ys) (1) H×nh 6. Häc tham sè cã gi¸m s¸t Häc cÊu tróc: Víi häc tham sè ta gi¶ ®Þnh r»ng m¹ng cã mét cÊu tróc cè ®Þnh. ViÖc häc cÊu tróc cña m¹ng truyÒn th¼ng g¾n víi yªu cÇu t×m ra sè líp cña m¹ng L vµ sè n¬ ron trªn mçi líp nj. Tuy nhiªn, víi c¸c m¹ng håi qui cßn ph¶i x¸c ®Þnh thªm c¸c tham sè ng−ìng θ cña c¸c n¬ ron trong m¹ng. Mét c¸ch tæng qu¸t ph¶i x¸c ®Þnh bé tham sè P = (L,n1,...,nl,θ1,...,θk). ë ®©y k = Σ nj sao cho Ys = Tinh (Xs,P) ®èi víi mäi mÉu häc s=( Xs, Ys) (2) VÒ thùc chÊt, viÖc ®iÒu chØnh c¸c vect¬ tham sè W trong (1) hay P trong (2) ®Òu qui vÒ bµi to¸n t×m kiÕm tèi −u trong kh«ng gian tham sè. Do vËy, cã thÓ ¸p M¹ng n¬ ron N HiÖu chØnh W Sai sè Xs outs Ys §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 15 dông c¸c c¬ chÕ t×m kiÕm kinh ®iÓn theo gradient hay c¸c gi¶i thuËt di truyÒn, lËp tr×nh tiÕn hãa. 2.2.5. Kh¶ n¨ng tÝnh to¸n vµ biÓu diÔn phô thuéc d÷ liÖu cña m¹ng neuron: M¹ng n¬ ron truyÒn th¼ng chØ ®¬n thuÇn tÝnh to¸n c¸c tÝn hiÖu ra dùa trªn c¸c tÝn hiÖu vµo vµ c¸c träng sè liªn kÕt n¬ ron ®· x¸c ®Þnh s½n ë trong m¹ng. Do ®ã chóng kh«ng cã tr¹ng th¸i bªn trong nµo kh¸c ngoµi vect¬ träng sè W. §èi víi m¹ng håi qui, tr¹ng th¸i trong cña m¹ng ®−îc l−u gi÷ t¹i c¸c ng−ìng cña c¸c n¬ ron. §iÒu nµy cã nghÜa lµ qu¸ tr×nh tÝnh to¸n trªn m¹ng truyÒn th¼ng cã líp lang h¬n trong m¹ng qui håi. Nãi chung, c¸c m¹ng qui håi cã thÓ kh«ng æn ®Þnh, thËm chÝ rèi lo¹n theo nghÜa, khi cho vect¬ gi¸ trÞ ®Çu vµo X nµo ®ã, m¹ng cÇn ph¶i tÝnh to¸n rÊt l©u, thËm chÝ cã thÓ bÞ lÆp v« h¹n tr−íc khi ®−a ra ®−îc kÕt qu¶ mong muèn. Qu¸ tr×nh häc cña m¹ng qui håi còng phøc t¹p h¬n rÊt nhiÒu. Tuy vËy, c¸c m¹ng qui håi cã thÓ cho phÐp m« pháng c¸c hÖ thèng t−¬ng ®èi phøc t¹p trong thùc tÕ. 2.2.6. X¸c ®Þnh cÊu tróc m¹ng tèi −u: Nh− ®· nãi ë trªn, lùa chän sai cÊu tróc m¹ng cã thÓ dÉn tíi ho¹t ®éng m¹ng trë nªn kÐm hiÖu qu¶. NÕu ta chän m¹ng qu¸ nhá cã thÓ chóng kh«ng biÓu diÔn ®−îc sù phô thuéc d÷ liÖu mong muèn. NÕu chän m¹ng qu¸ lín ®Ó cã thÓ nhí ®−îc tÊt c¶ c¸c mÉu häc d−íi d¹ng b¶ng tra, nh−ng hoµn toµn kh«ng thÓ tæng qu¸t hãa ®−îc cho nh÷ng tÝn hiÖu vµo ch−a biÕt tr−íc. Nãi c¸ch kh¸c, còng gièng nh− trong c¸c m« h×nh thèng kª, c¸c m¹ng n¬ ron cã thÓ ®−a tíi t×nh tr¹ng qu¸ thõa tham sè. Bµi to¸n x¸c ®Þnh cÊu tróc m¹ng tèt cã thÓ xem nh− bµi to¸n t×m kiÕm trong kh«ng gian tham sè. Mét c¸ch lµm lµ sö dông gi¶i thuËt di truyÒn. Tuy vËy, kh«ng gian tham sè cã thÓ rÊt lín vµ ®Ó x¸c ®Þnh mét tr¹ng th¸i W (hoÆc P) trong kh«ng gian ®ßi hái ph¶i huÊn luyÖn m¹ng, do vËy rÊt tèn thêi gian. Cã thÓ ¸p dông t− t−ëng t×m kiÕm leo ®åi (hill-climbing) nh»m söa ®æi mét c¸ch cã lùa chän, mang tÝnh ®Þa ph−¬ng cÊu tróc m¹ng hiÖn cã. Cã hai c¸ch lµm: §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 16 + HoÆc b¾t ®Çu víi mét m¹ng lín, sau ®ã gi¶m nhá xuèng. + HoÆc b¾t ®Çu víi mét m¹ng nhá, sau ®ã t¨ng dÇn lªn. Mét kü thuËt kh¸c cã thÓ ¸p dông gäi lµ " Tæn th−¬ng tèi −u" nh»m lo¹i bá mét sè liªn kÕt träng sè trong m¹ng dùa trªn c¸ch tiÕp cËn lý thuyÕt th«ng tin. §¬n gi¶n nhÊt lµ c¸c liªn kÕt cã träng sè b»ng 0. Qu¸ tr×nh cø tiÕp tôc nh− vËy. Thùc nghiÖm chØ ra r»ng, kü thuËt nµy cã thÓ lo¹i trõ tíi 3/4 c¸c liªn kÕt, do ®ã n©ng cao ®¸ng kÓ hiÖu qu¶ cña m¹ng. Ngoµi viÖc lo¹i trõ c¸c liªn kÕt n¬ ron thõa, ng−êi ta cã thÓ vøt bá nh÷ng n¬ ron kh«ng ®ãng gãp nhiÒu vµo qu¸ tr×nh thùc hiÖn cña m¹ng. Gi¶i thuËt " Lîp ngãi" lµ mét biÕn thÓ cña kü thuËt t¨ng tr−ëng m¹ng xuÊt ph¸t tõ cÊu h×nh ban ®Çu t−¬ng ®èi nhá. ý t−ëng ë ®©y lµ x¸c ®Þnh mét cÊu h×nh m¹ng cho phÐp tÝnh ®óng c¸c mÉu häc ®· biÕt. Sau ®ã, mçi khi thªm dÇn mÉu häc míi, m¹ng ®−îc phÐp thªm mét sè n¬ ron cho phÐp ®o¸n ®óng kÕt qu¶ häc hiÖn t¹i vµ qu¸ tr×nh cø tiÕp tôc nh− vËy. 2.3. M¹ng n¬ ron nhiÒu líp lan truyÒn ng−îc sai sè (Back-propagation Neural Network) Rosenblatt vµ c¸c t¸c gi¶ kh¸c còng ®· m« t¶ c¸c m¹ng truyÒn th¼ng nhiÒu líp tõ cuèi nh÷ng n¨m 50, nh−ng hä chñ yÕu chØ nghiªn cøu s©u vÒ m¹ng Perceptron mét líp. Së dÜ nh− vËy lµ do kh«ng t×m ®−îc c¸ch thay ®æi träng sè liªn kÕt t¹i c¸c líp Èn. Qu¶ thËt, ngay c¶ khi ®· biÕt ®−îc sai sè t¹i c¸c ®Çu ra, ng−êi ta vÉn ch−a h×nh dung ®−îc c¸c sai sè ®ã ®−îc ph©n bè nh− thÕ nµo t¹i c¸c n¬ ron Èn. Trong cuèn s¸ch vÒ m¹ng Perceptron xuÊt b¶n 1969, Minsky vµ Papert ®· chØ ra r»ng khã cã thÓ tæng qu¸t ho¸ luËt häc ®èi víi m¹ng mét líp sang m¹ng nhiÒu líp. Cã 2 lý gi¶i chÝnh cho vÊn ®Ò nµy. Thø nhÊt, thuËt gi¶i häc cña m¹ng nhiÒu líp cã thÓ kh«ng hiÖu qu¶, hoÆc kh«ng héi tô vÒ ®iÓm cùc trÞ tæng thÓ trong kh«ng gian vect¬ träng sè. MÆt kh¸c, c¸c nghiªn cøu trong lý thuyÕt tÝnh to¸n ®· chØ ra r»ng trong tr−êng hîp tåi nhÊt qu¸ tr×nh häc c¸c hµm tæng qu¸t tõ mÉu häc kh«ng ph¶i lóc nµo còng gi¶i quyÕt ®−îc. C¸c nguyªn t¾c c¬ b¶n trong luËt häc §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 17 ®èi víi m¹ng nhiÒu líp ®· ®−îc Bryson vµ Ho ®Ò xuÊt tõ n¨m 1969, nh−ng ph¶i tíi gi÷a n¨m 1980 vÊn ®Ò nµy míi ®−îc quan t©m trë l¹i bëi c«ng tr×nh nghiªn cøu cña Rumelhart n¨m 1986. Mét thèng kª cho thÊy 90% øng dông m¹ng n¬ ron trong c«ng nghÖ ho¸ häc sö dông m« h×nh nµy. 2.3.1. KiÕn tróc m¹ng: I1 I2 I3 Ik Líp ra (0) wjk aj H4 H5 Líp ra (1) wjij outi O6 Líp ra (2) H×nh 7. M¹ng n¬ ron 2 líp C¸c n¬ ron líp thø t ®−îc nèi ®Çy ®ñ víi c¸c n¬ ron líp thø t+1. Trong nhiÒu øng dông thùc tÕ, ®Ó ®¬n gi¶n, ng−êi ta th−êng sö dông m¹ng cã mét líp Èn, sè n¬ ron trong líp Èn ®−îc x¸c ®Þnh dùa trªn kinh nghiÖm, hoÆc dùa trªn c¸c kü thuËt t×m kiÕm kh¸c nhau . 2.3.2. HuÊn luyÖn m¹ng: Qu¸ tr×nh huÊn luyÖn m¹ng ®−îc tr×nh bµy ë ®©y lµ qu¸ tr×nh häc cã gi¸m s¸t víi tËp mÉu {(Xs, Ys)}. Thñ tôc häc cã thÓ tãm l−îc nh− sau: Mçi khi ®−a mét mÉu Xs = (x1 , ..., xn) vµo m¹ng, ta thùc hiÖn c¸c c«ng viÖc sau: - Lan truyÒn mÉu Xs qua m¹ng ®Ó cã outs = Tinh (Xs, NN) - TÝnh sai sè Errs cña m¹ng dùa trªn sai lÖch outs - Ys - HiÖu chØnh c¸c träng sè liªn kÕt n¬ ron dÉn tíi líp ra Wij tõ n¬ ron j t¹i líp Èn cuèi cïng tíi n¬ ron i t¹i líp ra: wij = wij + α . aj . δi, (15) ë ®©y: α lµ hÖ sè häc, §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 18 aj lµ ®Çu ra cña n¬ ron j, δi lµ sai sè mµ n¬ ron i ë líp ra ph¶i chÞu tr¸ch nhiÖm, ®−îc x¸c ®Þnh theo c«ng thøc: δi = erri g'(Neti) (16) víi erri lµ sai sè thµnh phÇn thø i trong Errs , Neti lµ tæng th«ng tin vµo cã trong sè cña n¬ ron thø i (Neti=∑wij.aj) vµ g'(.) lµ ®¹o hµm cña hµm kÝch ho¹t g ®−îc dïng trong c¸c n¬ ron. - HiÖu chØnh c¸c träng sè liªn kÕt n¬ ron Wjk dÉn tíi tÊt c¶ líp Èn tõ n¬ ron thø k sang n¬ ron j (c¸c líp Èn ®−îc xÐt tõ d−íi lªn) : − TÝnh tæng sai sè t¹i n¬ ron j ph¶i chÞu tr¸ch nhiÖm − HiÖu chØnh träng sè wjk wjk = wjk +α ak δj (18) (tr−êng hîp xÐt liªn kÕt tõ n¬ ron vµo thø k sang n¬ ron j trªn líp Èn thø nhÊt, ta cã ak = Ik, chÝnh lµ tÝn hiÖu vµo). Chó ý : a) Tr−êng hîp xÐt hµm kÝch ho¹t t¹i c¸c n¬ ron ta cã hÖ thøc g'(x)=g(x)(1-g(x)). b) Tõ c¸c c«ng thøc (15), (18) ta cã thÓ viÕt l¹i: wij = wij + ∆wij , wjk = wjk + ∆wjk , víi ∆wij = α aj δi vµ ∆wjk = α ak δj Trong c¸c øng dông thùc tÕ, ng−êi ta th−êng hiÖu chØnh ∆wij theo nguyªn t¾c cã chó ý ®Õn thao t¸c tr−íc ®ã. Do vËy: ∑= i iij w)j(Netg'j δδ (17) x e xg −+ = 1 1)( §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 19 ∆wij(míi) = α aj δi + β∆wij(cò), ë ®©y β lµ hÖ sè qu¸n tÝnh. Qu¸ tr×nh huÊn luyÖn m¹ng cÇn chó ý tíi c¸c yÕu tè sau: i.C¸c träng sè ban ®Çu wij ®−îc g¸n c¸c gi¸ trÞ ngÉu nhiªn, nhá ii. Lùa chän c¸c hÖ sè häc α vµ hÖ sè qu¸n tÝnh β sao cho α + β ≈1, víi β kh«ng lín h¬n α qu¸ nhiÒu. iii. C¸c tÝn hiÖu vµo, ra nªn ®−îc ®Þnh cì chØ n»m trong kho¶ng [0,1]. C¸c nghiªn cøu thùc nghiÖm chØ ra r»ng nªn ë trong kho¶ng [0.2,0.8]. 2.3.4. Sö dông m¹ng: Gi¶ sö ®· huÊn luyÖn m¹ng nh− trªn h×nh 7 víi tËp mÉu {(Xs,Ys)} ®Ó ®−îc ma trËn träng sè W. Qu¸ tr×nh lan truyÒn trong m¹ng mét vect¬ tÝn hiÖu vµo X=(x1,x2,x3) ®−îc cho bëi: out = g(w64 a4 + w 65 a5) = g(w 64 g(w 41 x1 + w 42 x2 + w 43 x3) + w 65 g(w 51 x1 + w 52 x2 + w 53 x3)) = F ( X , W) Kh¶ n¨ng tÝnh to¸n cña m¹ng nhiÒu líp − Víi mét líp Èn, m¹ng cã thÓ tÝnh to¸n xÊp xØ mét hµm liªn tôc bÊt kú ®èi víi c¸c biÕn t−¬ng øng lµ c¸c tÝn hiÖu ®Çu vµo. − Víi hai líp Èn, m¹ng cã thÓ tÝnh to¸n xÊp xØ mét hµm bÊt kú. Tuy vËy, sè n¬ ron trong c¸c líp Èn cã thÓ t¨ng theo hµm mò ®èi víi sè ®Çu vµo vµ cho ®Õn nay vÉn ch−a cã nh÷ng c¬ së lý luËn ®Çy ®ñ ®Ó kh¶o s¸t hä c¸c hµm cã thÓ xÊp xØ nhê c¸c m¹ng nhiÒu líp. 2.3.5. Nghiªn cøu sù héi tô vµ ®é phøc t¹p cña qu¸ tr×nh huÊn luyÖn m¹ng: Ph−¬ng ph¸p hiÖu chØnh träng sè liªn kÕt n¬ ron (15)(18) dùa trªn nguyªn t¾c lan truyÒn ng−îc sai sè cã thÓ lý gi¶i dùa trªn nguyªn lý t×m kiÕm gradient trong kh«ng gian c¸c tham sè W sao cho cùc tiÓu hµm sai sè tæng céng: 2)( 2 1)( ∑ −= ioutiYwE §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 20 ë ®©y, Yi lµ gi¸ trÞ thùc nghiÖm quan s¸t ®−îc t¹i n¬ ron i ë líp ra, outi lµ gi¸ trÞ tÝnh to¸n cña m¹ng t¹i n¬ ron thø i ë líp ra ®èi víi mÉu Xs. Khai triÓn E theo c¸c träng sè thµnh phÇn, ta cã: LÊy ®¹o hµm riªng cña E theo c¸c wij: ViÖc hiÖu chØnh vect¬ träng sè W = (wij) sao cho E(W)→min dÉn tíi viÖc x¸c ®Þnh vect¬ gia sè ∆W= (∆wij) ng−îc h−íng víi vect¬ gradient (∂E/∂wij). Nãi c¸ch kh¸c, ∆wij = -α(-δi aj) = δi aj ∆wjk = -α(-δj ak) = δj ak C«ng thøc nµy phï hîp víi c¸c c«ng thøc (15) (18) t−¬ng øng. §é phøc t¹p thêi gian cña m¹ng nhiÒu líp chñ yÕu phô thuéc vµo thêi gian huÊn luyÖn m¹ng víi mét tËp mÉu nµo ®ã. Gi¶ sö cã m mÉu vµo vµ |W| träng sè. Mçi lÇn ®−a tÊt c¶ c¸c mÉu ®i qua m¹ng (gäi lµ mét vßng lÆp (epoch)) ph¶i tèn O(m|W|) thao t¸c n¬ ron. Trong tr−êng hîp xÊu nhÊt, sè vßng lÆp sÏ phô thuéc hµm mò vµo sè ®Çu vµo n. Do vËy, chi phÝ thêi gian sÏ lµ O(knm|W|). H¬n n÷a qu¸ tr×nh häc kh«ng ph¶i lóc nµo còng héi tô vµ cã thÓ dÉn tíi c¸c cùc tiÓu ®Þa ph−¬ng cña hµm E. Khi dïng m¹ng n¬ ron nhiÒu líp ®Ó biÓu diÔn tÊt c¶ c¸c hµm logic cã n ®Çu vµo, ta ph¶i dïng cì 2n/n nót Èn, m¹ng nµy cã kho¶ng O(2n) träng sè, do vËy ph¶i tiªu tèn O(2n) bit ®Ó biÓu diÔn c¸c hµm logic. ∑ ∑ ∑ ∑−=∑−=                       i i j k k ajkwgijwgiYj jaijwgiYwE 2 1 2 2 1)( ijaiNetgioutiYja ijw E δ−=−−= ∂ ∂ )(')( jka jkw E δ−= ∂ ∂ §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 21 2.3.6.Mét sè vÊn ®Ò vÒ m¹ng neuron nhiÒu líp:
M¹ng n¬ ron nhiÒu líp truyÒn th¼ng lµ c¸ch biÓu diÔn c¸c ®èi t−îng dùa trªn c¸c gi¸ trÞ cña c¸c thuéc tÝnh cña chóng t−¬ng ®èi hiÖu qu¶, tuy r»ng chóng ch−a vÐt c¹n hÕt mäi khÝa c¹nh kh¸c nhau vÒ ®èi t−îng ®ã. C¸ch tiÕp cËn m¹ng lo¹i nµy tá ra kh¸ hiÖu qu¶ khi c¸c quan s¸t (tÝn hiÖu vµo) cã miÒn gi¸ trÞ liªn tôc. Do vËy, cã thÓ xem lµ tèt h¬n so víi nh÷ng c¸ch tiÕp cËn truyÒn thèng dùa trªn logic mÖnh ®Ò vµ c©y quyÕt ®Þnh.
Kh¶ n¨ng tæng qu¸t hãa: m¹ng lo¹i nµy cã thÓ ®−a ra nh÷ng kÕt qu¶ mang tÝnh tæng qu¸t hãa, tuy r»ng kiÓu phô thuéc gi÷a ®Çu ra vµ ®Çu vµo kh«ng qu¸ rèi r¾m.
Kh¶ n¨ng dung thø lçi: M¹ng ®−îc luyÖn mÉu theo nguyªn t¾c håi qui tuyÕn tÝnh nªn cã thÓ chÊp nhËn sai sè trong tËp d÷ liÖu vµo. Tuy vËy, m¹ng kh«ng thÓ ®−a ra ®−îc nh÷ng kÕt qu¶ tÝnh to¸n kh«ng ch¾c ch¾n, kh«ng chÝnh x¸c kiÓu nh− m¹ng Bayes.
M¹ng ®−îc sö dông nh− mét hép ®en, biÓu thÞ quan hÖ nµo ®ã gi÷a tÝn hiÖu ra vµ tÝn hiÖu vµo, mµ kh«ng cÇn chØ râ d¹ng gi¶i tÝch t−êng minh cña mèi quan hÖ ®ã. Tuy vËy, ®iÓm bÊt lîi cña c¸ch tiÕp m¹ng chÝnh lµ ë chç kh«ng thÓ lý gi¶i c¸c kÕt qu¶ ra mét c¸ch râ rµng nh− ®èi víi suy diÔn logic hay c©y quyÕt ®Þnh. 2.5. øng dông m¹ng n¬ ron lan truyÒn ng−îc h−íng cho nhËn d¹ng ký tù: 2.5.1. X©y dùng cÊu tróc m¹ng lan truyÒn ng−îc h−íng hai líp nhËn d¹ng ký tù: Víi 400 neuron ®Çu vµo t−¬ng øng víi 400 ®iÓm ¶nh ( ma trËn pixel cña ¶nh ®−a vµo 20x20), 200 neuron líp Èn vµ 16 neuron líp ra lµ d·y sè nhÞ ph©n quy ®Þnh th«ng tin ®Çu ra. Th«ng tin ®Çu vµo ®èi víi mçi mÉu X=(x1,x2, … ,x400) ®−îc x¸c ®Þnh nh− sau:   − = dendiemneu trangdiemneu xi 1 1 §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 22 Líp Èn ®−îc x¸c ®Þnh theo hµm anj=     <− >= = 01 01 )sign(net j j j netneu netneu Do ®ã ∑ = = 400 1 j .an i iij xw víi j=1…200 Líp ra ®−îc x¸c ®Þnh theo c«ng thøc raj=     <− >= = 01 01 )sign(net j j j netneu netneu Do ®ã ∑ = = 200 1 j .ra i iij anw víi j=1…16 Sau ®ã chuyÔn d·y ®Çu ra thµnh d·y nhÞ ph©n nh− sau     −= = = 10 11 y j j j raneu raneu víi j=1..16. Ban ®Çu ta x©y dùng ma trËn träng sè gi÷a líp vµo vµ líp Èn, gi÷a líp Èn vµ líp ra víi c¸c phÇn tö lµ c¸c gi¸ trÞ ngÉu nhiªn trong ®o¹n [-0.5,0.5]. 2.5.2. HuÊn luyÖn m¹ng: H×nh thøc häc: mçi lÇn häc mét tËp mÉu víi mét mÉu häc mét lÇn sau ®ã häc tiÕp mÉu tiÕp theo qu¸ tr×nh lÆp ®i lÆp l¹i lµ 600 lÇn.  §iÒu chØnh träng sè ë líp Èn vµ líp ra: ijijij www ∆+=1 trong ®ã ijjij anragehshw *)(**1 '=∆ Víi i=1..200; j=1..16; hsh: HÖ sè häc. (hsh=0.14 ®èi víi ch−¬ng tr×nh thö nghiÖm cña ®Ò tµi) Nh− vËy ma trËn träng sè gi÷a líp Èn vµ líp ra lµ ma trËn 200 hµng, 16 cét.  §iÒu chØnh träng sè gi÷a líp vµo vµ líp Èn: ijijij www ∆+= trong ®ã net * (an(j))g * i) x(* 'hshwij =∆ ∑ = = 16 1 ' 1*)(*net k jkkk wrage víi i=1..400; j=1..200; k=1..16. Nh− vËy ma trËn träng sè gi÷a líp vµo vµ líp Èn lµ ma trËn 400 hµng, 200 cét. §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 23 Sau khi huÊn luyÖn m¹ng ta s÷ dông bé träng sè nh− mét b¶ng tra víi c¸c c«ng thøc trªn phÇn 2.5.1. 2.5.3. Ch−¬ng tr×nh thö nghiÖm vµ kÕt qu¶ ®¹t ®−îc: Gi¸o diÖn huÊn luyÖn m¹ng (häc mÈu) Gi¸o diÖn nhËn d¹ng: KÕt qu¶ nhËn d¹ng chÝnh x¸c 100% ®èi víi c¸c ph«ng ch÷ ®· häc víi cë ch÷ 18 trë lªn. §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 24 Tµi liÖu tham kh¶o: 1. C¸c bµi gi¶ng cña thÇy gi¸o TS. §µo Thanh TÜnh. 2. Gi¸o tr×nh xö lý ¶nh cña TS. §æ N¨ng Toµn & TS. Ph¹m ViÕt B×nh (§H Th¸i Nguyªn). 3. Gi¸o tr×nh xö lý ¶nh cña PGS.TS. NguyÔn Quang Hoan (Häc ViÖn C«ng NghÖ B−u ChÝnh ViÔn Th«ng). 4. Gi¸o tr×nh xö lý ¶nh cña L−¬ng M¹nh B¸ & NguyÔn Thanh Thuû ( §H B¸ch Khoa Hµ Néi)