1. Các kết quả đạt được
Để nghiên cứu bài toán ứng dụng khai phá dữ liệu trong y tế dự phòng,
học viên đã tập trung nghiên cứu các khái niệm về y tế dự phòng, thực trạng về
nhu cầu trong việc quản lý, phân tích và dự báo đươc dịch bệnh trên tập số liệu
được báo cáo.
Bên cạnh đó, học viên cũng nghiên cứu, tìm hiểu một số phương pháp
khai phá dữ liệu hiện nay. Cùng với đó là đề xuất một số phương pháp khai dữ
liệu phù hợp với tập dữ liệu dịch bệnh cúm do Google công bố.
Dựa trên nghiên cứu đó luận văn đề xuất một mô hình dự báo dịch bệnh
truyền nhiễm dựa trên tập dữ liệu thời gian. Luận văn cũng tiến hành cài đặt
thực nghiệm một tập dữ liệu được trích xuất trong tập dữ liệu của một quốc
gia. Dựa vào kết quả phân tích, dự báo như đã trình bày trong phần thực
nghiệm, lấy đó làm cơ sở cho cho xây dựng các bài toán dự báo tình hình dịch
bệnh.
2. Hướng nghiên cứu tiếp theo
Trong khuôn khổ luận văn này, tôi mới chỉ dừng lại ở việc phân tích
chuỗi dữ liệu thời gian và đưa ra dự báo dựa vào xu hướng dữ liệu trên thực
nghiệm trong mô hình đó, đánh giá kết quả dự báo trên tập dữ liệu so với số
liệu thực tế.
Trong thời gian tới, tôi sẽ tiếp tục thực nghiệm các tập dữ liệu còn lại
trong tập dữ liệu được công bố, đồng thời xem xét hướng nghiên cứu bổ sung
nhằm phân tích, đánh giá các quy luật diễn biến dịch bệnh cúm trên toàn cầu
dự trên các đặc điểm thời gian, địa lý, điều kiện thời tiết để nâng cao độ chính
xác và giảm thiểu việc bỏ sót các cặp quan hệ trong chuỗi dữ liệu thời gian.
34 trang |
Chia sẻ: yenxoi77 | Lượt xem: 530 | Lượt tải: 0
Bạn đang xem trước 20 trang tài liệu Tóm tắt Luận văn Khai phá dữ liệu và ứng dụng trong y tế dự phòng, để xem tài liệu hoàn chỉnh bạn click vào nút DOWNLOAD ở trên
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
HOÀNG VĂN TIẾN
KHAI PHÁ DỮ LIỆU VÀ ỨNG DỤNG TRONG
Y TẾ DỰ PHÒNG
Ngành: Công nghệ thông tin
Chuyên ngành: Quản lý Hệ thống thông tin
Mã số: 8480205.01
LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ THÔNG TIN
NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. ĐẶNG THANH HẢI
Hà Nội - 2018
i
LỜI CAM ĐOAN
Luận văn “Khai phá dữ liệu và ứng dụng trong y tế dự phòng” đánh dấu cho
những thành quả, kiến thức của tôi đã tiếp thu được trong quá trình rèn luyện,
học tập và nghiên cứu tại Trường Đại học Công nghệ - Đại học Quốc gia Hà
Nội. Tôi xin cam đoan các nội dung được trình bày trong luận văn này được xây
dựng, hoàn thành bằng chính quá trình nghiên cứu của bản thân và dưới sự
hướng dẫn của thầy giáo TS. Đặng Thanh Hải.
Trong quá trình làm luận văn này, tôi đã tham khảo một số tài liệu từ nhiều
nguồn khác nhau, các nội dung tham khảo đều được trích dẫn rõ ràng. Nếu có
điều gì không trung thực, tôi xin chịu mọi hình thức kỷ luật theo đúng quy định.
Hà Nội, ngày tháng năm 2018
Học viên
Hoàng Văn Tiến
ii
LỜI CÁM ƠN
Lời đầu tiên, tôi xin gửi lời cám ơn đến Thầy Cô giáo tại trường Đại học
Công nghệ - Đại học Quốc gia Hà Nội nói chung và Thầy Cô giáo trong bộ môn
Hệ thống thông tin và Khoa Công nghệ thông tin - Trường Đại học Công nghệ -
Đại học Quốc gia Hà Nội đã nhiệt tình giảng dạy, truyền đạt những kiến thức,
kinh nghiệm quý báu trong suốt thời gian tôi học tập tại trường.
Đặc biệt, tôi xin gửi lời cám ơn chân thành nhất đến TS. Đặng Thanh Hải,
người đã hướng dẫn tôi trong suốt quá trình thực hiện luận văn này. Nhờ sự
hướng dẫn và chỉ bảo tận tình của Thầy, tôi đã có được những kiến thức và kinh
nghiệm quý báu về cách xác định vấn đề nghiên cứu, phương pháp nghiên cứu,
trình bày kết quả và hoàn thành luận văn của mình.
Cuối cùng, tôi xin gửi lời cám ơn tới toàn thể gia đình, bạn bè và đồng
nghiệp đã luôn quan tâm, ủng hộ và động viên, giúp tôi có nghị lực phấn đấu để
hoàn thành tốt luận văn.
Hà Nội, ngày tháng năm 2018
Học viên
Hoàng Văn Tiến
iii
TÓM TẮT NỘI DUNG
Phân tích và dự báo từ lâu đã được ứng dụng trong mọi lĩnh vực nhằm đưa ra
những định hướng, chiến lược phát triển trong tương lai. Ngành Y tế không
đứng ngoài xu thế đó, đặc biệt là dự báo dịch bệnh truyền nhiễm từ lâu đã được
các nhà khoa học quan tâm nghiên cứu và ngày càng phát triển. Phân tích và dự
báo dịch bệnh truyền nhiễm được quan tâm vì những lợi ích rất lớn nó mang lại
trong công tác phòng ngừa dịch bệnh. Phân tích và dự báo diễn biến của dịch
bệnh giúp chúng ta chủ động trong công tác phòng ngừa, nhằm giảm thiểu
những tổn hại do dịch bệnh gây ra. Việc xác định được chu kỳ diễn biến của
dịch bệnh truyền nhiễm dựa trên các yếu tố thời gian, khí hậu và vùng địa lý rất
được quan tâm. Nắm bắt chu kỳ diễn biến của dịch bệnh, đưa ra dự báo và lên
phương án ứng phó, khoanh vùng, dập dịch nhanh, không để lây lan là hết sức
quan trọng góp phần hạn chế tối đa hậu quả của dịch bệnh gây ra cho con
người.
Đề tài nghiên cứu trước hết tìm hiểu kiến thức nền tảng về khai phá dữ liệu,
sau đó tìm hiểu sâu các kỹ thuật khai phá dữ liệu tiên tiến đang nhận được nhiều
sự quan tâm của cộng đồng nghiên cứu trên thế giới, qua đó đề xuất vận dụng
phương pháp và công cụ khai phá dữ liệu phù hợp với tập dữ liệu dịch cúm do
Google Flu Trends công bố. Google Flu Trends là dịch vụ của Tập đoàn
Google, cung cấp số liệu ước tính về dịch cúm tại hơn 25 quốc gia, thông qua
việc tổng hợp các truy vấn tìm kiếm trên www.google.com, thông qua đó cố
gắng đưa ra dự báo chính xác về dịch cúm.
Đề xuất lựa chọn phương pháp khai phá dữ liệu phù hợp trên tập dữ liệu dịch
bệnh cúm do Google Flu Trends công bố, tìm ra chu kỳ diễn biến của dịch, đưa
ra các dự báo và hỗ trợ định hướng hoạt động y tế dự phòng theo từng thời điểm
trong năm, nhằm có những chính sách và biện pháp phù hợp để hạn chế thiệt hại
của dịch bệnh gây ra.
iv
MỞ ĐẦU
Ngày nay, con người đang phải đối mặt với tình hình dịch bệnh lây nhiễm
hoành hành, bùng phát một cách nhanh chóng. Dịch bệnh ngày càng diễn biến
phức tạp về phạm vi và chủng loại. Thực tế đó, đòi hỏi công tác y tế dự phòng
cần phải được đẩy mạnh, nâng cao nhằm khoanh vùng và hạn chế sự lây lan của
dịch bệnh. Công tác giám sát dịch bệnh lây nhiễm, phân tích và dự báo phục vụ
ra quyết định ngày càng trở nên quan trọng và cần được đẩy mạnh.
Chính từ sự cấp thiết đó, học viên đã chọn đề tài “Khai phá dữ liệu và ứng
dụng trong y tế dự phòng” làm luận văn thạc sĩ của mình, nhằm góp phần công
sức nhỏ bé cho lĩnh vực y tế dự phòng có thêm một số giải pháp phân tích, dự
báo hiệu quả dịch bệnh truyền nhiễm hiện nay. Nội dung luận văn tập trung vào
những phần sau:
Chương 1: Giới thiệu về lĩnh vực y tế dự phòng
Trong chương này giới thiệu tổng quan về lĩnh vực y tế dự phòng, lịch sử
hình thành và phát triển của y tế dự phòng.
Chương 2: Các phương pháp và công cụ khai phá dữ liệu
Nội dung tại chương này xoay quanh khái niệm, tính chất cơ bản của các
phương pháp khai phá dữ liệu phổ biến hiện nay. Qua đó, đề xuất một phương
pháp và công cụ phù hợp khai phá tập dữ liệu dịch bệnh cúm.
Chương 3: Phương pháp phân tích và dự báo với chuỗi dữ liệu thời gian
Đi sâu vào kỹ thuật phân tích chuỗi dữ liệu chuỗi thời gian (time series data)
và áp dụng kỹ thuật này với tập dữ liệu dịch bệnh cúm do Google Flu Trends
công bố trên mô hình ARIMA.
Chương 4: Thực nghiệm và đánh giá
Phân tích và đưa ra kết quả dự báo dựa trên tập dữ liệu Google Flu Trends
công bố dịch bệnh cúm, sử dụng các phương pháp phân tích chuỗi dữ liệu thời
gian và công cụ khai phá dữ liệu.
v
MỤC LỤC
CHƯƠNG 1: GIỚI THIỆU VỀ LĨNH VỰC Y TẾ DỰ PHÒNG ................................ 1
1.1. Giới thiệu về y tế dự phòng ................................................................................... 1
1.2. Dịch bệnh .............................................................................................................. 1
1.3. Dự báo dịch bệnh trong lĩnh vực y tế dự phòng .................................................... 1
1.4. Thực trạng nghiên cứu dự báo trong y tế dự phòng .............................................. 1
1.5. Mục tiêu nghiên cứu .............................................................................................. 2
CHƯƠNG 2: CÁC PHƯƠNG PHÁP VÀ CÔNG CỤ KHAI PHÁ DỮ LIỆU ............ 3
2.1. Khai phá dữ liệu .................................................................................................... 3
2.2. Các kỹ thuật khai phá dữ liệu ................................................................................ 3
2.3. Dữ liệu chuỗi thời gian (time series data) ............................................................. 5
2.4. Các công cụ, phần mềm hỗ trợ khai phá dữ liệu ................................................... 5
Tóm tắt chương 2 ......................................................................................................... 6
CHƯƠNG 3. PHƯƠNG PHÁP PHÂN TÍCH VÀ DỰ BÁO....................................... 7
VỚI CHUỖI DỮ LIỆU THỜI GIAN ........................................................................... 7
3.1. Dữ liệu chuỗi thời gian .......................................................................................... 7
3.2. Tính dừng của dữ liệu chuỗi thời gian ................................................................... 8
3.3. Mô hình ARIMA ................................................................................................... 10
Tóm tắt chương 3 ......................................................................................................... 11
CHƯƠNG 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ ........................................................ 12
4.1. Mô hình thực nghiệm ............................................................................................ 12
4.2. Mục đích thực nghiệm ........................................................................................... 12
4.3. Tập dữ liệu Google Flu Trends ............................................................................. 12
4.4. Môi trường, cấu hình hệ thống và công cụ ............................................................ 13
4.5. Kết quả thực nghiệm ............................................................................................. 13
4.6. Đánh giá kết quả .................................................................................................... 20
Tóm tắt chương 4 ......................................................................................................... 20
KẾT LUẬN .................................................................................................................. 21
1. Các kết quả đạt được ................................................................................................ 21
2. Hướng nghiên cứu tiếp theo ..................................................................................... 21
TÀI LIỆU THAM KHẢO ............................................................................................ 22
Tiếng Việt..................................................................................................................... 22
Tiếng Anh..................................................................................................................... 22
vi
DANH MỤC CÁC HÌNH VẼ
Hình 2.1. Các bước khai phá dữ liệu ............................................................................... 3
Hình 2.2. Tuyến tính hồi quy với một dự đoán duy nhất ................................................ 4
Hình 2.3. Mô hình hồi quy phi tuyến tính ....................................................................... 4
Hình 2.4. Giao diện phần mềm weka .............................................................................. 5
Hình 2.5. Giao diện SPSS ............................................................................................... 6
Hình 2.6. Giao diện phần mềm R .................................................................................... 6
Hình 3.1. Số liệu diễn biến cúm phía Nam Châu phi từ năm 2006 - 2015 ...................... 7
Hình 3.2. Biểu diễn xu hướng giảm của dữ liệu .............................................................. 7
Hình 3.3. Biểu diễn thay đổi chuỗi thời gian theo từng khoảng thời gian ....................... 7
Hình 3.4. Biểu diễn chu kỳ chuỗi thời gian ..................................................................... 8
Hình 3.5. Sơ đồ chuỗi thời gian với định lượng Y(t) theo thời gian t ............................. 8
Hình 3.6. Các bước chính trong phương pháp Box‐Jenkins ............................................ 11
Hình 4.1. Biểu đồ so sánh dữ liệu dự báo của Google Flu Trends và Trung tâm kiểm
soát và phòng ngừa các chứng bệnh của Mỹ ................................................................... 12
Hình 4.2. Mẫu dữ liệu bệnh cúm của 25 nước trên thế giới được tổng hợp từ 2003 đến
2015 ................................................................................................................................. 13
Hình 4.3. Cài đặt gói thư viện ......................................................................................... 14
Hình 4.4. Nạp dữ liệu ...................................................................................................... 14
Hình 4.5. Tập dữ liệu cúm của Argentina ....................................................................... 14
Hình 4.6. Tập dữ liệu cúm của Argentina năm 2004 ....................................................... 15
Hình 4.7. Diễn biến cúm năm 2004 của Argentina theo tháng ........................................ 15
Hình 4.8. Dữ liệu cúm của năm 2004 Argentina được làm sạch ..................................... 15
Hình 4.9. Diễn biến cúm Argentina năm 2014 được làm sạch ........................................ 16
Hình 4.10. Biểu đồ bệnh cúm của Argentina với dữ liệu được làm mịn ......................... 16
Hình 4.11. Sơ đồ dữ liệu được phân tách theo thành phần tính thời vụ, xu hướng và
chu kỳ .............................................................................................................................. 16
Hình 4.12. Mô hình ACF ................................................................................................ 17
Hình 4.13. Mô hình PACF .............................................................................................. 17
Hình 4.14. Mô hình kiểm tra với d = 1 .......................................................................... 17
Hình 4.15. Mô hình ACF với d = 1 ................................................................................ 18
Hình 4.16. Mô hình PACF với d = 1 .............................................................................. 18
Hình 4.17. Mô hình ARIMA (1, 1, 1) ............................................................................... 18
Hình 4.18. Mô hình ARIMA (1, 1, 7) ............................................................................... 19
Hình 4.19. Mô hình dự báo với hệ số (1, 1, 1) ................................................................ 19
Hình 4.20. Mô hình dự báo ............................................................................................. 19
Hình 4.21. Mô hình dự báo ARIMA (0, 2, 0)(0, 0, 1)(7) ................................................ 20
Hình 4.22. Diễn biến dịch bệnh thực tế tại Argentina từ năm 2003 đến 2015 ................ 20
vii
DANH MỤC CÁC BẢNG BIỂU
Bảng 1. Cấu hình phần cứng ........................................................................................ 13
Bảng 2. Các công cụ, phần mềm sử dụng .................................................................... 13
viii
DANH MỤC VIẾT TẮT
TT Viết tắt Tiếng Anh Tiếng Việt
1. ARIMA
Autoregressive integrated
moving average
Tư ̣ hồi quy tićh hơp̣ trung
bình trươṭ
2. ACF Autocorrelation function Chức năng tự tương quan
3. PACF
Partial
autocorrelation plots
Sự tự tương quan thành
phần
4. BI Business intelligence Thông minh nghiệp vụ
5. KDD
Knowledge discovery in
database
Khai phá tri thức trong cơ
sở dữ liệu
6. SPSS
Statistical product and
services solutions
Giải pháp sản phẩm và dịch
vụ thống kê
7. AR Autoregressive Tự hồi quy
8. MA Moving average Trung bình trượt
9. ARMA
Autoregressive moving
average
Trung bình trượt tự hồi quy
10. GDP Gross domestic product Tổng sản phẩm quốc nội
11. CDC
Centers for disease
control and prevention
Trung tâm kiểm soát và
phòng ngừa dịch bệnh
ix
DANH SÁCH CÁC THUẬT NGỮ
TT Thuật ngữ tiếng Anh Nghĩa tiếng Việt
1. Ebola Bệnh do virus Ebola
2. MERS-CoV Hội chứng hô hấp Trung Đông
3.
H5N1, H7N9, H5N6,
H9N2, H5N8
Virus cúm gia cầm H5N1, H7N9, H5N6,
H9N2, H5N8
4. Internet Mạng Internet
5. Petabybe Đơn vị lưu trữ trên máy tính
6. HD Độ phân giải cao hay độ nét cao
7. CPU Bộ vi xử lý trung tâm
8. RAM Bộ nhớ truy cập ngẫu nhiên
9. OS Hệ điều hành
1
CHƯƠNG 1: GIỚI THIỆU VỀ LĨNH VỰC Y TẾ DỰ PHÒNG
1.1. Giới thiệu về y tế dự phòng
Y tế dự phòng là lĩnh vực y tế thực hiện các biện pháp giám sát, dự
báo, phòng ngừa và kiểm soát dịch bệnh [9].
1.1.1. Lịch sử phát triển của y tế dự phòng
Hippocrates, một bác sĩ người Hy Lạp ở Thế kỷ thứ 5 trước Công nguyên,
đã phân loại các nguyên nhân gây bệnh thành những khía cạnh có liên quan
đến mùa, khí hậu, và điều kiện bên ngoài và những nguyên nhân như thức ăn,
chế độ luyện tập và thói quen không bình thường của mỗi cá nhân [5]. Kỷ
nguyên hiện đại trong y học dự phòng được mở ra vào giữa Thế kỷ 19 với sự
khám phá của Louis Pasteur về vai trò của các vi khuẩn sống như là nguyên
nhân gây ra bệnh nhiễm trùng [9].
1.1.2. Những vai trò của lĩnh vực y tế dự phòng
Lĩnh vực y tế dự phòng có những vai trò cụ thể sau: Giám sát, phát hiện
sớm các bệnh truyền nhiễm, các nguồn bệnh chưa rõ nguyên nhân [1]; Tổ chức
thực hiện các biện pháp phòng, chống và kiểm soát dịch bệnh [1]; Quản lý dữ
liệu và cung cấp thông tin rộng rãi cho xã hội về các bệnh và dịch bệnh truyền
nhiễm [1]; Phòng, chống bệnh không lây nhiễm, bệnh xã hội [1]; Giám sát và
phòng, chống bệnh không lây nhiễm, bệnh xã hội [1]; Thực hiện các hoạt động
phòng, chống yếu tố nguy cơ bệnh không lây nhiễm; triển khai các hoạt động
phòng, chống tác hại của lạm dụng rượu bia và đồ uống có cồn khác [1]; Thực
hiện và kiểm tra, giám sát hoạt động phòng, chống bệnh không lây nhiễm,
bệnh xã hội; thống kê, báo cáo, xây dựng và quản lý cơ sở dữ liệu về bệnh
không lây nhiễm, bệnh xã hội [1]; Nghiên cứu, phát triển và sử dụng vắc xin,
sinh phẩm y tế hỗ trợ phòng ngừa các bệnh truyền nhiễm một cách chủ động
[1]; Hướng dẫn, kiểm tra việc sử dụng vắc xin, sinh phẩm y tế và an toàn tiêm
chủng [1].
1.2. Dịch bệnh
Dịch bệnh là bệnh được lan truyền nhanh chóng và ảnh hưởng đến số
lượng lớn người trong vòng một thời gian rất ngắn [5].
1.3. Dự báo dịch bệnh trong lĩnh vực y tế dự phòng
Hoạt động dự báo hỗ trợ các cơ quan, tổ chức đưa ra những thông tin nhận
định cho tương lai trên cơ sở các thông tin đã có trong quá khứ và hiện tại.
1.4. Thực trạng nghiên cứu dự báo trong y tế dự phòng
Qua tham khảo, nhận thấy các phương pháp dự báo dịch bệnh ban đầu đều
2
dựa trên mô hình lan truyền dịch bệnh, điển hình cho tư tưởng này là mô hình
SIR. Mức độ lan truyền dịch bệnh được xác định như sau:
𝑆 + 𝐼
𝑇
→ 2𝐼 và 𝐼
𝛼
→ 𝑅 (1.1)
1.5. Mục tiêu nghiên cứu
Nghiên cứu tổng quan các phương pháp, kỹ thuật khai phá dữ liệu và tiến
hành thực nghiệm, lựa chọn phương pháp thích hợp với tập dữ liệu dịch bệnh
truyền nhiễm.
Tóm tắt Chương 1
Chương 1 đã giới thiệu tổng quan các vấn đề của dịch bệnh truyền nhiễm,
lịch sử hình thành, phát triển của y tế dự phòng và thực trạng diễn biến dịch
bệnh truyền nhiễm hiện nay. Chương 2 của luận văn sẽ trình bày các phương
pháp và công cụ phổ biến hiện nay phục vụ khai thác dữ liệu, đề xuất lựa chọn
một phương pháp phù hợp nhằm xử lý, phân tích và dự báo tập dữ liệu về dịch
bệnh cúm do Google Flu Trends cung cấp.
3
CHƯƠNG 2: CÁC PHƯƠNG PHÁP VÀ CÔNG CỤ
KHAI PHÁ DỮ LIỆU
2.1. Khai phá dữ liệu
2.1.1. Khái niệm
Khai phá dữ liệu là quá trình trích xuất thông tin bên trong bộ dữ liệu lớn
để xác định các mẫu và thiết lập các mối quan hệ để giải quyết các vấn đề
thông qua phân tích dữ liệu [6]. Khai phá dữ liệu bao gồm 5 bước sau:
Hình 2.1. Các bước khai phá dữ liệu
2.1.2. Ưu điểm của khai phá dữ liệu với các phương pháp khác
2.1.2.1. Học máy (machine learning)
Các phương pháp trong máy học cần được phát triển để phù hợp với các
yêu cầu và thách thức của khai phá dữ liệu. Trong học máy, thuật ngữ cơ sở dữ
liệu là nói tới một tập các mẫu dữ liệu được lưu trong một tệp.
2.1.2.2. Phương pháp hệ chuyên gia
Các hệ chuyên gia sẽ nắm bắt các tri thức trong một bài toán cụ thể. Các
kỹ thuật thu thập giúp các chuyên gia trong việc khai thác tri thức, mỗi phương
pháp là kỹ thuật xây dựng các tập luật.
2.1.3. Những khó khăn trong khai phá dữ liệu
Khi khai phá dữ liệu gặp phải những thách thức sau đây: Cơ sở dữ liệu
lớn; vấn đề over-fitting; dữ liệu và tri thức được cập nhật, thay đổi; dữ liệu
thiếu và nhiễu; tích hợp với hệ thống.
2.2. Các kỹ thuật khai phá dữ liệu
2.2.1. Hồi quy (Regression)
2.2.1.1. Hồi quy tuyến tính (linear regression)
4
Hình 2.2. Tuyến tính hồi quy với một dự đoán duy nhất
Hồi quy tuyến tính với một dự báo đơn có thể được biểu diễn bằng phương
trình:
𝑦 = 𝜃2𝑥 + 𝜃1 + 𝑒, (1.2)
2.2.1.2. Hồi quy tuyến tính đa biến
Hồi quy tuyến tính đa biến đề cập đến hồi quy tuyến tính với hai hoặc
nhiều biến dự đoán (𝑥1, 𝑥2, , 𝑥𝑛). Khi sử dụng nhiều dự đoán, đường hồi quy
không thể được hiển thị trong không gian hai chiều.
𝑦 = 𝜃1 + 𝜃2𝑥1 + 𝜃3𝑥2 + + 𝜃𝑛𝑥𝑛−1 + 𝑒 (1.3)
2.2.1.3. Hồi quy phi tuyến
Bình thường mối quan hệ giữa x và y không phải luôn được xấp xỉ bằng
một đường thẳng.
Hình 2.3. Mô hình hồi quy phi tuyến tính
2.2.1.4. Hồi quy phi tuyến đa biến
Hồi quy phi tuyến tính đa biến đề cập đến hồi quy phi tuyến với hai hoặc
nhiều yếu tố dự đoán (𝑥1, 𝑥2, , 𝑥𝑛).
5
2.2.2. Kết hợp (Association)
Kỹ thuật của phương pháp là phát hiện và tìm ra trong tập dữ liệu cần khai
phá những mối liên hệ giữa các giá trị [11]. Đầu ra của phương pháp là luật kết
hợp tìm được từ tập dữ liệu ban đầu [11].
2.2.3. Phân lớp (Classification)
Phân lớp là một kỹ thuật khai phá dữ liệu mà gán các mục trong một bộ dữ
liệu để nhằm mục tiêu phân loại [11]. Mục tiêu của phân lớp là dự đoán chính
xác lớp mục tiêu cho từng trường hợp dữ liệu.
2.2.4. Phân cụm (Clustering)
Phân cụm là kỹ thuật tìm ra các cụm dữ liệu có đặc điểm tương tự nhau
trong tập dữ liệu cần khai phá. Các thành viên của một cụm giống nhau hơn so
với các thành viên của các cụm khác.
2.3. Dữ liệu chuỗi thời gian (time series data)
Chúng ta có thể hiểu chuỗi dữ liệu thời gian là một dãy các giá trị phụ
thuộc vào các mốc thời gian, việc phân tích dữ liệu chuỗi thời gian chính là
việc tìm ra mối liên hệ giữa P và tương ứng với giá trị 𝑥(𝑡), ta có công thức
như sau: 𝑃 → 𝑥(𝑡).
2.4. Các công cụ, phần mềm hỗ trợ khai phá dữ liệu
2.4.1. Phân tích số liệu bằng phần mềm Weka
Weka (viết tắt của Waikato Environment for Knowledge Analysis) là một
công cụ khai thác dữ liệu ban đầu được phát triển tại Đại học Waikato tại New
Zealand [12].
Hình 2.4. Giao diện phần mềm weka
2.4.2. Giới thiệu về SPSS (Statistical Product and Services Solutions)
SPSS là phần mềm phục vụ thống kê, với một bộ thư viện lớn các thuật
toán học máy, phân tích văn bản, nguồn mở, tích hợp dễ dàng với những dữ
liệu lớn [13].
6
Hình 2.5. Giao diện SPSS
2.4.3. Phân tích số liệu bằng R
R là một phần mềm được sử dụng cho phân tích dữ liệu, thống kê và vẽ
biểu đồ [14]. R là ngôn ngữ lập trình đa năng, có thể sử dụng cho nhiều mục
đích, tính toán, giải trí, phân tích thống kê phức tạp [14].
Hình 2.6. Giao diện phần mềm R
Tóm tắt chương 2
Chương 2 giới thiệu các phương pháp và công cụ phục vụ khai phá dữ
liệu. Bên cạnh đó, cũng đã đề cập đến chuỗi dữ liệu thời gian để chúng ta hiểu
bản chất của chuỗi dữ liệu thời gian. Chương 3 đi sâu phân tích phương pháp
phân tích hồi quy với chuỗi dữ liệu thời gian làm cơ sở cho việc thực nghiệm.
7
CHƯƠNG 3. PHƯƠNG PHÁP PHÂN TÍCH VÀ DỰ BÁO
VỚI CHUỖI DỮ LIỆU THỜI GIAN
3.1. Dữ liệu chuỗi thời gian
Dữ liệu chuỗi thời gian là một dãy giá trị phép đo trên cùng một đối tượng
được ghi nhận theo thời gian [10].
Hình 3.1. Số liệu diễn biến cúm phía Nam Châu phi từ năm 2006 - 2015
Dữ liệu chuỗi thời gian có các thành phần cơ bản như:
Hình 3.2. Biểu diễn xu hướng giảm của dữ liệu
- Thành phần xu hướng: để chỉ xu hướng tăng hay giảm của dữ liệu.
Hình 3.3. Biểu diễn thay đổi chuỗi thời gian theo từng khoảng thời gian
8
- Thành phần mùa (thời vụ): để chỉ chiều hướng tăng hay giảm của giá trị
y được tính theo giai đoạn thời gian (khoảng thời gian ngắn).
Hình 3.4. Biểu diễn chu kỳ chuỗi thời gian
- Thành phần chu kì (dài hạn): biểu thị bằng sự tăng, giảm của dữ liệu
chuỗi thời gian xoay quanh xu hướng.
- Thành phần ngẫu nhiên: Đây là thành phần ngược với chu kỳ, thành phần
ngẫu nhiên chỉ sự thay đổi bất thường của giá trị trong chuỗi thời gian và
thường không dự đoán được sự thay đổi của dữ liệu.
Hình 3.5. Sơ đồ chuỗi thời gian với định lượng 𝐘(𝐭) theo thời gian t
Với sơ đồ Hình 3.5 ta có Yt là giá trị định lượng trên chuỗi thời gian được
tính tại thời điểm t, qua đó ta có thể xác định được các mô hình sau:
- Mô hình cộng: 𝑌𝑡 = 𝑇𝑡 + 𝑆𝑡 + 𝐶𝑡 + 𝐼𝑡. (3.1)
- Mô hình nhân: 𝑌𝑡 = 𝑇𝑡𝑆𝑡𝐶𝑡𝐼𝑡. (3.2)
3.2. Tính dừng của dữ liệu chuỗi thời gian
Một tính chất quan trọng của dữ liệu chuỗi thời gian là tính dừng [4]. Một
chuỗi giá trị trên thời gian t là Yt được coi là dừng khi kỳ vọng, phương sai và
hiệp phương sai ở các độ trễ khác nhau giữ nguyên theo diễn biến thời gian
[4]. Chuỗi Yt được coi là dừng khi thỏa mãn:
- 𝐸(𝑌𝑡) = 𝜇(∀𝑡). (3.3)
9
- 𝑉𝑎𝑟(𝑌𝑡) = 𝐸(𝑌𝑡 − 𝜇)
2 = 𝜎2(∀𝑡). (3.4)
- 𝐶𝑜𝑣(𝑌𝑡 , 𝑌𝑡+𝑘) = 𝐸[(𝑌𝑡+𝑘 − 𝜇)(𝑌𝑡 − 𝜇)] = 𝑌𝑘(∀𝑡). (3.5)
3.2.1. Kiểm tra tính dừng chuỗi thời gian
3.2.1.1. Kiểm tra trực quan trên trên đồ thị biểu diễn chuỗi thời gian
Quan sát đồ thị chuỗi dữ liệu thời gian nếu thấy trung bình có xu hướng
tăng hoặc giảm theo từng khoảng thời gian để dự đoán chuỗi là không dừng.
3.2.1.2. Kiểm tra dựa trên sơ đồ tự tương quan và tự tương quan riêng
phần
3.2.1.2.1. Sơ đồ tự tương quan ACF (Autocorelation Function)
Sử dụng dùng hàm tự tương quan ACF, trong đó: độ trễ k ký hiệu bằng ρk,
xác định bằng công thức như sau:
𝐴𝐶𝐹(𝑘) = 𝑝𝑘
𝑐𝑜𝑣(𝑌𝑡, 𝑌𝑡−𝑘)
𝑉𝑎𝑟(𝑌𝑡)
(3.6)
3.2.1.2.2. Sơ đồ tự tương quan riêng phần PACF
Ta sử dụng hàm tương quan PACF để đo độ kết hợp giữa Yt và Yt-k , với
hệ số tương quan riêng ρkk ước lượng theo công thức Durbin:
𝑃𝐴𝐶𝐹(𝑘) = 𝑝𝑘𝑘 =
𝑝𝑘− ∑ 𝑝𝑘−1 𝑗 𝑝𝑘−𝑗
𝑘−1
𝑗=1
1 − ∑ 𝑝𝑘−1 𝑗 𝑝𝑗
𝑘−1
𝑗=1
(3.7)
Nếu chuỗi dừng thì các kk cũng có phân phối chuẩn 𝑁(0, 1 𝑛⁄ ), do đó
kiểm định giả thiết đối với ρkk tương tự như đối với ρk.
3.2.2. Biến đổi chuỗi không dừng thành chuỗi dừng
Với chuỗi thời gian ban đầu không có tính dừng, trước khi xây dựng mô
hình ARIMA ta phải biến chuỗi thành có tính dừng, phương pháp là lấy sai
phân cấp d với d = 1 hoặc d = 2,...
Ta có công thức: 𝑌𝑡 = 𝑌𝑡−1 + 𝑢𝑡, giá trị ut là nhiễu trắng.
Ta có công thức sai phân cấp 1 của yt như sau: 𝐷(𝑌𝑡) = 𝑌𝑡 − 𝑌𝑡−1 = 𝑢𝑡,
trong đó với ut là nhiễu trắng nên 𝐷(𝑌𝑡) là chuỗi dừng.
Nếu lấy sai phân cấp 1 chuỗi thời gian Yt nhưng chưa cho kết quả là chuỗi
dừng thì tiếp tục lấy sai phân cấp 2, 3 Có thể nói, luôn có một giá trị d để sai
10
phân cấp d của Yt là chuỗi dừng. Khi đó, Yt là liên kết bậc d, ký hiệu là I(d).
Sai phân của cấp d được tính như sau:
+ Cấp 1: 𝐷(𝑌𝑡) = 𝑌𝑡 − 𝑌𝑡−1 (3.8)
+ Cấp 2: 𝐷(𝐷(𝑌𝑡)) = 𝐷
2(𝑌𝑡) = (𝑌𝑡 − 𝑌𝑡−1) − (𝑌𝑡−1−𝑌𝑡−2) (3.9)
+ Tương tự như vậy với sai phân cấp d: 𝐷(𝐷𝑑−1(𝑌𝑡)) (3.10)
3.3. Mô hình ARIMA
3.3.1. Mô hình tự hồi quy AR
Ý tưởng mô hình AR(p) là hồi quy số liệu của nó trong quá khứ ở những
chu kì trước.
𝑌𝑡 = 𝑎0 + 𝑎1𝑌𝑡−1 + 𝑎2𝑌𝑡−2 + ⋯ + 𝑎𝑝𝑌𝑡−𝑝 + 𝑢𝑡; (3.11)
Hàm tuyến tính Yt là của chuỗi quan sát dừng những thời điểm trong quá
khứ: Yt-1, Yt-2
- Mô hình AR(1) : 𝑌𝑡 = 𝑎0 + 𝑎1𝑌𝑡−1 + 𝑢𝑡 (3.12)
- Mô hình AR(2) : 𝑌𝑡 = 𝑎0 + 𝑎1𝑌𝑡−1 + 𝑎2𝑌𝑡−2 + 𝑢𝑡 (3.13)
3.3.2. Mô hình trung bình trượt MA (Moving Average)
Hàm tuyến tính yt phụ thuộc vào các biến sai số dự báo quá khứ và hiện
tại. Mô hình trung bình trượt là một trung bình trọng số của những sai số mới
nhất.
𝑌𝑡 = 𝑏0 + 𝑢𝑡 + 𝑏1𝑢𝑡−1 + 𝑏2𝑢𝑡−2 + ⋯ + 𝑏𝑞𝑢𝑡−𝑞 (3.14)
- Mô hình MA(1) : 𝑌𝑡 = 𝑏0 + 𝑢𝑡 + 𝑏1𝑢𝑡−1 (3.15)
- Mô hình MA(2) : 𝑌𝑡 = 𝑏0 + 𝑢𝑡 + 𝑏1𝑢𝑡−1 + 𝑏2𝑢𝑡−2 (3.16)
3.3.3. Mô hình trung bình trượt và tự hồi quy ARMA
Yt là quá trình ARMA(1, 1) nếu Y có thể biểu diễn dưới dạng:
Yt = 𝑎0 + 𝑎1𝑌𝑡−1 + 𝑢𝑡 + 𝑏0 + 𝑏1𝑢𝑡−1 (u là nhiễu trắng) (3.17)
Tóm lại, Yt là quá trình ARMA (p, q) nếu Yt có thể biểu diễn dưới dạng:
Yt = 𝑎0 + 𝑎1𝑌𝑡−1 + 𝑎2𝑌𝑡−2 + + 𝑎𝑝𝑌𝑡−𝑝 + 𝑢𝑡 + 𝑏0 + 𝑏1𝑢𝑡−1 + (3.18)
11
𝑏2𝑢𝑡−2+ . . . + 𝑏𝑞𝑢𝑡−𝑞
3.3.4. Mô hình trung bình trượt tự hồi quy ARIMA
Với bậc tự hồi quy p, số lần lấy sai phân d để chuỗi Yt được xác định là
chuỗi dừng, bậc trung bình trượt q (p và q là bậc tương ứng của chuỗi dừng).
- Trong mô hình ARIMA (p, d, q), khi d = 0 và q = 0 thì ta có AR(p).
- Trong mô hình ARIMA (p, d, q), khi d = 0 và p = 0 thì ta có MA(q).
- Với ARIMA(1,1,1) nghĩa là Yt có sai phân bậc 1 là một chuỗi dừng.
Chuỗi sai phân dừng này có thể biểu diễn dưới dạng ARMA (1,1).
∆𝑌𝑡 = 𝑎0 + 𝑎1𝑌𝑡−1 + 𝑎0𝑢𝑡 + 𝑎1𝑢𝑡−1 (u là nhiễu trắng) (3.19)
3.3.5. Dự báo dữ liệu chuỗi thời gian
Các bước chính trong phương pháp Box‐Jenkins:
Nhận dang mô
hình
Ước lượng mô
hình
Mô hình
có phù hợp?
Dự báo
Vẽ biểu đồ
chuỗi giá trị
Là chuỗi dừng?
Lấy sai phân của
chuỗi
Điều chỉnh mô
hình
Có
Không
Có
Không
Hình 3.6. Các bước chính trong phương pháp Box‐Jenkins
Tóm tắt chương 3
Chương 3 đã chi tiết phân tích đặc điểm chuỗi dữ liệu chuỗi thời gian, và
dựa vào đặc điểm của dữ liệu chuỗi thời gian để lựa chọn mô hình phân tích
phù hợp ARIMA. Chương 4 tiến hành thực nghiệm tập dữ liệu dịch bệnh cúm
do Google Flu Trends công bố sử dụng R và dựa trên mô hình ARIMA.
12
CHƯƠNG 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ
4.1. Mô hình thực nghiệm
Một công cụ tự hồi quy (auto regressive - AR) hướng tới sử dụng những
giá trị quá khứ trong công thức hồi quy cho chuỗi Y, tham số tự hồi quy p.
𝑌𝑡 = 𝑎0 + 𝑎1𝑌𝑡−1 + 𝑎2𝑌𝑡−2 + ⋯ + 𝑎𝑝𝑌𝑡−𝑝 + 𝑢𝑡 (4.2)
Một công cụ trung bình trượt (moving average - MA) nêu ra lỗi của mô
hình giống như sự kết hợp thành phần lỗi trước đây et.
𝑌𝑡 = 𝑏0 + 𝑒𝑡 + 𝑏1𝑒𝑡−1 + 𝑏2𝑒𝑡−2 + ⋯ + 𝑏𝑞𝑒𝑡−𝑞 (4.3)
Tự hồi quy và công cụ trung bình trượt thể hiện một mô hình ARIMA:
𝑌𝑡 = 𝑎0 + 𝑎1𝑌𝑡−1 + 𝑎2𝑌𝑡−2 + + 𝑎𝑝𝑌𝑡−𝑝 + 𝑢𝑡 + 𝑏0 + 𝑏1𝑢𝑡−1
+ 𝑏2𝑢𝑡−2 + . . . + 𝑏𝑞𝑢𝑡−𝑞
(4.4)
4.2. Mục đích thực nghiệm
Dựa trên tập dữ liệu dịch cúm của Google Flu Trends tiến hành thực
nghiệm nhằm phân tích và đưa ra kết quả dự báo.
4.3. Tập dữ liệu Google Flu Trends
Google Flu Trends là một dịch vụ web do Google thực hiện, cung cấp ước
tính về diễn biến của dịch cúm hơn 25 quốc gia, bằng cách thu thập các truy
vấn của công cụ tìm kiếm Google.
Hình 4.1. Biểu đồ so sánh dữ liệu dự báo của Google Flu Trends và
Trung tâm kiểm soát và phòng ngừa các chứng bệnh của Mỹ
13
Hình 4.2. Mẫu dữ liệu bệnh cúm của 25 nước trên thế giới
được tổng hợp từ 2003 đến 2015
Google Flu Trends thu thập số liệu cúm bằng cách xác định địa chỉ IP của
mỗi tìm kiếm, trạng thái truy vấn này đã được nhập có thể được xác định.
log(𝑃) = 𝛽0 + 𝛽1 𝑥 log(Q) + 𝜀 (4.1)
4.4. Môi trường, cấu hình hệ thống và công cụ
4.4.1. Cấu hình phần cứng
Thành phần Chỉ số
CPU Intel Pentium T4400 / 2.2 GHz
RAM 2 x 2 GB
OS Windows 7
Bộ nhớ ngoài 250 GB
Bảng 1. Cấu hình phần cứng
4.4.2. Các công cụ phần mềm sử dụng
TT Tên phần mềm Nguồn
1 R i386 3.4.4 https://www.r-project.org
Bảng 2. Các công cụ, phần mềm sử dụng
4.5. Kết quả thực nghiệm
Nếu thư viện chưa được cài đặt ta tiền hành cài trước khi sử dụng:
(1)
(2)
14
Hình 4.3. Cài đặt gói thư viện
4.5.1. Lựa chọn và xử lý dữ liệu
Kết quả thu được là số liệu công bố dịch cúm của Argentina từ 2003 đến
2015 có 655 bản ghi. Nạp dữ liệu:
Hình 4.4. Nạp dữ liệu
Ta có tập dữ liệu d sau khi được nạp như sau:
Hình 4.5. Tập dữ liệu cúm của Argentina
Bước 1: Lựa chọn dữ liệu
Trong tập dữ liệu được nạp d là dữ liệu từ năm 2003 đến năm 2015.
15
Hình 4.6. Tập dữ liệu cúm của Argentina năm 2004
Ta trích lấy mẫu dữ liệu của Argentina được thu thập vào năm 2004 và xây
dựng sơ đồ diễn biến.
Hình 4.7. Diễn biến cúm năm 2004 của Argentina theo tháng
Tập dữ liệu đầu vào đã đáp ứng nên thực nghiệm của luận văn bỏ qua
Bước 2: Tiền xử lý dữ liệu và chuyển qua Bước 3: Đổi dạng.
Bước 3: Đổi dạng
Sử dụng hàm tsclean(), tập dữ liệu được làm sạch, trong tập dữ liệu mới
được tạo ra có thêm cột clean_scm, là số liệu đã được làm sạch.
Hình 4.8. Dữ liệu cúm của năm 2004 Argentina được làm sạch
Sau khi được xử lý làm sạch dữ liệu, ta nhận được biểu đồ, như sau:
16
Hình 4.9. Diễn biến cúm Argentina năm 2014 được làm sạch
Công thức trung bình trượt MA của số ca mắc cúm m có thể được tính
bằng cách lấy trung bình của chuỗi Y, k khoảng thời gian xung quanh mỗi
điểm:
𝑀𝐴 =
1
𝑚
∑ 𝑌𝑡+𝑗
𝑘
𝑗 = −𝑘 (4.5)
Xác định nhiều mức độ thời vụ (seasonality), ta lập mô hình trung bình
trượt theo 7 ngày (được thể hiện bởi dòng màu xanh).
Hình 4.10. Biểu đồ bệnh cúm của Argentina với dữ liệu được làm mịn
4.5.2. Phân tách dữ liệu
Bước 4: Khai phá dữ liệu
Phân tách chuỗi và loại bỏ tính thời vụ với hàm seasadj(). Xác định tính
chu kỳ của dữ liệu với ts() trong một khoảng thời gian là 7 ngày.
Hình 4.11. Sơ đồ dữ liệu được phân tách theo thành phần tính thời vụ, xu
hướng và chu kỳ
17
Sử dụng ADF để kiểm tra tính dừng của chuỗi thời gian, kết quả trả về giá
trị 𝑝 − 𝑣𝑎𝑙𝑢𝑒 = 0.8648 và lớn hơn 0.05 cho thấy chuỗi không có tính dừng.
Vì vậy, tiếp tục chọn các tham số thứ tự cho mô hình ARIMA.
Hình 4.12. Mô hình ACF
Hình 4.13. Mô hình PACF
Ta thấy, mô hình ACF tại Hình 4.12 và mô hình PACF tại Hình 4.13 các
hệ số tương quan giảm rất chậm về 0, ta có thể kết luận chuỗi không có tính
dừng. Tiếp tục với sai phân 𝑑 = 1 và đánh giá lại. Kiểm tra lại với ACF với
𝑑 = 1. Với 𝑑 = 1 qua phép kiểm tra ADF ta thu được giá trị 𝑝 − 𝑣𝑎𝑙𝑢𝑒 =
0.0471 nhỏ hơn 0.05, vậy có thể kết luận chuỗi đã có tính dừng.
Hình 4.14. Mô hình kiểm tra với 𝐝 = 𝟏
Ta thấy, có sự tương quan tự đáng kể ở độ trễ 1. Tại các Hình 4.15 mô
hình ACF với 𝑑 = 1 và Hình 4.16 mô hình PACF với 𝑑 = 1, ta thấy ACF và
PACF có sự tăng đột biến đáng kể ở độ trễ 1 và giảm dần về 0, đánh giá thấy
chuỗi đáp ứng tính dừng.
18
Hình 4.15. Mô hình ACF với 𝐝 = 𝟏
Hình 4.16. Mô hình PACF với 𝐝 = 𝟏
Bước 5: Trình diễn
Các tham số (1, 1, 1) ta đã có một mô hình dự báo, chúng ta có thể bắt đầu
bằng cách kiểm tra các ô ACF và PACF.
Hình 4.17. Mô hình 𝐀𝐑𝐈𝐌𝐀(𝟏, 𝟏, 𝟏)
Có một mô hình ACF / PACF và các ô mẫu còn lại lặp lại ở độ trễ 7. Điều
này cho thấy mô hình của chúng ta có thể tốt hơn với một đặc tả khác, như
𝑝 = 7 ℎ𝑜ặ𝑐 𝑞 = 7.
19
Hình 4.18. Mô hình ARIMA (1, 1, 7)
Thông qua mô hình R để dự báo h giai đoạn trong tương lai, với tham số h
được xác định theo chu kỳ 30 ngày liên tiếp ghi nhận số liệu cúm.
Hình 4.19. Mô hình dự báo với hệ số (1, 1, 1)
Đường màu xanh nhạt ở trên cho thấy sự phù hợp do mô hình cung cấp.
Hình 4.20. Mô hình dự báo
Tuy nhiên, đường màu xanh đại diện cho dự báo có vẻ rất đơn giản, nó đi
gần với một đường thẳng khá sớm, mà dường như không giống với mô hình
trong quá khứ của chuỗi.
20
Hình 4.21. Mô hình dự báo ARIMA(0, 2, 0)(0, 0, 1)(7)
Cả hai ước tính dự đoán ở trên được cung cấp với độ tin cậy cao: độ tin
cậy 80% được tô bằng màu xanh sẫm hơn và 95% màu xanh nhạt hơn. Dự báo
dài hạn thường sẽ có sự không chắc chắn hơn, vì mô hình sẽ hồi quy Y trong
tương lai dựa trên các giá trị được dự đoán trong quá khứ của chuỗi.
Hình 4.22. Diễn biến dịch bệnh thực tế tại Argentina từ năm 2003 đến
2015
4.6. Đánh giá kết quả
Với số liệu được trình diễn bằng sơ đồ ta có thể thấy rằng diễn biến dịch
bệnh được thay đổi theo thời gian và có chu kỳ diễn biến nhất định. Tại hình
4.19 sơ đồ biểu diễn dịch bệnh cúm mùa của Argentina năm 2004, số ca mắc
được phân bổ như sau: vào mùa những tháng 1, 2, 3, 4 dịch cúm ở mức thấp ;
đến tháng 5, 6, 7, 8, 9 do sự thay đổi thời tiết khiến dịch bệnh tăng vọt và giảm
dần vào cuối năm từ tháng 10, 11, 12. Chu kỳ biến động dịch bệnh cũng được
lặp đi lặp lại từ năm này qua năm khác. Từ phép phân tích trên có thể nhận
thấy chu kỳ tăng, giảm của bệnh dịch qua đó sẽ đưa ra dự báo cho thời diểm
trong tương lai.
Tóm tắt chương 4
Chương 4 luận văn tiến hành thực nghiệm phân tích tập dữ liệu dịch bệnh
cúm của Google Flu Trends trên R, thông qua mô hình ARIMA và đưa ra dự
báo dữ liệu từ tập dữ liệu cúm của Argentina. Với tỷ lệ dự đoán chính xác
95%, có thể thấy độ tin cậy của kết quả dự đoán trong phần thực nghiệm.
2003-02-02 2004-02-15 2005-02-27 2006-03-12 2007-03-25 2008-04-06 2009-04-19 2010-05-02 2011-05-15 2012-05-27 2013-06-09 2014-06-22 2015-07-05
1
0
0
2
0
0
3
0
0
4
0
0
21
KẾT LUẬN
1. Các kết quả đạt được
Để nghiên cứu bài toán ứng dụng khai phá dữ liệu trong y tế dự phòng,
học viên đã tập trung nghiên cứu các khái niệm về y tế dự phòng, thực trạng về
nhu cầu trong việc quản lý, phân tích và dự báo đươc dịch bệnh trên tập số liệu
được báo cáo.
Bên cạnh đó, học viên cũng nghiên cứu, tìm hiểu một số phương pháp
khai phá dữ liệu hiện nay. Cùng với đó là đề xuất một số phương pháp khai dữ
liệu phù hợp với tập dữ liệu dịch bệnh cúm do Google công bố.
Dựa trên nghiên cứu đó luận văn đề xuất một mô hình dự báo dịch bệnh
truyền nhiễm dựa trên tập dữ liệu thời gian. Luận văn cũng tiến hành cài đặt
thực nghiệm một tập dữ liệu được trích xuất trong tập dữ liệu của một quốc
gia. Dựa vào kết quả phân tích, dự báo như đã trình bày trong phần thực
nghiệm, lấy đó làm cơ sở cho cho xây dựng các bài toán dự báo tình hình dịch
bệnh.
2. Hướng nghiên cứu tiếp theo
Trong khuôn khổ luận văn này, tôi mới chỉ dừng lại ở việc phân tích
chuỗi dữ liệu thời gian và đưa ra dự báo dựa vào xu hướng dữ liệu trên thực
nghiệm trong mô hình đó, đánh giá kết quả dự báo trên tập dữ liệu so với số
liệu thực tế.
Trong thời gian tới, tôi sẽ tiếp tục thực nghiệm các tập dữ liệu còn lại
trong tập dữ liệu được công bố, đồng thời xem xét hướng nghiên cứu bổ sung
nhằm phân tích, đánh giá các quy luật diễn biến dịch bệnh cúm trên toàn cầu
dự trên các đặc điểm thời gian, địa lý, điều kiện thời tiết để nâng cao độ chính
xác và giảm thiểu việc bỏ sót các cặp quan hệ trong chuỗi dữ liệu thời gian.
22
TÀI LIỆU THAM KHẢO
Tiếng Việt
[1] Nguyễn Minh Sơn - Dịch tễ học, Nhà xuất bản Giáo dục 2012.
Tiếng Anh
[2] Centers for Disease Control and Prevention (CDC USA) - Principles
of epidemiology in public health practice, Third edition 2012. 2
[3] Dorland - Dorland's Illustrated Medical Dictionary 32nd Edition,
2011.
[4] Chi-Chen Wang. “A comparision study between fuzzy time series
model and ARIMA model for forecasting Taiwan export”. Expert Systems
with Applications, vol.38, no.8, pp.9296-9304, 2011.
[5] Hippocrates - On airs, waters, and places written 400 B.C.E
(Translated by Francis Adams).
[6] Han, Jiawei, Jian Pei, and Micheline Kamber. Data mining: concepts
and techniques. Elsevier, 2011.
[7] K. Senthamarai Kannan and E. Sakthivel. “Fuzzy Time Series Model
and ARIMA Model – A Comparative Study”. Indian Journal of Applied
Research, vol.4, no.8, pp.624-636, 2014.
[8] LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep
learning." Nature 521.7553 (2015): 436-444.
[9] R. Bonita, R. Beaglehole, Tord Kjellström - Basic epidemiology 2nd
edition, World Health Organization.
[10] Shasha, D., High Performance Discovery in Time Series, Berlin:
Springer, ISBN 0387008578, 2004.
[11] Verikas, Antanas, Adas Gelzinis, and Marija Bacauskiene. "Mining
data with random forests: A survey and results of new tests." Pattern
Recognition 44.2 (2011): 330-349.
[12] https://www.cs.waikato.ac.nz
[13] https://www.spss-tutorials.com/spss-what-is-it
[14] https://www.r-project.org
[15] https://www.britannica.com/science/preventive-medicine.
23
PHỤ LỤC
1. Gọi thư viện: ggplot2, forecast, tseries, lubridate.
> library('ggplot2')
> library('forecast')
> library('tseries')
> library(lubridate)
2. Cài đặt thư viện:
> install.packages("lubridate")
3. Nạp tập dữ liệu:
> d<-read.csv("dataArgentina.csv", head=T)
4. Trích xuất dữ liệu của một năm bất kỳ trong tập d với dữ liệu của năm
2004 của Argentina.
> Nam2004 <- d[format(as.Date(d$Date, format = '%m/%d/%Y'),
'%Y')==2004,]
5. Xây dựng sơ đồ diễn biến số liệu năm 2004 của Argentina.
> Nam2004$Date = as.Date(Nam2004$Date)
> ggplot(Nam2004, aes(Date, Argentina))+ geom_line()+
scale_x_date('month')+ ylab("Số ca mắc cúm")+xlab("thời gian")
6. Làm mịn tập dữ liệu:
> count_sc = ts(Nam2004[, c('Argentina')])
> Nam2004$clean_scm = tsclean(count_sc)
7. Vẽ biểu đồ với tập dữ liệu Nam2004 sau khi được xử lý qua hàm
tsclean():
> ggplot() + geom_line(data = Nam2004, aes(x = Date, y = clean_scm))
+ylab('Số ca mắc cúm (Cleaned)')
8. Lấy mức trung bình theo những khoảng thời gian, làm mịn để chuỗi trở
nên ổn định hơn và có thể dự đoán được:
> Nam2004$cnt_ma = ma(Nam2004$clean_scm, order=7) #sử dụng số tại cột
clean_scm đã được loại bỏ ngoại lệ
> Nam2004$cnt_ma30 = ma(Nam2004$clean_scm, order=30)
> ggplot() + geom_line(data = Nam2004, aes(x = Date, y = clean_scm, colour
24
="Counts")) + geom_line(data = Nam2004, aes(x = Date, y = cnt_ma30,
colour = "Di chuyển trượt hàng tháng")) + ylab('Số ca bệnh mắc')
9. Làm mịn và điều chỉnh chuỗi ban đầu bằng cách loại bỏ tính thời vụ:
> count_sm = ts(na.omit(Nam2004$cnt_ma), frequency=7)
> decomp = stl(count_sm, s.window="periodic")
> deseasonal_scm <- seasadj(decomp)
> plot(decomp)
10. Sử dụng ADF để kiểm tra tính dừng của chuỗi thời gian:
> adf.test(count_sm, alternative = "stationary")
11. Biểu diễn sơ đồ dữ liệu với ACF và PACF:
> Acf(count_sm, main='')
> Pacf(count_sm, main='')
12. Kiểm tra sơ đồ với d = 1:
> count_d1 = diff(deseasonal_scm, differences = 1)
> plot(count_d1)
> adf.test(count_d1, alternative = "stationary")
13. Biểu diễn sơ đồ dữ liệu với ACF và PACF với d = 1:
> Acf(count_d1, main='ACF for Differenced Series')
> Pacf(count_d1, main='PACF for Differenced Series')
14. Biểu diễn mô hình ARIMA:
> auto.arima(deseasonal_scm, seasonal=FALSE)
> fit<-auto.arima(deseasonal_scm, seasonal=FALSE)
> tsdisplay(residuals(fit), lag.max=45, main='(1,1,1) Model Residuals')
> fit2 = arima(deseasonal_scm, order=c(1,1,7))
15. Biểu diễn mô hình dự báo:
> fcast <- forecast(fit2, h=30)
> plot(fcast)
Các file đính kèm theo tài liệu này:
- tom_tat_luan_van_khai_pha_du_lieu_va_ung_dung_trong_y_te_du.pdf