Luận văn Mạng nơron truyền thẳng và ứng dụng trong dự báo dữ liệu

Mạng nơron truyền thẳng và ứng dụng trong dự báo dữ liệuGiáo viên hướng dẫnTS. Lê Hải KhôiNgười thực hiệnTrần Đức MinhLUẬN VĂN THẠC SĨ KHOA HỌC*Nội dung1. Giới thiệu.2. Các khái niệm cơ bản về mạng nơron.3. Mạng nơron truyền thẳng.4. Thu thập, Phân tích và xử lý dữ liệu.5. Chương trình dự báo dữ liệu.6. Kết luận*1. Giới thiệuMạng nơron nhân tạo xuất phát từ việc mô phỏng hoạt động của bộ não con người.Mạng nơron là các mô hình tính toán chứa các đơn vị xử lý có khả năng truyền thông với nhau bằng cách gửi các tín hiệu đến lẫn nhau thông qua các liên kết có trọng số.Có khả năng thích nghi, nghĩa là “học từ các mẫu” thay vì “lập trình”.Các ứng dụng của mạng nơron:Phân loại: tín hiệu radar; xem xét các mẫu bệnh,Giảm nhiễu: tiếng nói, ảnh tĩnh bị nhiễu,Dự đoán/Dự báo : lượng sử dụng, thị trường, dự đoán lượng bán,*2. Các khái niệm cơ bản về mạng nơron:Mạng nơron có các đặc trưng sau:Tập các đơn vị xử lý.Một mức kích hoạt cho mỗi đơn vị.Các liên kết giữa các đơn vị.Luật lan truyền.Các hàm chuyển.Các đầu vào ngoài dữ liệu (độ lệch - bias).Phương pháp thu thập thông tin - Luật học.Môi trường trong đó hệ thống có thể hoạt động.Σg(aj)x0x1xnwj0wjnajzjjniijijxwaq+=å=1)(jjagz=j...θjwj1*3. Mạng nơron truyền thẳng3.1. Cấu trúc cơ bản Bao gồm một số lớp (1 lớp vào, 1 hay nhiều lớp ẩn và 1 lớp ra). Mỗi lớp có một số các đơn vị. Mỗi đơn vị nhận đầu vào từ các đơn vị ở lớp trước đó và gửi các tín hiệu này đến các đơn vị ở lớp kế tiếp. Đầu ra được biểu diễn bởi một hàm tường minh của các trọng số và độ lệch.Đơn vị ẩn:Đơn vị đầu ra:*Các mạng không có các lớp ẩn chỉ có khả năng giải quyết các bài toán khả phân tuyến tính. Các mạng nơron với một lớp ẩn có thể xấp xỉ khá tốt bất kỳ một ánh xạ hàm nào từ không gian hữu hạn một chiều sang một không gian khác.Các mạng nơron với 2 lớp ẩn có khả năng thể hiện một đường phân chia hay xấp xỉ một ánh xạ mịn bất kỳ tới một độ chính xác bất kỳ.3.2. Khả năng thể hiện*3.3. Huấn luyện bằng thuật toán lan truyền ngược: Đây là phương pháp thông dụng nhất để huấn luyện cho các mạng nơron truyền thẳng nhiều lớp. Có thể áp dụng cho các mạng truyền thẳng với các hàm chuyển và các hàm lỗi khả vi.Bước 1: Lan truyền xuôi đầu vào qua mạng:a0 = pam+1 = fm+1 (Wm+1 am + bm+1), với m = 0, 1, ..., M – 1.a = aMBước 2: Lan truyền độ nhậy cảm (lỗi) ngược lại qua mạng: , trong đó, với m = M – 1, ..., 2, 1.Bước 3: Cuối cùng, các trọng số và độ lệch được cập nhật bởi công thức sau:∆Wm(k) = ∆Wm(k - 1) – (1 - ) sm (am – 1) T,∆bm(k) = ∆bm(k - 1) - (1 - ) sm .Sử dụng bước đà:*4. Thu thập, Phân tích và Xử lý dữ liệu Xác định yêu cầu về dữ liệu- Dữ liệu nào có liên quan trực tiếp đến bài toán.- Dữ liệu nào có thể không liên quan.Thu thập, phân tích dữ liệuTiền xử lýdữ liệuMạng nơronHậu xử lýdữ liệuPhân tích sơ bộ dữ liệu (Thống kê và Trực quan hóa)Kiểm tra tính hợp lệ của dữ liệuPhân hoạch dữ liệu (Huấn luyện/Kiểm tra/Kiểm định)Biến đổiĐiều chỉnh giá trị về khoảng (0,1) hoặc (-1,1)Áp dụng một hàm toán học cho các giá trị (chẳng hạn hàm logarit hay bình phương)Mã hóa các biến số / Trích chọn đặc trưng.Tùy thuộc vào ứng dụng và quá trình tiền xử lý.Phân loạiDự báo,*5. Chương trình Dự báo dữ liệuBài toán dự báo lượng sử dụng khí ga*5.1. Mục tiêu Dự đoán lượng sử dụng hàng giờ trong 1 đến 5 ngày cho các công ty cung cấp ga để: Đáp ứng được nhu cầu trong tương lai Tối thiểu chi phí điều hành Lập kế hoạch dự trữ.5.2. Các nhân tố ảnh hưởng Các điều kiện thời tiết: nhiệt độ, tốc độ gió, ...Thời gian: giờ, ngày trong tuần, tháng, ngày cuối tuần.Thông tin kinh tế: giá ga, giá dầu, *5.3. Mô hình dự báo1) Dữ liệu thô2) Dữ liệu sau xử lý sơ bộNhiệt độTốc độ gióGiờ trong ngàyNgày trong tuầnCuối tuầnTháng trong năm6 hiệu ứng*3) Cấu trúc mạngHàm chuyển của các đơn vị ẩn sử dụng hàm sigmoidHàm chuyển cho lớp ra là hàm đồng nhất g(x) = x5.3. Mô hình dự báo (tiếp)Nhiệt độGióGiờNgày tuầnCuối tuầnThángbiasbiasLớp vàoLớp ẩnLớp raLượngSử dụng*5.4. Các đặc trưng của hệ thống Tìm ra số tối ưu các đơn vị trong lớp ẩn Đánh giá ảnh hưởng của hệ số học và hệ số bước đà Đánh giá được khả năng tổng quát hóa của mạng trong khi huấn luyện Dự báo dữ liệu tương lai*1) Xác định các tham số cho hệ thống5.4. Các đặc trưng của hệ thống (tiếp)*3) Huấn luyện mạng và kiểm tra khả năng tổng quát hóa5.4. Các đặc trưng của hệ thống (tiếp)*5.4. Các đặc trưng của hệ thống (tiếp)4) Dự báo tương lai* Mạng được huấn luyện tốt có khả năng dự báo chính xác đến 90%. Hệ số học và hệ số bước đà có ảnh hưởng rất nhiều đến thời gian huấn luyện của mạng. Đối với đơn vị lớp ra, hàm chuyển sử dụng là sigmoid hay hàm đồng nhất không có khác biệt đáng kể. Tùy thuộc vào độ phức tạp của bài toán, chương trình có thời gian huấn luyện, số đơn vị sử dụng trong lớp ẩn khác nhau. Để chọn lựa được cấu trúc tối ưu, có thể áp dụng phương pháp Thử-sai (Trial-and-errors). 5.5. Phân tích kết quả*5.6. Các bước thực hiệnDưới đây là các bước chính khi thực hiện thiết kế và thực thi mạng nơron cho bài toán dự báo:1. Chọn lựa các biến.2. Thu thập dữ liệu.3. Tiền xử lý dữ liệu.4. Phân chia tập dữ liệu thành các tập: huấn luyện, kiểm tra, kiểm định.5. Xác định cấu trúc mạng:· số lớp ẩn.· số nơron trong các lớp ẩn.· số nơron đầu ra.· các hàm chuyển.6. Xác định tiêu chuẩn đánh giá (hàm lỗi).7. Huấn luyện mạng.8. Thực thi trong thực tế.Trong khi thực hiện, không nhất thiết phải theo thứ tự các bước mà có thể quay lại các bước trước đó, đặc biệt là ở bước Huấn luyện và Lựa chọn các biến tham gia đầu vào. *6. Kết luận1) Mạng nơron là các bộ xấp xỉ đa năng. Chúng có lợi điểm so với các cách tiếp cận truyền thống: không yêu cầu dữ liệu phải đầy đủ.2) Chương trình Dự báo được xây dựng và áp dụng thử nghiệm cho dữ liệu lượng sử dụng khí ga (lấy trên Internet) có khả năng dự báo rất tốt. 3) Các mô hình tương tự có thể xây dựng cho các bài toán dự báo khác như: điện, nước, dự đoán thị trường, chứng khoán, lưu lượng giao thông, lượng bán của các sản phẩm, chừng nào những mối liên hệ giữa các đầu vào và đầu ra được xác định bằng thực tế và lý thuyết.4) Các thuật toán cải tiến có thể áp dụng để tăng cường hiệu năng của mạng.*XIN CẢM ƠN!