Bài đọc tham khảo
Causality: Models, Reasoning, and Inference (Chapter 11.1.2)
Hôm nay:
- Mô hình đồ họa
- Mạng Bayes:
- Biểu diễn phân phối
- Tính độc lập có điều kiện
- Suy luận đơn giản
- Học đơn giản
Bài đọc:
- Bishop chương 8, đến 8.2
- Mitchell chương 6
Bayes Nets xác định Phân phối xác suất đồng thời theo biểu đồ này, cộng với các tham số
Lợi ích của Bayes Nets:
- Thể hiện phân phối đồng thời đầy đủ với ít tham số hơn, sử dụng kiến thức trước đó về các yếu tố phụ thuộc
- Các thuật toán suy luận và học hỏi
Mạng Bayesian Định nghĩa
Mạng Bayes biểu thị phân phối xác suất đồng thời trên một tập hợp các biến ngẫu nhiên
Mạng Bayes là một đồ thị không tuần hoàn có hướng và một tập hợp các phân phối xác suất có điều kiện (CPD’s)
- Mỗi nút biểu thị một biến ngẫu nhiên
- Các cạnh biểu thị các phụ thuộc
- Đối với mỗi nút Xi, CPD của nó xác định P(Xi | Pa(Xi))
- Phân phối đồng thời trên tất cả các biến được định nghĩa là
Pa(X) = cha mẹ trực tiếp của X trong biểu đồ
Bayesian Network
Nodes = các biến ngẫu nhiên
Phân phối xác suất có điều kiện (CPD) được liên kết với mỗi nút N, xác định P(N | Parents(N))
Phân phối đồng thời trên tất cả các biến:
Bayesian Networks
- CPD cho mỗi nút Xi mô tả P(Xi | Pa(Xi))
Quy luật xác suất chuỗi:
Nhưng trong lưới Bayes:
Suy luận trong Bayes Nets
P(S=1, L=0, R=1, T=0, W=1) =
Học trên Bayes Net
Xem xét việc học khi cấu trúc biểu đồ được cung cấp và dữ liệu = { <s,l,r,t,w> }
Giải pháp MLE là gì? MAP?
Thuật toán xây dựng mạng Bayes
- Chọn thứ tự cho các biến, ví dụ: X1, X2, … Xn
- For i=1 to n
Lưu ý sự lựa chọn này của cha mẹ đảm bảo
(theo quy tắc dây chuyền)
(theo cấu trúc)
Ví dụ
- Cúm gia cầm và Allegies đều gây ra các vấn đề về Mũi
- Các vấn đề về mũi gây ra Hắt hơi và Nhức đầu
Mạng Bayes cho X1,…X4 là gì mà KHÔNG có tính độc lập có điều kiện giả định?
Mạng Bayes cho Naïve Bayes là gì?
Chúng ta phải làm gì nếu các biến là hỗn hợp của giá trị rời rạc và giá trị thực?
Mạng Bayes cho Mô hình Markov ẩn
Ngụ ý rằng tương lai độc lập với quá khứ một cách có điều kiện, với điều kiện hiện tại
Trạng thái không quan sát: S
Đầu ra đã quan sát: O
Tính độc lập có điều kiện, được xem lại
- Chúng ta đã nói:
- Mỗi nút độc lập có điều kiện với các nút không phải là con cháu của nó, với điều kiện cho trước cha mẹ trực tiếp của nó.
- Quy tắc này có cung cấp cho chúng ta tất cả các mối quan hệ độc lập có điều kiện do mạng Bayes ngụ ý không?
- Không!
- VD: X1 và X4 độc lập có điều kiện cho trước {X2, X3}
- Nhưng X1 và X4 không độc lập có điều kiện cho X3
- Muốn vậy ta cần hiểu phép tách D
Mạng dễ dàng 1: Từ đầu đến cuối
chứng minh A độc lập có điều kiện với B cho trước C?
tức là p(a,b|c) = p(a|c) p(b|c)
hãy sử dụng p(a,b) làm tốc ký cho p(A=a, B=b)
Easy Network 2: Tail to Tail
chứng minh A độc lập có điều kiện với B cho trước C?
tức là, p(a,b|c) = p(a|c) p(b|c)
hãy sử dụng p(a,b) làm cách viết tắt cho p(A=a, B=b)
Mạng dễ dàng 3: Đối đầu
chứng minh A độc lập có điều kiện với B cho trước C?
tức là p(a,b|c) = p(a|c) p(b|c)
hãy sử dụng p(a,b) làm tốc ký cho p(A=a, B=b)
Mạng dễ dàng 3: Đối đầu
chứng minh A độc lập có điều kiện với B cho trước C? KHÔNG!
Tóm tắt:
- p(a,b)=p(a)p(b)
- p(a,b|c) NotEqual p(a|c)p(b|c)
Giải thích đi.
ví dụ:
- A=động đất
- B=breakIn
- C=motionAlarm
X và Y độc lập có điều kiện cho trước Z, khi và chỉ khi X và Y cách nhau D bởi Z.
[Bishop, 8.2.2]
Giả sử chúng ta có ba bộ biến ngẫu nhiên: X, Y và Z
X và Y được phân tách bằng D bởi Z (và do đó là độc lập có điều kiện, đã cho Z) nếu mọi đường dẫn từ mọi biến trong X đến mọi biến trong Y đều bị chặn
Đường dẫn từ biến X đến biến Y bị chặn nếu nó bao gồm một nút trong Z sao cho:
1. các mũi tên trên đường đi gặp nhau đối đầu hoặc nối đuôi nhau tại nút và nút này nằm trong Z
2. hoặc, các mũi tên đối đầu nhau tại nút và không phải nút, cũng không phải bất kỳ hậu duệ nào của nó, đều thuộc Z
X và Y được phân tách bằng D bởi Z (và do đó độc lập có điều kiện, cho trước Z) nếu mọi đường dẫn từ mọi biến trong X đến mọi biến trong Y đều bị chặn
Đường dẫn từ biến A đến biến B bị chặn nếu nó bao gồm một nút sao cho
1. các mũi tên trên đường dẫn gặp nhau từ đầu đến đuôi hoặc từ đuôi đến đuôi tại nút và nút này nằm trong Z
2. hoặc, các mũi tên đối đầu nhau tại nút và không phải nút cũng như bất kỳ con cháu nào của nó nằm trong Z
X1 độc lập với X3 cho X2?
X3 độc lập với X1 cho X2?
X4 độc lập với X1 cho X2?
X và Y được phân tách bằng D bởi Z (và do đó độc lập có điều kiện, cho trước Z) nếu mọi đường dẫn từ bất kỳ biến nào trong X đến bất kỳ biến nào trong Y đều bị chặn bởi Z
Đường dẫn từ biến A đến biến B bị chặn bởi Z nếu nó bao gồm một nút sao cho
1. các mũi tên trên đường dẫn gặp nhau từ đầu đến đuôi hoặc từ đuôi đến đuôi tại nút và nút này nằm trong Z 
2. các mũi tên đối đầu nhau tại nút và cả nút cũng như bất kỳ con cháu nào của nó đều không nằm trong Z 
X4 độc lập với X1 cho trước X3? 
X4 độc lập với X1 cho trước {X3, X2}? 
X4 độc lập với X1 cho trước {}? 
X và Y được phân tách bằng D bởi Z (và do đó độc lập có điều kiện, đã cho Z) nếu mọi đường dẫn từ bất kỳ biến nào trong X đến bất kỳ biến nào trong Y đều bị chặn
Đường dẫn từ biến A đến biến B bị chặn nếu nó bao gồm một nút sao cho
1. các mũi tên trên đường dẫn gặp nhau từ đầu đến đuôi hoặc từ đuôi đến đuôi tại nút và nút này nằm trong Z
2. hoặc, các mũi tên đối đầu nhau tại nút và cả nút cũng như bất kỳ con cháu nào của nó đều không nằm trong Z
a độc lập với b cho c?
a độc lập với b đã cho f ?
Markov Blanket
từ [Bishop, 8.2]
Những điều bạn nên biết
- Mạng Bayes là biểu diễn thuận tiện cho việc mã hóa các phụ thuộc/độc lập có điều kiện
- BN = Đồ thị cộng với các tham số của CPD
- Xác định phân phối đồng thời trên các biến
- Có thể tính toán mọi thứ khác từ đó
- Mặc dù có thể khó suy luận
- Đọc các quan hệ độc lập có điều kiện từ đồ thị
- Mỗi nút độc lập có điều kiện với các nút không phải là con cháu, chỉ được cho trước cha mẹ của nó
- Phân tách D
- ‘Giải thích đi’
Suy luận trong Bayes Nets
- Nói chung, khó kiểm soát (NP-đầy đủ)
- Đối với một số trường hợp nhất định, dễ kiểm soát
- Gán xác suất cho tập hợp các biến được quan sát đầy đủ
- Hoặc nếu chỉ một biến không được quan sát
- Hoặc cho các đồ thị được kết nối đơn lẻ (nghĩa là không có vòng lặp vô hướng)
- Lan truyền niềm tin
- Đối với các đồ thị liên thông nhân
- Cây nối
- Đôi khi sử dụng các phương pháp Monte Carlo
- Tạo nhiều mẫu theo phân phối Bayes Net, sau đó đếm kết quả
- Các phương pháp biến đổi cho các giải pháp gần đúng có thể xử lý được