entropy của nhiều biến
Mục tiêu Sau khi hoàn tất bài học này bạn có thể: Hiểu biết các định nghĩa Entropy của nhiều biến và Entropy có điều kiện, Hiểu mối quan hệ giữa H(X,Y) với H(X) và H(Y) khi X, Y độc lập, ...
Mục tiêu
Sau khi hoàn tất bài học này bạn có thể:
- Hiểu biết các định nghĩa Entropy của nhiều biến và Entropy có điều kiện,
- Hiểu mối quan hệ giữa H(X,Y) với H(X) và H(Y) khi X, Y độc lập,
- Hiểu mối quan hệ giữa H(X,Y) với H(X) và H(Y) khi X, Y tương quan,
- Vận dụng mối quan hệ gữa các Entropy để tính các Entropy một cách hiệu quả,
- Vận dụng Entropy có điều kiện để làm cơ sở tính lượng tin trong bài học kế tiếp
Định nghĩa Entropy của nhiều biến
Giả sử: X và Y là 2 biến ngẫu nhiên cho trước với pịj = p(X=xi,Y=yj) (∀ i=1,..,M và j=1,…,L).
Khi đó, Entropy H(X,Y) có dạng:

Hay

Một cách tổng quát:
Ví dụ Entropy của nhiều biến
Cho 2 BNN X và Y độc lập nhau và có các phân phối:

Tính H(X,Y).
- Lập phân phối của P(X,Y)

- H(X,Y) =H(0.125, 0.25, 0.125, 0.125, 0.25, 0.125)=2.5 (Bit)
Định nghĩa Entropy có điều kiện
Entropy của Y với điều kiện X=xi (i=1,..,M) được định nghĩa là:

Entropy của Y với điều kiện X xảy ra được định nghĩa là:

Ví dụ Entropy có điều kiện
Xét biến ngẫu nhiên X và biến ngẫu nhiên Y có tương quan nhau. Các phân phối như sau:

Phân phối của Y có điều kiện X:

Entropy của Y/X=1 và Y/X=2 như sau :
H(Y/X=1)=H(0.25, 0.5 , 0.25)= -0.25 log0.25 – 0.5 log0.5-0.25 log0.25
=0.5 + 0.5 + 0.5= 1.5 (Bit)
H(Y/X=2)= H(0; 0; 1)= 0 (Bit)
Entropy của Y khi X xảy ra:
H(Y/X)=P(X=1) H(Y/X=1)+ P(X=2) H(Y/X=2)=(0.5x1.5) + ((0.5x0)=0.75 (Bit).
Quan hệ giữa H(X,Y) với H(X) và H(Y) khi X, Y tương quan
Định lý 2: H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y).
Định lý 3: H(Y/X)≤ H(Y) và Dấu đẳng thức xảy ra khi và chỉ khi X và Y độc lập nhau.
Chứng minh định lý 2:

Tương tự ta có: H(X,Y)=H(Y)+H(X/Y)
Chứng minh định lý 3:
Từ định lý 1 và định lý về quan hệ giữa các Entropy, ta có:
H(X,Y)=H(X)+H(Y/X)≤ H(X)+ H(Y) => H(Y/X) ≤ H(Y).

Sinh viên tự chứng minh
Bài tập
Xét BNN X và BNN Y có tương quan nhau. Các phân phối như sau:

Phân phối của Y có điều kiện X:


Tính các Entropy sau: H(X), H(Y).
Tính các Entropy có điều kiện sau: H(X/Y), H(Y/X).
Tính các Entropy sau: H(X,Y).
Từ kết quả câu 1,2 và 3 hãy minh họa các định lý 1, 2 và 3 cho bài học.