entropy của nhiều biến

Mục tiêu

Sau khi hoàn tất bài học này bạn có thể:

• Hiểu biết các định nghĩa Entropy của nhiều biến và Entropy có điều kiện,
• Hiểu mối quan hệ giữa H(X,Y) với H(X) và H(Y) khi X, Y độc lập,
• Hiểu mối quan hệ giữa H(X,Y) với H(X) và H(Y) khi X, Y tương quan,
• Vận dụng mối quan hệ gữa các Entropy để tính các Entropy một cách hiệu quả,
• Vận dụng Entropy có điều kiện để làm cơ sở tính lượng tin trong bài học kế tiếp

Định nghĩa Entropy của nhiều biến

Giả sử: X và Y là 2 biến ngẫu nhiên cho trước với p_ịj = p(X=x_i,Y=y_j) (∀ i=1,..,M và j=1,…,L).

Khi đó, Entropy H(X,Y) có dạng:

Hay

Một cách tổng quát:

Ví dụ Entropy của nhiều biến

Cho 2 BNN X và Y độc lập nhau và có các phân phối:

Tính H(X,Y).

- Lập phân phối của P(X,Y)

- H(X,Y) =H(0.125, 0.25, 0.125, 0.125, 0.25, 0.125)=2.5 (Bit)

Định nghĩa Entropy có điều kiện

Entropy của Y với điều kiện X=x_i (i=1,..,M) được định nghĩa là:

Entropy của Y với điều kiện X xảy ra được định nghĩa là:

Ví dụ Entropy có điều kiện

Xét biến ngẫu nhiên X và biến ngẫu nhiên Y có tương quan nhau. Các phân phối như sau:

Phân phối của Y có điều kiện X:

Entropy của Y/X=1 và Y/X=2 như sau :

H(Y/X=1)=H(0.25, 0.5 , 0.25)= -0.25 log0.25 – 0.5 log0.5-0.25 log0.25

=0.5 + 0.5 + 0.5= 1.5 (Bit)

H(Y/X=2)= H(0; 0; 1)= 0 (Bit)

Entropy của Y khi X xảy ra:

H(Y/X)=P(X=1) H(Y/X=1)+ P(X=2) H(Y/X=2)=(0.5x1.5) + ((0.5x0)=0.75 (Bit).

Quan hệ giữa H(X,Y) với H(X) và H(Y) khi X, Y tương quan

Định lý 2: H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y).

Định lý 3: H(Y/X)≤ H(Y) và Dấu đẳng thức xảy ra khi và chỉ khi X và Y độc lập nhau.

Chứng minh định lý 2:

Tương tự ta có: H(X,Y)=H(Y)+H(X/Y)

Chứng minh định lý 3:

Từ định lý 1 và định lý về quan hệ giữa các Entropy, ta có:

H(X,Y)=H(X)+H(Y/X)≤ H(X)+ H(Y) => H(Y/X) ≤ H(Y).

Sinh viên tự chứng minh

Bài tập

Xét BNN X và BNN Y có tương quan nhau. Các phân phối như sau:

Phân phối của Y có điều kiện X:

Tính các Entropy sau: H(X), H(Y).

Tính các Entropy có điều kiện sau: H(X/Y), H(Y/X).

Tính các Entropy sau: H(X,Y).

Từ kết quả câu 1,2 và 3 hãy minh họa các định lý 1, 2 và 3 cho bài học.