minh họa các entropy

MINH HỌA CÁC ENTROPY

Mục tiêu

Sau khi hoàn tất bài học này bạn có thể:

• Biết được Yêu cầu của bài toán,
• Biết cách xác định các phân phối ngẫu nhiên của bài toán,
• Vận dụng các bài học trước để tính các Entropy H(X), H(Y) và H(X,Y),
• Vận dụng các bài học trước để tính các Entropy có điều kiện H(X/Y) và H(Y/X),
• Nhận xét và so sánh quan hệ giữa các Entropy
• Ngoài ra còn giúp bạn ôn tập và hiểu rõ hơn các công thức tính Entropy.

Yêu cầu của bài toán

Ta xét ví dụ về một người tổ chức trò chơi may rủi khách quan với việc tung một đồng tiền “có đầu hình – không có đầu hình”. Nếu người chơi chọn mặt không có đầu hình thì thắng khi kết quả tung đồng tiền là không có đầu hình, nguợc lại thì thua. Tuy nhiên người tổ chức chơi có thể “ăn gian” bằng cách sử dụng 2 đồng tiền “Thật- Giả” khác nhau sau:

+ Đồng tiền loại 1 (hay đồng tiền thật): đồng chất có 1 mặt có đầu hình.

+ Đồng tiền loại 2 (hay đồng tiền giả ): đồng chất, mỗi mặt đều có 1 đầu hình.

Mặc dù người tổ chức chơi có thể “ăn gian” nhưng quá trình trao đổi 2 đồng tiền cho nhau là ngẫu nhiêu, vậy liệu người tổ chức chơi có thể “ăn gian” hoàn toàn được không? Hay lượng tin biết và chưa biết của sự kiện lấy một đồng tiền từ 2 đồng tiền nói trên được hiểu như thế nào?

Ta thử xét một trường hợp sau: nếu người tổ chức chơi lấy ngẫu nhiên 1 đồng tiền và sau đó thực hiện việc tung đồng tiền lấy được 2 lần. Qua 2 lần tung đồng tiền, ta đếm được số đầu hình xuất hiện. Dựa vào số đầu hình xuất hiện, ta có thể phán đoán được người tổ chức chơi đã lấy được đồng tiền nào.

Chẳng hạn: Nếu số đầu hình đếm được sau 2 lần tưng là 1 thì đồng tiền đã lấy được là đồng tiền thật, ngược lại nếu số đầu hình đếm được là 2 thì đồng tiền đã lấy được có thể là thật hay cũng có thể là giả. Như vậy, ta đã nhận được một phần thông tin về loại đồng tiền qua số đầu hình đếm được sau 2 lần tung. Ta có thể tính được lượng tin đó bằng bao nhiêu? (Việc tính lượng tin này sẽ được thảo luận sau).

Xác định các phân phối ngẫu nhiên của bài toán

Đặt X là biến ngẫu nhiên về loại đồng tiền.

Phân phối của X:

Đặt biến ngẫu nhiên Y là số đầu hình đếm được sau 2 lần tung:

Phân phối của Y khi nhận được đồng tiền có 1 mặt có đầu hình (Y/X=1)

Phân phối của Y khi nhận được đồng tiền có 2 mặt đều có đầu hình (Y/X=2)

Tìm phân phối của Y:

P(Y=0) = p(X=1)p(Y=0/X=1)+p(X=2)p(Y=0/X=2) = 0,5 x 0,25 +0,5 x 0 =0.125

P(Y=1) = p(X=1)p(Y=1/X=1)+p(X=2)p(Y=1/X=2) = 0,5 x 0,5 +0,5 x 0 =0.250

P(Y=2) = p(X=1)p(Y=2/X=1)+p(X=2)p(Y=2/X=2) = 0,5 x 0,25 + 0,5 x 1=0.625

Minh họa Entropy H(X), H(Y) và H(X,Y)

Entropy của X:

H(X) = H(0.5, 05)

= -(0.5)log(0.5) -(0.5)log(0.5) = 1 (bit)

Entropy của Y:

H(X) = H(0.125, 0.25, 0.625)

= -(0.125)log(0.125) + (0.25)log(0.25) + (0.625)log(0.625) = 1.2988 (bit)

Entropy của X và Y: H(X,Y)

Xem như bài tập dành cho các bạn sinh viên

Entropy của Y/X là trung bình của các entropy Y/X=x i .

Vậy, Entropy của Y có điều kiện X

Tương tự: H(Y,Z/X), H(Z/X,Y)

Minh họa Entropy H(X/Y) và H(Y/X)

Tính Entropy của Y khi biết X: H(Y/X)

H(Y/X=1) = H(0.25, 0.5 , 0.25)

= -(0.25log0.25 + 0.5log0.5 + 0.25log0.25)= 1.5 (bit)

H(Y/X=2)= H(0, 0, 1)= 0

H(Y/X)= p(X=1)H(Y/X=1)+ p(X=2)H(Y/X=2)= 0.5 x 1.5 + 0.5 x 0= 0.75 (bit)

Tính Entropy của X khi biết Y: H(X/Y)

Xem như bài tập dành cho các bạn sinh viên (Gợp ý: bạn nên lập các phân phối cho các trường hợp (X/Y=0), (X/Y=1) và (X/Y=2).

Minh họa quan hệ giữa các Entropy

Xem như bài tập dành cho các bạn sinh viên.

Gợi ý: sau khi bạn tính H(X,Y) và H(X/Y), bạn dựa vào các định lý 1,2 và 3 cùng với các kết quả đã tính được để so sánh và minh họa.