các tính chất của entropy

Mục tiêu:

Sau khi hoàn tất bài học này bạn có thể:

Hiểu các tính chất cơ bản của Entropy,

Hiểu định lý cực đại của Entropy,

Vận dụng giải một số bài toán về Entropy,

Làm cơ sở để vận dụng giải quyết các bài toán tính dung lượng kênh truyền.

Các tính chất cơ bản của Entropy

Xét biến ngẫu nhiên X = {x₁, x₂, …, x_M}. Entropy của biến ngẫu nhiên X có các tính chất:

Hàm số f(M) = H(1/M,1/Mn điệu tăng.

Hàm số f(ML) = f(M)+f(L).

H(p₁, p₂, …, p_M) = H(p₁ + p₂ +…+p_r, p_r+1+ p_r+2+…+ p_M)

H(p, 1-p) là hàm liên tục theo P.

Minh họa tính chất 1 và 2

Minh họa tính chất 1:

Trong trường hợp biến ngẫu nhiên X có phân phối đều

Entropy của X như sau :

=> H(X) là hàm đơn điệu tăng

Minh họa tính chất 2:

Trong trường hợp 2 biến ngẫu nhiên X, Y độc lập có phân phối đều với BNN X có M sự kiện và BNN Y có L sự kiện.

Gọi f(M), f(L) lần lượt là Entropy của X, của Y. Theo tính chất 2 của Entropy ta có f(ML)=f(M)+f(L)

Minh họa tính chất 3 và 4

Minh họa tính chất 3:

Xét con xúc sắc có 6 mặt với xác suất xuất hiện các mặt được cho trong bảng sau:

Ta có thể gom các sự kiện x₁, x₂, x₃ lại thành một sự kiện mới là x₁₂₃ có xác suất xuất hiện là 55%, gom sự kiện x₅ và x₆ lại thành sự kiện x₅₆ có xác suất 20%.

Ta được một nhiến ngẫu nhiên mới X^* có phân phối sau:

Đến đây các bạn có thể áp dụng công thức để tính, so sánh các Entropy và nhận xét tính chất 3. Phần này xem như bài tập cho sinh viên.

Minh họa tính chất 4:

Để hiểu tính chất thứ 4, ta xét dạng đồ thị của hàm số H(p, 1-p ):

Rõ ràng H(p, 1-p) là một hàm liên tục theo p.

Định lý cực đại của entropy

Định lý: H(p₁, p₂, …,p_M)≤ log(M)

Trong đó: đẳng thức xảy ra khi và chỉ khi p₁=…= p_M= 1/M

Bổ đề:cho 2 bộ {p₁, p₂, …,p_M} và {q₁, q₂,…,q_M} là các bộ số dương bất kỳ và

Khi đó, ta có H(p₁, p₂, …,p_M)=

(*)

Đẳng thức xảy ra khi p_i=q_i với ∀i=1,..,M.

Bài tập

Bài 1: Cho 2 biến ngẫu nhiên X, Y độc lập nhau có phân phối sau:

Tính H(X), H(Y).

Kiểm tra lại kết quả của của bài 1 bằng tính chất 2.

Cho biến ngẫu nhiên X có phân phối sau:

Ta có thể gom các sự kiện x₁, x₂, x₃ lại thành một sự kiện mới là x₁₂₃ có xác suất xuất hiện là 55%, gom sự kiện x₅ và x₆ lại thành sự kiện x₅₆ có xác suất 20%.

Ta được một nhiến ngẫu nhiên mới X^* có phân phối sau:

- Tính entropy của X, X^* và kiểm tra lại tính chất 3.

- Kiểm tra lại định lý cực đại từ dữ liệu cho trên.