sự đo tin tức

Định nghĩa: Tin tức gửi từ 1 nguồn digital, khi bản tin thứ j được truyền đi là :

P_J:Là xác suất của việc truyền bản tin thứ J

Cơ số (base) của log xác định đơn vị được dùng để đo tin tức.Nếu log cơ số 2, thì đơn vị là bits.Với log tự nhiên đơn vị là Nats.Và với log cơ số 10 đơn vị sẽ là Hastley

Bit, đơn vị đo tin có ý nghĩa khác với bit là đơn vị của dữ liệu nhị phân.Tuy nhiên người ta vẫn hay dùng ” bit ” để ký hiệu cho cả hai loại đơn vị.

Công thức trên được viết lại với cơ số tự nhiên và cơ số 10:

Một cách tổng quát, nội dung tin tức sẽ thay đổi từ bản tin này đến bản tin khác, vì P_J sẽ không bằng nhau. Như vậy, ta cần đến một trung bình của nguồn.

Định nghĩa: Số đo tin tức trung bình (average information) của 1 nguồn là:

m: Số bản tin.

P_J : Xác suất của sự gởi bản tin thứ J

Tin tức trung bình còn gọi là entropy.

Ví dụ: Tìm information content (dung lượng tin tức ) tin tức của một bản tin gồm một word digitaldài 12digit , trong đó mỗi digit có thể lấy một trong 4 mức có thể. Xác suất của sự gởi một mức bất kỳ trong 4 mức được giả sử bằng nhau và mức của một digit không tùy thuộc vào trị giá được lấy của digit trước đó.

Trong một string gồm 12 symbol (digit) mà ở đó mỗi symbol gồm một trong 4 mức đó là 4.4.....4 = 4¹² bits,tổ hợp (word) khác nhau.

Vì mỗi mức gồm bằng nhau tất cả các word khác nhau đều bằng nhau. Vậy:

hoặc

Trong ví dụ trên ta thấy dung lượng tin ( information content ) trong bất kỳ một bản tin có thể nào đó đều bằng với dung tin trong bất kỳ bản tin có thể khác (24 bits). Vậy tin tức trung bình H là 24 bits.

Giả sử rằng chỉ có 2 mức (nhị phân) được cho phép cho mỗi digit và rằng tất cả các wordthì gần bằng nhau Vậy tin tức sẽ là I_J = 12 bits cho word nhị phân và tin tức trung bình là H = 12bits.

Ở đó tất cả word 12 bits sẽ cho 12 bits tin tức vì các word gần bằng nhau Nếu chúng không bằng nhau một vài trong các word 12 bits sẽ chứa hơn 12 bits tin tức và một vài sẽ chứa ít hơn .Và tin tức trung bình sẽ chứa ít hơn.

Đinh nghĩa:

Nhịp độ của nguồn (nate source) được cho bởi

H: Tin tức trung bình.

T: Thời gian cần thiết để gửi một bản tin.

Định nghĩa trên được áp dụng cho một nguồn digital.