Văn phạm phi ngữ cảnh
Nội dung chính : Trong chương này, ta sẽ nghiên cứu một loại văn phạm khá quan trọng, gọi là văn phạm phi ngữ cảnh (CFG) và lớp ngôn ngữ mà chúng mô tả - ngôn ngữ phi ngữ cảnh(CFL). CFL, cũng như tập hợp chính quy, có ...
Nội dung chính :
Trong chương này, ta sẽ nghiên cứu một loại văn phạm khá quan trọng, gọi là văn phạm phi ngữ cảnh (CFG) và lớp ngôn ngữ mà chúng mô tả - ngôn ngữ phi ngữ cảnh(CFL). CFL, cũng như tập hợp chính quy, có nhiều ứng dụng thực tế rất quan trọng, đặc biệt trong việc biểu diễn ngôn ngữ lập trình. Chẳng hạn, CFG dùng hữu ích để mô tả các biểu thức số học trong các dấu ngoặc lồng nhau hay những cấu trúc khối trong ngôn ngữ lập trình (cấu trúc khối begin-end). Sau khi định nghĩa văn phạm phi ngữ cảnh, một số cách biến đổi văn phạm phi ngữ cảnh nhằm giản lược nó và đưa nó về một trong những dạng chuẩn sẽ được trình bày. Cuối chương, bổ đề bơm cho ngôn ngữ CFL và một số tính chất nhằm xác định tập ngôn ngữ này cũng sẽ được giới thiệu.
Mục tiêu cần đạt:
Cuối chương, sinh viên cần phải nắm vững:
Khái niệm CFG, xác định các thành phần của một CFG.
Nhận dạng được lớp ngôn ngữ mà một văn phạm CFG đặc tả.
Xây dựng các luật sinh cho một CFG đặc tả một lớp ngôn ngữ.
Các bước giản lược văn phạm CFG không chứa các giá trị vô ích.
Chuẩn hóa CFG về các dạng chuẩn Chomsky hoặc Greibach.
Ứng dụng bổ đề bơm cho CFL để chứng tỏ một ngôn ngữ không là ngôn ngữ phi ngữ cảnh.
Xác định một ngôn ngữ có thuộc lớp ngôn ngữ phi ngữ cảnh hay không theo các tính chất của CFL.
Kiểm tra tính rỗng, hữu hạn hoặc vô hạn của một CFL.
Kiến thức cơ bản:
Để tiếp thu tốt nội dung của chương này, trước hết sinh viên cần hiểu rõ cấu trúc cú pháp của một số ngôn ngữ lập trình cấp cao như Pascal, C; nắm vững lý thuyết đồ thị và cây; phương pháp chứng minh phản chứng và sự phân cấp các lớp văn phạm theo Noam Chomsky; …
Tài liệu tham khảo :
John E. Hopcroft, Jeffrey D.Ullman – Introduction to Automata Theory, Languages and Computation – Addison – Wesley Publishing Company, Inc – 1979 (Chapter 4 : Context – Free Grammars).
V.J. Rayward-Smith – A First course in Formal Language Theory (Second Editor) – McGraw-Hill Book Company Europe – 1995 (Chapter 5: Context-Free Languages )
From Wikipedia, the free encyclopedia – Context-Free Grammar:
http://en.wikipedia.org/wiki/Context-free_grammar
Xuất xứ của văn phạm phi ngữ cảnh là sự mô tả thông qua các ngôn ngữ tự nhiên. Ta có thể viết các quy tắc cú pháp để diễn tả câu “An là sinh viên giỏi“ như sau :
< câu đơn > → < chủ ngữ > < vị ngữ >
< chủ ngữ > → < danh từ >
< vị ngữ > → < động từ > < bổ ngữ >
< bổ ngữ > → < danh từ > < tính từ >
< danh từ > → An
< danh từ > → sinh viên
< động từ > → là
< tính từ > → giỏi
Các từ trong dấu móc nhọn như < câu đơn >, < chủ ngữ >, < vị ngữ >, ... là các phạm trù cú pháp, cho ta vai trò của các bộ phận hợp thành câu. Ta thấy một câu sinh ra qua các bước triển khai dần dần theo các quy tắc cú pháp. Đây cũng chính là dạng của các luật sinh trong văn phạm phi ngữ cảnh. Và như vậy, văn phạm phi ngữ cảnh cũng có thể chọn làm mô hình cho các văn phạm của các ngôn ngữ tự nhiên.
Tuy nhiên, trong khoa học máy tính, với nhu cầu biểu diễn các ngôn ngữ lập trình, văn phạm phi ngữ cảnh CFG còn được thiết kế thành một dạng tương đương gọi là văn phạm BNF (Backus - Naur Form). Đây cũng là văn phạm CFG với những thay đổi nhỏ về dạng thức và một số ký hiệu viết tắt mà các nhà khoa học máy tính thường ứng dụng trong việc diễn tả cú pháp của các ngôn ngữ lập trình cấp cao (như ALGOL, PASCAL, ... ). Trong dạng thức của văn phạm BNF, ký hiệu ::= được dùng thay cho ký hiệu →. Chẳng hạn, để định nghĩa một biểu thức số học (expression) bao gồm các danh biểu (identifier) tham gia vào các phép toán +, * hoặc biểu thức con lồng trong dấu ngoặc đơn , ta viết :
<expression> ::= <expression> + <expression>
<expression> ::= <expression> * <expression>
<expression> ::= ( <expression> )
<expression> ::= <identifier>
Việc nghiên cứu các văn phạm phi ngữ cảnh đã tạo nên một cơ sở lý luận vững chắc cho việc biểu diễn ngôn ngữ lập trình, việc tìm kiếm các giải thuật phân tích cú pháp vận dụng trong chương trình dịch và cho nhiều ứng dụng khác về xử lý chuỗi. Chẳng hạn, nó rất hữu ích trong việc mô tả các biểu thức số học với nhiều dấu ngoặc lồng nhau hoặc cấu trúc khối trong ngôn ngữ lập trình mà biểu thức chính quy không thể đặc tả.
Định nghĩa
là một tập hợp hữu hạn các biến (còn gọi là các ký hiệu chưa kết thúc), mỗi biến biểu diễn một ngôn ngữ. Ngôn ngữ được biểu diễn bởi các biến được mô tả một cách đệ quy theo thuật ngữ của một khái niệm khác gọi là ký hiệu kết thúc. Quy tắc quan hệ giữa các biến gọi là luật sinh. Mỗi luật sinh có dạng một biến ở vế trái sinh ra một chuỗi có thể gồm biến lẫn các ký hiệu kết thúc trong văn phạm.
(CFG) là một hệ thống gồm bốn thành phần, ký hiệu là văn phạm G (V, T, P, S), trong đó :
. V là tập hữu hạn các biến (hay ký tự chưa kết thúc)
. T là tập hữu hạn các ký tự kết thúc, V T = ∅
. P là tập hữu hạn các luật sinh mà mỗi luật sinh có dạng A → α với A là biến và α là chuỗi các ký hiệu ∈ (V size 12{ union } {}T)*
. S là một biến đặc biệt gọi là ký hiệu bắt đầu văn phạm.
Thí dụ 5.1 : Văn phạm G ({S, A, B}, {a, b}, P, S ), trong đó P gồm các luật sinh sau:
S ® AB
A ® aA
A ® a
B ® bB
B ® b
Quy ước ký hiệu:
- Các chữ in hoa A, B, C, D, E, ... và S ký hiệu các biến (S thường được dùng làm ký hiệu bắt đầu ).
- Các chữ nhỏ a, b, c, d, e, ...; các chữ số và một số ký hiệu khác ký hiệu cho các ký hiệu kết thúc.
- Các chữ in hoa X, Y, Z là các ký hiệu có thể là ký hiệu kết thúc hoặc biến.
- Các chữ Hi-lạp α, β, γ size 12{γ} {}, ... biểu diễn cho chuỗi các ký hiệu kết thúc và biến.
Ta sẽ biểu diễn văn phạm một cách tóm tắt bằng cách chỉ liệt kê các luật sinh của nó. Nếu A ® α1, A ® α2 , ... , A ® αk là các luật sinh của biến A trong văn phạm nào đó, ta sẽ ghi ngắn gọn là A ® α1 | α2 | ... | αk
Thí dụ 5.2 : Văn phạm trong Thí dụ 5.1 trên có thể viết gọn là :
S ® AB
A ® aA | a
B ® bB | b
Dẫn xuất và ngôn ngữ
Dẫn xuất: Để định nghĩa ngôn ngữ sinh bởi văn phạm CFG G (V, T, P, S), ta dẫn nhập khái niệm dẫn xuất. Trước hết ta giới thiệu hai quan hệ ⇒G và ⇒*G giữa hai chuỗi trong tập (V size 12{ union } {} T)*. Nếu A → β là một luật sinh trong văn phạm và α, γ size 12{γ} {} là hai chuỗi bất kỳ trong tập (V size 12{ union } {} T)* thì αA ⇒G αβ, hay ta còn nói luật sinh A → β áp dụng vào chuỗi αA để thu được chuỗi αβ, nghĩa là αA sinh trực tiếp αβ γ size 12{γ} {} trong văn phạm G. Hai chuỗi gọi là quan hệ nhau bởi ⇒G nếu chuỗi thứ hai thu được từ chuỗi thứ nhất bằng cách áp dụng một luật sinh nào đó.
Giả sử α1, α2, ..., αm là các chuỗi thuộc (V size 12{ union } {} T)* với m ≥ 1 và :
α1 ⇒G α2, α2 ⇒G α3, …, αm -1 ⇒G αm
thì ta nói α1⇒*G αm hay α1 dẫn xuất ra αm trong văn phạm G.
Như vậy, ⇒*G là bao đóng phản xạ và bắc cầu của ⇒G. Nói cách khác, α ⇒*G β nếu β được dẫn ra từ α bằng không hoặc nhiều hơn các luật sinh của P. Chú ý rằng α ⇒*G α với mọi chuỗi α.
Thông thường nếu không có nhầm lẫn ta sẽ dùng các ký hiệu ⇒ và ⇒* thay cho ký hiệu ⇒G và ⇒*G. Nếu α dẫn ra β bằng i bước dẫn xuất thì ta ký hiệu α ⇒i β.
Ngôn ngữ sinh bởi văn phạm phi ngữ cảnh
Cho văn phạm CFG G(V, T, P, S), ta định nghĩa :
L(G) = {w|w ∈ T * và S ⇒*G w}
Nghĩa là, một chuỗi thuộc L(G) nếu:
1) Chuỗi gồm toàn ký hiệu kết thúc.
2) Chuỗi được dẫn ra từ ký hiệu bắt đầu S.
Ta gọi L là ngôn ngữ phi ngữ cảnh (CFL) nếu nó là L(G) với một CFG G nào đó. Chuỗi α gồm các ký hiệu kết thúc và các biến, được gọi là một dạng câu sinh từ G nếu S ⇒*α. Hai văn phạm G1, G2 được gọi là tương đương nếu L(G1) = L(G2)
Thí dụ 5.3 : Xét văn phạm G (V, T, P, S), trong đó :
V = {S}, T = {a, b}, P = {S ® aSb, S ® ab}.
Bằng cách áp dụng luật sinh thứ nhất n -1 lần và luật sinh thứ hai 1 lần, ta có:
S Þ aSb Þ aaSbb Þ a3Sb3 Þ ... Þ an-1bn-1 Þ anbn
Vậy, L(G) chứa các chuỗi có dạng anbn, hay L(G) = {anbn | n ≥ 1}.
Cây dẫn xuất
Để dễ hình dung sự phát sinh ra các chuỗi trong văn phạm phi ngữ cảnh, ta thường diễn tả một chuỗi dẫn xuất qua hình ảnh một cây. Một cách hình thức, ta định nghĩa như sau:
Định nghĩa : Cho văn phạm G (V, T, P, S). Cây dẫn xuất (hay cây phân tích cú pháp) của G được định nghĩa như sau :
i) Mỗi nút (đỉnh) có một nhãn, là một ký hiệu ∈ (V size 12{ union } {} T size 12{ union } {} {ε})
ii) Nút gốc có nhãn là ký hiệu bắt đầu S.
iii) Nếu nút trung gian có nhãn A thì A ∈ V
iv) Nếu nút n có nhãn A và các đỉnh n1, n2, ..., nk là con của n theo thứ tự từ trái sang phải có nhãn lần lượt là X1, X2, ..., Xk thì A → X1X2 ... Xk là một luật sinh trong tập luật sinh P.
v) Nếu nút n có nhãn là từ rỗng ε thì n phải là nút lá và là nút con duy nhất của nút cha của nó.
Thí dụ 5.4 : Xét văn phạm G ({S, A}, {a, b}, P, S), trong đó P gồm:
S ® aAS | a
A ® SbA | SS | ba
Một cây dẫn xuất từ văn phạm có dạng như hình 5.1 sau :
Ta thấy, nút 1 có nhãn S và các con của nó lần lượt là a, A, S (chú ý S → aAS là một luật sinh). Tương tự, nút 3 có nhãn A và các con của nó là S, b, A (từ luật sinh A → SbA). Nút 4, 5 có cùng nhãn S và có nút con nhãn a (luật sinh S → a). Cuối cùng nút 7 có nhãn A và có các nút con b, a (luật sinh A → ba).
Trên cây dẫn xuất, nếu ta đọc các lá theo thứ tự từ “trái sang phải“ thì ta có một dạng câu trong G. Ta gọi chuỗi này là chuỗi sinh bởi cây dẫn xuất.
Hình 5.1 - Cây dẫn xuất từ văn phạm
Một cây con (subtree) của cây dẫn xuất có nút gốc nhãn là A còn được gọi là A-cây con (hoặc A-cây). Cây con cũng giống như cây dẫn xuất, chỉ khác là nhãn của nút gốc không nhất thiết phải là ký hiệu bắt đầu S.
Thí dụ 5.5 : Xét văn phạm và cây dẫn xuất trong Hình 5.1. Đọc các lá theo thứ tự từ trái sang phải ta có chuỗi aabbaa, trong trường hợp này tất cả các lá đều là ký hiệu kết thúc, nhưng nói chung cũng không bắt buộc như thế, lá có thể có nhãn là ε hoặc biến. Ta thấy dẫn xuất S ⇒* aabbaa bằng chuỗi dẫn xuất :
S Þ aAS Þ aSbAS Þ aabAS Þ aabbaS Þ aabbaa
A-cây có nút đỉnh là 3 tạo ra chuỗi con abba theo chuỗi dẫn xuất :
S Þ SbAÞ abA Þ abba
Quan hệ giữa dẫn xuất và cây dẫn xuất
ĐỊNH LÝ 5.1 : Nếu G (V, T, P, S) là một văn phạm phi ngữ cảnh thì S ⇒* α nếu và chỉ nếu có cây dẫn xuất trong văn phạm sinh ra α.
Ta chứng minh rằng với biến A bất kỳ, A ⇒ * α nếu và chỉ nếu có một A-cây sinh ra α .
Nếu : Giả sử α được sinh bởi A-cây, ta chứng minh quy nạp theo số nút trung gian của cây dẫn xuất rằng A ⇒ * α .
Nếu có 1 nút trung gian thì cây phải có dạng như hình sau :
Khi đó X 1 X 2 ... X n là chuỗi α và A → α là một luật sinh trong P theo định nghĩa cây dẫn xuất.
Hình 5.2(a) - A-cây với một nút trong
Giả sử kết quả đúng tới k -1 nút trung gian ( k > 1)
Ta chứng minh kết quả cũng đúng với k nút.
Xét α được sinh ra bởi A-cây có k nút trung gian. Rõ ràng các nút con của nút gốc không phải tất cả đều là lá, ta gọi chúng từ trái sang phải là X 1 , X 2 , ..., X n thì chắc chắn rằng A → X 1 X 2 ... X n là một luật sinh. Xét nút X i bất kỳ :
- Nếu X i không là nút lá thì X i phải là một biến và X i - cây con sẽ sinh ra một chuỗi α i nào đó.
- Nếu X i là nút lá, ta đặt α i = X i . Dễ thấy rằng nếu j < i thì các α j ở bên trái α j , do vậy chuỗi đọc từ lá vẫn có dạng α = α 1 α 2 ... α n . Mỗi X i - cây con phải có ít nút trung gian hơn cây ban đầu, vì thế theo giả thiết quy nạp, với mỗi đỉnh i không phải là lá thì X i ⇒ * α i .
Vậy A ⇒ X 1 X 2 ... X n ⇒ * α 1 X 2 ... X n ⇒ * α 1 α 2 X 3 ... X n ⇒ * ... ⇒ * α 1 α 2 ... α n = α
Hay ta có A ⇒ * α . Chú ý rằng đây chỉ là một trong nhiều cách dẫn xuất ra α .
Chỉ nếu : Ngược lại, giả sử A ⇒ * α ta cần chỉ ra một A - cây sinh ra α .
Nếu A ⇒ * α bằng một bước dẫn xuất thì A → α là một luật sinh trong P và có cây dẫn xuất sinh ra α như trong hình trên.
Giả sử kết quả đúng tới k-1 bước dẫn xuất
Xét A ⇒ * α bằng k bước dẫn xuất, gọi bước đầu tiên là A → X 1 X 2 ... X n .
Rõ ràng, một ký hiệu trong α phải được dẫn ra từ một biến X i nào đó. Vì vậy, ta có thể viết α = α 1 α 2 ... α n , trong đó mỗi 1 ≤ i ≤ n thoả mãn :
- α i = X i nếu X i là ký hiệu kết thúc.
- X i ⇒ * α i nếu X i là một biến.
Nếu X i là biến thì dẫn xuất của α i từ X i phải có ít hơn k bước. Vì vậy, theo giả thiết quy nạp ta có X i - cây sinh ra α i , đặt cây này là T i
Bây giờ ta dựng A - cây có n lá X 1 X 2 ... X n . Mỗi X i không là ký hiệu kết thúc ta thay bằng cây T i tương ứng. Cuối cùng, ta có cây dẫn xuất sinh ra có dạng như sau :
Hình 5.2(b) - A-cây
Thí dụ 5.6 : Xét chuỗi dẫn xuất S ⇒* aabbaa cho văn phạm ở Thí dụ 5.4.
Bước đầu tiên trong dẫn xuất đó là S → aAS. Theo dõi các bước suy dẫn sau đó, ta thấy biến A được thay bởi SbA, rồi trở thành abA và cuối cùng thành abba, đó chính là kết quả của cây T2 (A - cây). Còn biến S thì được thay bởi a và đó là kết quả của cây T3 (S -cây). Ghép nối lại, ta được cây dẫn xuất mà kết quả là chuỗi aabbaa như dưới đây.
Hình 5.3 - Ghép nối các cây dẫn xuất
Dẫn xuất trái nhất, dẫn xuất phải nhất
Nếu tại mỗi bước dẫn xuất, luật sinh được áp dụng vào biến bên trái nhất thì ta gọi đó là dẫn xuất trái nhất (leftmost) hay dẫn xuất trái. Tương tự, nếu biến bên phải nhất được thay thế ở mỗi bước dẫn xuất, đó là dẫn xuất phải nhất (rightmost) hay dẫn xuất phải. Nếu chuỗi w ∈ L(G) với CFG G thì w sẽ có ít nhất một cây dẫn xuất ra nó và tương ứng với các cây này, w chỉ có duy nhất một dẫn xuất trái nhất và duy nhất một dẫn xuất phải nhất. Dĩ nhiên, w có thể có nhiều dẫn xuất trái (phải) nhất vì nó có thể có nhiều cây dẫn xuất.
Thí dụ 5.7 : Xét cây dẫn xuất ở Hình 5.1
. Dẫn xuất trái nhất của cây :
S Þ aAS Þ aSbAS Þ aabAS Þ aabbaS Þ aabbaa.
. Dẫn xuất phải nhất tương ứng là :
S Þ aAS Þ aAa Þ aSbAa Þ aSbbaa Þ aabbaa.
Văn phạm mơ hồ
Một văn phạm phi ngữ cảnh G có nhiều hơn một cây dẫn xuất cho cùng một chuỗi w, thì G được gọi là văn phạm mơ hồ (ambiguity). Dĩ nhiên, cũng có thể nói rằng văn phạm G là mơ hồ nếu có một chuỗi w được dẫn ra từ ký hiệu bắt đầu S với hai dẫn xuất trái hoặc hai dẫn xuất phải.
Thí dụ 5.8 : Xét văn phạm G với các luật sinh như sau :
E → E + E | E * E | ( E ) | a
Văn phạm này sinh ra các chuỗi biểu thức số học với 2 phép toán + và * . Với chuỗi a + a * a, ta có thể vẽ đến hai cây dẫn xuất khác nhau như sau :
(a) (b)
Hình 5.4 - Các cây dẫn xuất khác nhau cho cùng chuỗi nhập
Điều này có nghĩa là biểu thức a + a * a có thể hiểu theo hai cách khác nhau: thực hiện phép cộng trước hay phép nhân trước ? Để khắc phục sự mơ hồ này, ta có thể :
- Hoặc quy định rằng các phép cộng và nhân luôn luôn được thực hiện theo thứ tự từ trái sang phải (trừ khi gặp ngoặc đơn). Ta viết văn phạm G1 không mơ hồ tương đương như sau :
E → E + T | E * T | T
T → ( E ) | a
- Hoặc quy định rằng khi không có dấu ngoặc đơn ngăn cách thì phép nhân luôn luôn được ưu tiên hơn phép cộng. Ta viết văn phạm G2 không mơ hồ tương đương như sau :
E → E + T | T
T → T * F | F
F → ( E ) | a
