18
2.3.2.1
Lexical Analyzer
Menurut
Bennett (1996,
p62), lexical
Analyser (scanner)
berfungsi untuk
membaca
karakter
per
karakter
dari
source
code
lalu
membagi
source
code
tersebut
ke
dalam
sejumlah
token.
Secara
konseptual
scanner
akan
membaca
input
yang
diberikan
karakter
per
karakter
dari
kiri
ke kanan
dan
menghasilkan
sejumlah
token secara berurut sebagai output
yang
akan
digunakan oleh
parser.
Selain itu, scanner juga mempunyai fungsi lain seperti menghilangkan komentar
dan spasi.
Lexical analyser dapat pula
memiliki fasilitas pengecekan error.
Source
language
(Error messaf;!es)
t
Lexical
analyser
Token
stream
Gambar 2.3
Lexical Analyser
(Bennett,1996,p63)
Dalam lexical analyser terdapat istilah token, pattern, dan lexeme.
Token
adalah
sebuah
himpunan
string
yang
didefinisikan
oleh
pattern. Pattern
adalah
aturan-aturan
yang
digunakan
untuk
mendefinisikan
token. Lexeme
adalah
sekumpulan
string
masukan
pada
source
program
yang
sesuai
dengan
pattern
dari token.
 |