21
Karena
sifatnya
yang berantai
tersebut,
maka
teori
ini dikenal
pula
dengan nama
Rantai
Markov.
Dengan
demikian,
Rantai Markov
akan
menjelaskan
gerakan-gerakan
beberapa variabel dalam satu periode waktu di masa yang akan datang.
Proses Markov adalah sebuah sistem stokhastik
yang untuknya
permunculan sesuatu
keadaaan
di
masa
mendatang
bergantung
pada
keadaan
yang
segera
mendahuluinya
dan
hanyalah
bergantung
pada
itu.
Jadi
jika
t
0
<
t1<....t
n
(n
=
0,
1,
2,
...)
mewakili
saat-saat
tetentu,
kelompok
variabel
acak
{?
tk
}
adalah
sebuah
proses
Markov
jika
memiliki
sifat
Markov (Markovian
property) berikut ini:
P
{?
tn =
x
n
|?
tn-1
=
x
n-1
, …, ?
t0 =
x
0
}
=
P
{?
tn =
x
n
|?
tn-1
=
x
n-1
} untuk semua nilai
yang
mungkin
dari
?
t0,
?
t1,
…,
?
tn.
Probabilitas
P
xn-1
,
xn
=
P
{?
tn
=
x
n
|
?
tn-1 =
X
n-1
}
disebut
probabilitas
transisi.
Probabilitas
ini
mewakili
probabilitas
kondisional
dari
sistem
tersebut ketika
berada
dalam
x
n
,
pada saat
t
n
,
dengan
diketahui sistem tersebut
berada
dalam x
n-1
. Probabilitas ini
juga
disebut probabililas
transisi
satu
langkah
(one-step transitition probability), karena
menjabarkan
sistem
tersebut
antara
t
n-1
dan
t
n
.
karena
itu
probabilitas
transisi
m
langkah
didefinisikan dengan P
xn
,
xn+m
= P {?
tn+m
= x
n+m
| ?
tn =
X
n
}.
2.4.5
Masalah Keputusan Markov
Masalah
keputusan
Markov
terkait
dengan
masalah
penentuan
kebijakan
optimal
yang memaksimumkan (meminimumkan)
ekspektasi pendapatan (biaya) selama
tahap
yang
terbatas atau tak terbatas. Masalah keputusan Markov dibagi menjadi dua jenis yaitu:
1.
Masalah keputusan dengan situasi tahap terbatas (finite-stage decision problem)
2.
Masalah
keputusan
dengan
situasi
tahap
tak
terbatas
(infinite-stage decision
problem)
Sedangkan model
dalam keputusan Markov
terbagi
menjadi
dua
model
antara
lain
sebagai berikut:
 |