38
2.4.7
Algoritma Delta-Bar-Delta
Delta-Bar-Delta
adalah
perkembangan dari
Backpropagation.
Perbedaan
algoritma ini,
Delta-Bar-Delta
memiliki nilai
a
(learning
rate)
pada
masing-masing
bobotnya. Dan
nilai a
(learning
rate)
ini berubah
terus pada saat
training. Jika
nilai
bobot
memiliki kecenderungan yang sama
(menaik atau
menurun)
selama beberapa
tahap,
maka
nilai
a
(learning
rate)
akan
meningkat. Sebaliknya jika
nilai
bobot
cenderung
berbeda
(ada
yang
menaik
lalu
menurun)
maka
nilai
a
(learning
rate)
akan menurun.
Untuk
meng-update
matriks
bobot
Delta-Bar-Delta
berbeda
dengan
Backprogagation, yaitu dengan menggunakan rumus:
w
jk
(t+1) = w
jk
(t) + a
jk
(t+1). ?
k
.
Z
j
Untuk
menentukan nilai a (learning rate)menaik atau
menurun,
maka
dibutuhkan dulu menghitung “delta” pada setiap output unit dan hidden unit.
Untuk output unit :
?
jk
=
-
d
k
.
Z
j
Untuk
hidden unit : ?
ij
=
-
d
j
. X
i
Lalu menghitung nilai kombinasi dari nilai sebelumnya dan nilai saat ini, disebut
“delta bar”.
Untuk output unit :
?
jk
(t) = ( 1 – ß ) – ?
jk
(t) + ß . ?
jk
(
t – 1 )
Untuk hidden unit :
 |