Ett deterministiskt nätverk är ett nätverk där utgången helt bestäms av ingången. Med andra ord, med samma ingång, kommer nätverket alltid att producera samma utgång. Det finns ingen slumpmässig eller stokasticitet involverad.
Detta står i kontrast till ett stokastiskt nätverk (eller probabilistiskt nätverk), där utgången påverkas av slumpmässiga element, vilket innebär att samma ingång kan leda till olika utgångar på olika körningar.
Här är en uppdelning:
* deterministiska nätverk: Dessa nätverk är förutsägbara. När arkitekturen (vikter, lager, aktiveringsfunktioner etc.) är fixat är svaret på en given ingång alltid detsamma. De flesta traditionella feed-framåt neurala nätverk med fasta vikter är deterministiska.
* Stokastiska nätverk: Dessa nätverk innehåller slumpmässighet, ofta genom tekniker som bortfall (tillfälligt ignorerar neuroner under träning), lägger till brus till ingångar eller vikter eller använder stokastiska aktiveringsfunktioner. Denna slumpmässighet kan förbättra generalisering och robusthet men gör utgången mindre förutsägbar för en given input.
Implikationer:
* Reproducerbarhet: Deterministiska nätverk är mycket reproducerbara. Samma resultat kan uppnås upprepade gånger.
* felsökning: Lättare att felsöka eftersom beteendet är konsekvent och förutsägbart.
* Träning: Kan konvergera långsammare eller fastna i lokala optima jämfört med stokastiska nätverk i vissa fall.
* Generalisering: Kan ibland leda till överanpassning om den inte är noggrant utformad.
Sammanfattningsvis ligger den viktigaste skillnaden i närvaro eller frånvaro av slumpmässighet i nätverkets operation. Valet mellan ett deterministiskt och stokastiskt nätverk beror på den specifika applikationen och dess krav för förutsägbarhet, robusthet och generaliseringsförmåga.
