W sieciach neuronowych algorytmy wstecznej propagacji błędu w wersji podstawowej są sposobnością bardzo popularną i w większości sytuacji stosowana, ale mają wadę w postaci wolnej zbieżności. W literaturze można wyszukać wiele propozycji na przyspieszenie zbieżności metody. Inne cele modyfikacji algorytmu dotyczą unikania minimów lokalnych funkcji celu i poprawienia zdolności generalizacji. Natomiast, przyrównując prędkości zbieżności uzyskiwane za radą różnorakich metod, należy wziąć pod uwagę postaci kryteriów stopu czy miary prędkości obliczeń. Spadek algorytmu gradientu ma możliwość być bardzo powolny, jeżeli krok uczenia jest za mały i może mieć duże oscylacje, w przypadkach kiedy krok uczenia jest za duży. W znaczącej liczbie sytuacji w trakcie procesu algorytmu uczenia sieci neuronowej, wartość kroku uczenia najlepsza w początkowej fazie uczenia nie jest dość genialna w w przyszłości. Dlatego proponuje sie różnorakie techniki algorytmu zmiany wartości kroku uczenia podczas procesu wyznaczania wag. W ogromnej liczbie przypadków testuje sie, czy określona modyfikacja wag faktycznie spowodowała zmniejszenie wartości procedur kosztu. Jeśli tak to zwiększa się wartość kroku uczenia. W przeciwnym razie, proces posunął sie za daleko i trzeba zmniejszyć krok uczenia. Metody gradientów sprzężonych stosują jako nowy kierunek poszukiwań kompromis między kierunkiem bieżącego gradientu, a poprzednim kierunkiem poszukiwania.

http://www.cpf.internet24h.malopolska.pl/a/Sieci-neuronowe,53502

data dodania wpisu: 12-05-2011

Keywords: sieci neuronowe, ściągi,algorytmy, sztuczna inteligencja, sprawozdania