Lekce 11 - Neuronové sítě - Porovnání algoritmů gradientního sestupu

V minulé lekci, Neuronové sítě - Gradientní sestup a jeho sourozenci, jsme si ujasnili rozdíly mezi batch, minibatch a stochastic gradient descent algoritmem.

V této lekci tutoriálu Neuronové sítě - Pokročilé si porovnáme algoritmy batch, minibatch a stochastic gradient descent, kterým jsme se podrobně věnovali minule.

Než se ale pustíme do jejich vyhodnocení, vytvoříme si pomocnou třídu TimeMeasure. Třída nám poslouží k měření doby provádění jednotlivých kroků:

class TimeMeasure:
    def __init__(self, label = ''):
        self._label = label
    def __enter__(self):
        self._starttime = timeit.default_timer()
        return self
    def __exit__(self, *args):
        end = timeit.default_timer()
        print(f"{self._label}{end - self._starttime:.3f}s")

Nyní si vyzkoušíme různé nastavení a uvidíme, jak se budou gradient a loss funkce vyvíjet.

...konec náhledu článku...
Pokračuj dál