Lekce 16 - Neuronové sítě - Dokončení křížové entropie

V minulé lekci, Neuronové sítě – Křížová entropie, jsme probrali ztrátovou funkci cross entropy a binary cross entropy.

V této lekci tutoriálu Neuronové sítě - Pokročilé rozšíříme naše znalosti křížové entropie - cross entropy. Podíváme se na variantu multi-class a na negative log-likelihood.

Proč je binary cross entropy lepší než MSE

V předchozí lekci nám grafy zobrazily něco velmi zajímavého. Přesnost BCE se zvyšovala mnohem rychleji v porovnání s MSE loss funkcí, i když model byl stejný. Proč tomu tak je? Tato skutečnost souvisí s aktivační funkcí sigmoid a binary cross entropy. Připomeňme si graf funkce sigmoid a její derivaci:

def sig(x):
    return 1 / (1 + np.exp(-x))
x = np.arange(-6, 6, 0.1)
plt.figure(figsize=(12,4))
plt.plot(x, sig(x), label="function")
plt.plot(x, sig(x)*(1-sig(x)), label="derivative")
plt.title("Sigmoid")
plt.legend()
plt.show()

Průběh funkce a její derivace v grafu:

...konec náhledu článku...
Pokračuj dál