Lekce 8 - Neuronové sítě – Dokončení teorie pro logistickou regresi

V minulé lekci, Neuronové sítě – Sigmoid a Gradient descent, jsme probrali funkci sigmoid a Gradient descent.

V této lekci tutoriálu Neuronové sítě - Pokročilé dokončíme teorii nezbytnou pro logistickou regresi. Povíme si o nekonvexních a multidimenzio­nálních případech a zmíníme i loss funkci.

Nekonvexní případ

Gradientní sestup bohužel nevyřeší každý problém. Gradient musí být definovaný v celém prostoru parametrů (v našem případě ℝ) - teď už je jasné, proč jsme to zmínili jako jednu z vlastností funkce sigmoid(). Navíc, abychom dosáhli globálního optima (v praxi to znamená nejlepšího možného řešení), musí být optimalizovaná funkce konvexní. Formálně je funkce 𝑓 konvexní právě tehdy, když derivace druhého řádu má stejné znaménko v celém definičním oboru. Prakticky to znamená, že funkce je "zakřivená" stále stejně. Funkce 𝑓(𝑥)=3𝑥²−5𝑥+12, kterou jsme viděli dříve, je konvexní. Druhá derivace je . Protože je druhá derivace kladná, je původní funkce zakřivena stejně po celém svém definičním oboru. Pokud vezmeme jinou funkci, například 𝑔(𝑥)=𝑥⁴−4𝑥³+2­𝑥²+8𝑥+1, druhá derivace je 𝑔″(𝑥)=12𝑥²−24­𝑥+4. Je snadné ověřit, že 𝑔″(𝑥) < 0 pro , jinak 𝑔″(𝑥) >= 0.

...konec náhledu článku...
Pokračuj dál