Softmax

Softmax je zobecněním logistické funkce pro vícerozměrný případ. Funkce transformuje rozměrový vektor na vektor stejné dimenze, kde každá souřadnice výsledného vektoru je reprezentována reálným číslem v intervalu [0,1] a součet souřadnic je 1. $z$ $K$ $\sigma$ $\sigma_i$

Souřadnice se počítají takto: $\sigma_i$

$\sigma (z)_{i}={\frac {e^{z_{i))}{\displaystyle \sum _{k\mathop {=} 1}^{K}e^{z_{ k}}}}$

Aplikace ve strojovém učení

Funkce Softmax se používá ve strojovém učení pro klasifikační problémy , kdy počet možných tříd je větší než dvě (pro dvě třídy se používá logistická funkce). Se souřadnicemi výsledného vektoru se zachází jako s pravděpodobností, že objekt patří do třídy . Vektor sloupce se vypočítá takto: $\sigma_i$ $i$ $z$

$z=w^{T}x-\theta$

kde je sloupcový vektor vlastností objektu dimenze ; je transponovaná matice váhových koeficientů prvků, která má rozměr ; je sloupcový vektor s prahovými hodnotami dimenze (viz perceptron ), kde je počet tříd objektů a počet funkcí objektu. $X$ $M\times 1$ ${\displaystyle w^{T))$ $K\times M$ $\theta$ $K\times 1$ $K$ $M$

Softmax se často používá pro poslední vrstvu hlubokých neuronových sítí pro klasifikační úlohy. V tomto případě se křížová entropie používá jako ztrátová funkce k trénování neuronové sítě .

Strojové učení a dolování dat
Úkoly	Klasifikační problém Učení bez učitele Učení za pomoci učitele Regresní analýza AutoML Pravidla asociace Extrakce funkcí Trénink vlastností Žebříčkový trénink Gramatické odvozování Online učení
Učení s učitelem	metoda k-nejbližšího souseda Naivní Bayesův klasifikátor rozhodovací strom Podpora vektorového stroje Lineární regrese Logistická regrese perceptron Soubory modelů Pytlování posilování náhodný les Relevantní vektorová metoda
shluková analýza	metoda k-means Metoda fuzzy shlukování Hierarchické shlukování EM algoritmus BŘÍZA LÉK DBSCAN OPTIKA Střední posun
Redukce rozměrů	Faktorová analýza Metoda hlavní součásti CCA ICA LDA Nezáporná expanze matice t-SNE
Strukturální prognózy	Graf pravděpodobnosti modelu Bayesovská síť Skrytý Markovův model CRF
Detekce anomálií	metoda k-nejbližšího souseda Místní úroveň emisí
Grafové pravděpodobnostní modely	Bayesovská síť Markovská síť Skrytý Markovův model
Neuronové sítě	Limitovaný Boltzmannův stroj samoorganizující se mapa Aktivační funkce Sigmoid softmax Radiální základní funkce Metoda zpětného šíření Hluboké učení Vícevrstvý perceptron Rekurentní neuronová síť dlouhodobá krátkodobá paměť Řízený rekurentní blok Konvoluční neuronová síť U-Net Autokodér
Posílení učení	Markovský proces Bellmanova rovnice Chamtivý algoritmus Q-learning SARSA Časový rozdíl (TD)
Teorie	Vapnik-Chervonenkis teorie Dilema zkreslení Teorie počítačového učení Empirická minimalizace rizika Occam se učí PAC učení Statistická teorie učení
Časopisy a konference	NeurIPS ICML ML JMLR ArXiv:cs.LG