Úvod do stroja Boltzmann s obmedzeným prístupom

Obmedzený stroj Boltzmann je metóda, ktorá dokáže automaticky nájsť vzory v údajoch rekonštrukciou nášho vstupu. Geoff Hinton je zakladateľom hlbokého vzdelávania. RBM je povrchová dvojvrstvová sieť, v ktorej prvá je viditeľná a ďalšia je skrytá vrstva. Každý jednotlivý uzol vo viditeľnej vrstve je pripojený ku každému jednotlivému uzlu v skrytej vrstve. Obmedzený stroj Boltzmann sa považuje za obmedzený, pretože dva uzly tej istej vrstvy netvoria spojenie. RBM je numerický ekvivalent obojsmerného prekladateľa. V ceste vpred RBM prijíma vstup a konvertuje ho na množinu čísel, ktoré kódujú vstup. V spätnom smere to berie ako výsledok a spracuje túto množinu vstupov a preloží ich opačne, aby vytvorila stiahnuté vstupy. Super-vyškolená sieť bude schopná vykonať tento spätný prechod s vysokou pravdivosťou. V dvoch krokoch zohrávajú dôležitú úlohu váha a hodnoty. Umožňujú RBM dekódovať vzájomné vzťahy medzi vstupmi a tiež pomáhajú RBM rozhodnúť sa, ktoré vstupné hodnoty sú najdôležitejšie pri zisťovaní správnych výstupov.

Činnosť stroja Boltzmann s obmedzeným prístupom

Každý jednotlivý viditeľný uzol prijíma nízku úroveň z uzla v množine údajov. V prvom uzle neviditeľnej vrstvy je X tvorené hmotnosťou a pridáva sa k predpätiu. Výsledkom tohto procesu je aktivácia, ktorá produkuje výkon daného vstupného signálu alebo výstupu uzla.

V ďalšom procese by sa niekoľko vstupov spojilo do jedného skrytého uzla. Každé X je kombinované s individuálnou hmotnosťou, pridanie produktu je rozdelené na hodnoty a výsledok je opäť aktivovaný, aby sa získal výstup uzla. V každom neviditeľnom uzle je každý vstup X kombinovaný s individuálnou hmotnosťou W. Vstup X má tu tri závažia, takže spolu dvanásť. Hmotnosť vytvorená medzi vrstvou sa stáva maticou, kde sú riadky správne pre vstupné uzly a stĺpce sú pre výstupné uzly uspokojené.

Každý neviditeľný uzol dostane štyri odpovede vynásobené ich hmotnosťou. Pridanie tohto účinku sa opäť pridá k hodnote. Funguje to ako katalyzátor pre určité aktivačné procesy a výsledok sa opäť privádza do aktivačného algoritmu, ktorý produkuje každý výstup pre každý neviditeľný vstup.

Prvým odvodeným modelom je model založený na energii. Tento model spája skalárnu energiu s každou konfiguráciou premennej. Tento model definuje rozdelenie pravdepodobnosti prostredníctvom energetickej funkcie nasledovne:

(1)

Z je tu normalizačný faktor. Je to funkcia oddielu z hľadiska fyzických systémov

V tejto funkcii založenej na energii nasleduje logistická regresia, že prvý krok bude definovať logiku. pravdepodobnosť a ďalšia bude definovať stratovú funkciu ako negatívnu pravdepodobnosť.

pomocou stochastického gradientu, kde sú parametre,

energetický model so skrytou jednotkou je definovaný ako „h“

Pozorovaná časť sa označuje ako „x“

Z rovnice (1) je rovnica voľnej energie F (x) definovaná nasledovne

(2)

(3)

Záporný gradient má nasledujúci tvar,

(4)

Uvedená rovnica má dve formy, pozitívnu a negatívnu. Výraz kladný a záporný nie je reprezentovaný znakmi rovníc. Ukazujú účinok hustoty pravdepodobnosti. Prvá časť ukazuje pravdepodobnosť zníženia zodpovedajúcej voľnej energie. Druhá časť ukazuje zníženie pravdepodobnosti generovania vzoriek. Potom sa gradient stanoví nasledovne:

(5)

Tu N sú záporné častice. V tomto energeticky založenom modeli je zložité analyticky identifikovať gradient, pretože zahŕňa výpočet

Preto v tomto modeli EBM máme lineárne pozorovanie, ktoré nie je schopné presne znázorniť údaje. Takže v ďalšom modeli Obmedzený stroj Boltzmann má skrytá vrstva skôr vysokú presnosť a prevenciu pred stratou údajov. Energetická funkcia RBM je definovaná ako,

(6)

Tu W predstavuje hmotnostné spojenie medzi viditeľnými a skrytými vrstvami. b je posun viditeľnej vrstvy.c je posun skrytej vrstvy. premenou na voľnú energiu,

V RBM sú jednotky viditeľnej a skrytej vrstvy úplne nezávislé a dajú sa zapísať nasledovne:

Z rovníc 6 a 2, pravdepodobnostná verzia funkcie aktivácie neurónov,

(7)

(8)

Ďalej sa zjednodušuje na

(9)

Kombinácia rovníc 5 a 9,

(10)

Vzorkovanie v stroji Boltzmann s obmedzeným prístupom

Gibbsov odber vzoriek spoja N náhodných premenných sa uskutočňuje prostredníctvom postupnosti N čiastkových krokov vzorkovania vo formulári kde

obsahuje ostatné náhodné premenné v nepočítajúc.

V RBM je S sada viditeľných a skrytých jednotiek. Tieto dve časti sú nezávislé, ktoré môžu vykonávať alebo blokovať odber vzoriek Gibbs. Tu viditeľná jednotka vykonáva vzorkovanie a dáva pevnú hodnotu skrytým jednotkám, zatiaľ čo skryté jednotky poskytujú pevné hodnoty viditeľnej jednotke vzorkovaním

tu, je sada všetkých skrytých jednotiek. Príklad je náhodne vybrané s pravdepodobnosťou 1 (oproti 0), a podobne, je náhodne vybrané s pravdepodobnosťou 1 (oproti 0)

Kontrastná divergencia

Používa sa ako katalyzátor na urýchlenie procesu odberu vzoriek
Pretože očakávame, že je to pravda, očakávame distribučná hodnota sa musí priblížiť k P tak, aby tvorila konvergenciu ku konečnému rozdeľovaniu P

Kontrastná divergencia však nečaká na zblíženie reťazca. Vzorka sa získa až po Gibbovom procese, takže tu nastavíme k = 1, kde to funguje prekvapivo dobre.

Pretrvávajúca kontrastná divergencia

Toto je ďalšia metóda na aproximáciu formulára na odber vzoriek. Je to trvalý stav pre každú metódu odberu vzoriek, ktorá extrahuje nové vzorky jednoduchou zmenou parametrov K.

Vrstvy obmedzeného stroja Boltzmann

Stroj Boltzmann s obmedzeným prístupom má dve vrstvy, plytké neurónové siete, ktoré sa kombinujú a tvoria blok sietí hlbokej viery. Prvá vrstva je viditeľná vrstva a druhá vrstva je skrytá vrstva. Každá jednotka sa týka kruhu podobného neurónom nazývaného uzol. Uzly zo skrytej vrstvy sú spojené s uzlami z viditeľnej vrstvy. Dva uzly tej istej vrstvy však nie sú spojené. Pojem Obmedzené sa tu vzťahuje na žiadnu vnútropodnikovú komunikáciu. Každý uzol spracuje vstup a urobí stochastické rozhodnutie, či má alebo nemá preniesť vstup.

Príklady

Dôležitou úlohou RBM je rozdelenie pravdepodobnosti. Jazyky sú jedinečné svojimi písmenami a zvukmi. Pravdepodobnosť distribúcie listu môže byť vysoká alebo nízka. V angličtine sa písmená T, E a A bežne používajú. Ale v islandčine sú bežné písmená A a N. nemôžeme sa pokúsiť rekonštruovať islandčinu s váhou založenou na angličtine. To povedie k rozdielom.

Ďalším príkladom sú obrázky. Pravdepodobnosť rozdelenia ich pixelových hodnôt sa líši pre každý druh obrazu. Môžeme zvážiť, že existujú dva obrázky Elephant a Dog pre vlečné vstupné uzly, predný priechod RBM bude generovať otázku, ako by som mal generovať silný pixel uzol pre slonový uzol alebo psový uzol ?. Potom spätný prechod vygeneruje otázky ako pre slony. Ako mám očakávať rozdelenie pixelov? Potom s pravdepodobnosťou kĺbov a aktiváciou vytvorenou uzlami vytvoria sieť so spoločným výskytom veľkých uší, šedej nelineárnej trubice, diskiet, uši, vráska je slon. Preto je RBM procesom hlbokého učenia a vizualizácie, ktoré tvoria dve hlavné predpojatosti a pôsobia na zmysel pre ich aktiváciu a obnovu.

Výhody stroja Boltzmann s obmedzeným prístupom

  • Obmedzený stroj Boltzmann je aplikovaný algoritmus používaný na klasifikáciu, regresiu, modelovanie tém, filtrovanie spolupráce a učenie prvkov.
  • Obmedzený stroj Boltzmann sa používa na neuroimaging, rekonštrukciu riedkeho obrazu pri plánovaní mín a tiež na rozpoznávanie cieľov radaru.
  • RBM je schopný vyriešiť problém nevyvážených údajov pomocou postupu SMOTE
  • RBM nájde chýbajúce hodnoty pomocou vzorkovania Gibb, ktoré sa používa na pokrytie neznámych hodnôt
  • RBM prekonáva problém hlučných štítkov neopravenými údajmi štítka a jeho chybami pri rekonštrukcii
  • Problém neštruktúrovaných údajov je odstránený extraktorom funkcií, ktorý transformuje nespracované údaje na skryté jednotky.

záver

Hlboké vzdelávanie je veľmi silné, čo je umenie riešenia zložitých problémov, stále je priestor na zlepšovanie a jeho implementácia je zložitá. Voľné premenné musia byť nakonfigurované opatrne. Myšlienky neurónovej siete boli predtým ťažké, ale dnes je hlboké učenie základom strojového učenia a umelej inteligencie. Preto RBM poskytuje pohľad na obrovské algoritmy hlbokého učenia. Zaoberá sa základnou jednotkou zloženia, ktorá sa postupne rozrástla na mnoho populárnych architektúr a používa sa v mnohých odvetviach veľkého rozsahu.

Odporúčaný článok

Toto bol sprievodca obmedzeným strojom Boltzmann. Tu diskutujeme o jeho práci, vzorkovaní, výhodách a vrstvách obmedzeného stroja Boltzmann. Viac informácií nájdete aj v ďalších navrhovaných článkoch _

  1. Algoritmy strojového učenia
  2. Architektúra strojového učenia
  3. Druhy strojového učenia
  4. Nástroje strojového učenia
  5. Implementácia neurónových sietí

Kategórie:

Veľké dáta