Úvod do algoritmu zosilnenia gradientu
Technika prechodu týždenných študentov na silných študentov sa nazýva Boosting. Proces algoritmu zvyšovania gradientu pracuje na tejto teórii vykonávania. Algoritmus zosilnenia ada možno znázorniť, aby vysvetlil a ľahko pochopil proces, ktorým sa zosilňovanie injektuje do súborov údajov.
Rozhodovací strom
Rozhodovací strom je verdiktový podporný nástroj, ktorý určuje rozhodnutia implikovaním podobného stromu a ich pravdepodobných dôsledkov spolu s možnými výstupmi udalostí, nákladmi na zdroje atď. Táto technika im umožňuje zobraziť kontrolné príkazy, ktoré fungujú na základe podmienených výstupov.
Výskumné operácie tieto rozhodovacie stromy vo veľkej miere využívajú najmä pri rozhodovacej analýze. Umožňuje im tiež dosiahnuť cieľ a je tiež obdivovaným nástrojom v strojovom učení.
Algoritmus AdaBoost
Algoritmus AdaBoost sa začína prípravou rozhodovacieho stromu, v ktorom je každému pozorovaniu pridelená rovnaká hmotnosť. Po vyhodnotení primárneho stromu zvyšujeme závažnosť tejto interpretácie, ktorá je zložitá na kategorizáciu a podriadenie váh tým, ktorí sa bez toho, aby sa museli kategorizovať bez námahy. Druhý strom je výsledkom vývoja týchto poškodených údajov. Zámerom je tu zlepšiť proroctvo primárneho stromu.
Potom vypočítajte chybu kategorizácie z tohto inovatívneho modelu zberu 2 stromov a kultivujte tretí strom, aby ste predvídali modifikované zvyšky. Vyššie uvedený postup je opakovaný v niekoľkých prípadoch. Pozorovania, ktoré nie sú v predchádzajúcich stromoch presne definované, sa určujú pomocou nasledujúcich stromov. Predpovede modelu záverečnej zostavy sú následne predpojatou postavou predpovedí ukončených skoršími stromovými modelmi.
Tréningový model GBM
Aby bolo možné inštruovať model gbm v jazyku R, musí byť nainštalovaná knižnica GBM a je vyvolané volanie do tejto nainštalovanej knižnice GBM z volajúceho programu. Tiež je potrebné uviesť potrebné argumenty, kľúčové argumenty sú uvedené nižšie,
1. Vzorec
2. Rozdelenie premenných odozvy
3. Prediktorová premenná
4. Premenná odpovede
Bežné distribúcie používané v modeloch GBM sú Bernoulli, Poisson, atď.
Nakoniec sa očakáva, že budú špecifikované údaje a argumenty n.trees. V predvolenom nastavení bude model gbm brať za zaručených 100 stromov, čo môže ponúknuť, je kvalitná aproximácia koncertu nášho gbm.
Vzorový kód č. 1
install.packages ("gbm")
library(gbm)
GBM <- gbm( formula = response,
distribution = " bernoulli ",
data = train
n.trees = 3000)
Toto je ďalší krok, v ktorom sa aktuálny súbor údajov rozdelí na rozdelenie súboru údajov o vlakoch a testoch, a to sa dosiahne pomocou funkcie createDataPartition (). Tento druh rozdelenia bude veľmi užitočný v neskoršej časti na nácvik skúšobnej súpravy s použitím vyškolenej vlakovej súpravy a jej vrcholy, ktoré určujú skutočné predpovede pre pôvodné údaje.
Vzorový kód # 2
TRAIN <- read.csv("Train_dd.csv")
set.seed(77820)
intrain <- createDataPartition( y = Train$survived,
list = false )
Train <- Train(inTrain) Train <- Train(-inTrain)
Ďalším krokom je trénovať model gbm pomocou nášho tréningového profesionála. Zatiaľ čo všetky ďalšie argumenty sú presne to, čo bolo oznámené vo vyššie uvedených oddieloch. sú spomenuté dva ďalšie argumenty - interakcia, hĺbka a zmenšenie.
1. Hĺbka interakcie vyhláskuje maximálnu hĺbku každého stromu
2. Meranie rýchlosti intelektu sa dosahuje pomocou zmršťovania. tu sa pomocou tohto zmenšenia znížia všetky doplnkové hodnoty v základných stromoch študentov.
Táto technika navyše umožňuje zobrazovať riadiace príkazy, ktoré fungujú na základe podmienených výsledkov. Výskumné činnosti tieto rozhodovacie stromy vo veľkej miere využívajú najmä pri analýze rozhodnutí. Umožňuje nám to dosiahnuť cieľ a je tiež obdivovaným nástrojom v strojovom učení.
Výstup modelu GBM
Výstup modelu GBM obsahuje podrobnosti o celkovom počte stromov predpokladaných na vykonanie. Pomôže to predpovedať vplyv prediktorovej premennej v modeli. Z súhrnnej funkcie výstupu GBM možno odvodiť aj tabuľku dôležitosti premennej a graf modelu.
Metóda predict () používajúca model GBM
Aby sa urobili predpovede na vrchole kľúčových dát tu, GBM model, rovnako ako iné modely, predpokladá sa metóda predikcie. V sekcii argumentov metódy sa musí ručne uviesť aj počet použitých rozhodovacích stromov.
Vzorový kód
predictions <- predict( object = simpleGBMmodel,
newdata = test,
n.trees = 1)
Vylepšenia modelu GBM
Obmedzenia stromov
- Je dôležité, že slabí študenti zahŕňajú zručnosti, ale zostávajú slabí.
Vážené aktualizácie
- Postupne sa pridáva z predpovedí každého stromu
- Darovanie každého stromu do tejto sumy musí byť masové, aby sa spomalilo učenie algoritmov. tento proces sa nazýva zmršťovanie.
Algoritmus zosilnenia stochastického gradientu
Tento ekvivalentný zisk sa môže použiť na zníženie asociácie lemovanej stromami.
Algoritmus penalizovaného zvyšovania gradientu
Parametrizované stromy môžu byť vyplnené ďalšími obmedzeniami, klasický rozhodovací strom nemožno použiť ako slabých študentov. Namiesto toho sa používa prispôsobený tzv. Regresný strom, ktorý má v listových uzloch číselné hodnoty.
Odporúčané články
Toto bol sprievodca algoritmom Gradient Boosting Algorithm. Tu diskutujeme úvod, rozhodovací strom, algoritmus AdaBoost, tréningový model GBM, vylepšenia modelu GBM spolu s niektorým vzorovým kódom. Viac informácií nájdete aj v ďalších navrhovaných článkoch -- Algoritmus rozhodovacieho stromu
- Algoritmy strojového učenia
- XGBoost Algorithm
- Algoritmy vedy o údajoch
- Algoritmus C ++ Príklady algoritmu C ++
- Implementácia Poissonovej regresie v R