Úvod do algoritmu AdaBoost
Algoritmus AdaBoost možno použiť na zvýšenie výkonu ktoréhokoľvek algoritmu strojového učenia. Strojové učenie sa stalo mocným nástrojom, ktorý dokáže predpovedať na základe veľkého množstva údajov. V poslednej dobe sa stalo tak populárnym, že aplikáciu strojového učenia nájdete v našich každodenných činnostiach. Bežným príkladom je získavanie návrhov na produkty pri nakupovaní online na základe minulých položiek, ktoré zákazník kúpil. Strojové učenie, často označované ako prediktívna analýza alebo prediktívne modelovanie, možno definovať ako schopnosť počítačov učiť sa bez toho, aby boli výslovne naprogramované. Používa naprogramované algoritmy na analýzu vstupných údajov na predpovedanie výstupu v prijateľnom rozsahu.
Čo je to algoritmus AdaBoost?
V strojovom učení podporovanie vychádzalo z otázky, či súbor slabých klasifikátorov možno previesť na silného klasifikátora. Slabý žiak alebo klasifikátor je žiak, ktorý je lepší ako náhodné hádanie, a toto bude robustné v presahu ako vo veľkej skupine slabých klasifikátorov, pričom každý slabý klasifikátor je lepší ako náhodný. Ako slabý klasifikátor sa všeobecne používa jednoduchý prah pre jednu funkciu. Ak je prvok nad prahom, ako sa predpokladalo, patrí medzi pozitívne, inak patrí k negatívnym.
AdaBoost je skratka pre „Adaptive Boosting“ (Adaptívne zvýšenie), ktorá transformuje slabých študentov alebo prediktorov na silné prediktory s cieľom vyriešiť problémy klasifikácie.
Na účely klasifikácie je možné konečnú rovnicu uviesť takto:
Tu f m označuje m- tý slabý klasifikátor am predstavuje jeho zodpovedajúcu hmotnosť.
Ako funguje algoritmus AdaBoost?
AdaBoost sa môže použiť na zlepšenie výkonnosti algoritmov strojového učenia. Najlepšie sa používa u slabých študentov a tieto modely dosahujú vysokú presnosť nad náhodnou náhodou pri klasifikácii. Bežné algoritmy, ktoré sa používajú s AdaBoost, sú rozhodovacie stromy s úrovňou jedna. Slabý žiak je klasifikátor alebo prediktor, ktorý má z hľadiska presnosti pomerne zlé výsledky. Môže sa tiež predpokladať, že slabí študenti sa dajú ľahko vypočítať a mnoho príkladov algoritmov sa kombinuje, aby sa vytvorením silného klasifikátora vytvoril silný klasifikátor.
Ak vezmeme súbor údajov obsahujúci n počet bodov a zvážte nižšie uvedené
-1 predstavuje negatívnu triedu a 1 znamená pozitívnu. Inicializuje sa ako je uvedené nižšie, hmotnosť pre každý dátový bod je:
Ak zvážime iteráciu od 1 do M pre m, dostaneme nasledujúci výraz:
Najprv musíme vybrať slabý klasifikátor s najnižšou váženou chybou klasifikácie tak, že slabý klasifikátor namontujeme do súboru údajov.
Potom vypočítajte hmotnosť pre druhý slabý klasifikátor takto:
Hmotnosť je kladná pre všetky klasifikátory s presnosťou vyššou ako 50%. Hmotnosť sa zvyšuje, ak je klasifikátor presnejší a ak je klasifikátor presný ako 50%, stáva sa negatívnym. Predikciu je možné kombinovať prevrátením značky. Invertovaním znaku predikcie je možné klasifikátor s presnosťou 40% previesť na presnosť 60%. Klasifikátor teda prispieva k konečnej predikcii, aj keď má horšie výsledky ako náhodné odhady. Konečná predpoveď však nebude mať žiadny príspevok ani nebude získavať informácie od klasifikátora s presnosťou 50%. Exponenciálny výraz v čitateli je vždy vyšší ako 1 pre nesprávne klasifikovaný prípad z kladného váženého klasifikátora. Po iterácii sa nesprávne klasifikované prípady aktualizujú s väčšími váhami. Negatívne vážené klasifikátory sa správajú rovnako. Existuje však rozdiel, že po obrátení znaku; správne klasifikácie by sa pôvodne zmenili na nesprávnu klasifikáciu. Konečná predpoveď sa dá vypočítať tak, že sa vezme do úvahy každý klasifikátor a potom sa vykoná súčet ich váženej predikcie.
Aktualizácia váhy pre každý údajový bod:
Z m je tu normalizačný faktor. Zaisťuje, že súčet všetkých hmotností inštancií sa rovná 1.
Na čo sa používa algoritmus AdaBoost?
AdaBoost možno použiť na detekciu tváre, pretože sa javí ako štandardný algoritmus na detekciu tváre v obrazoch. Využíva kaskádu odmietnutí pozostávajúcu z mnohých vrstiev klasifikátorov. Ak detekčné okno nie je rozpoznané v žiadnej vrstve ako tvár, je odmietnuté. Prvý klasifikátor v okne zahodí záporné okno a výpočtové náklady minimalizuje. Aj keď AdaBoost kombinuje slabé klasifikátory, princípy AdaBoost sa používajú aj na nájdenie najlepších funkcií, ktoré sa majú použiť v každej vrstve kaskády.
Výhody a nevýhody algoritmu AdaBoost
Jednou z mnohých výhod algoritmu AdaBoost je rýchle, jednoduché a ľahké programovanie. Tiež má flexibilitu, ktorú je možné kombinovať s akýmkoľvek algoritmom strojového učenia a nie je potrebné vyladiť parametre s výnimkou T. Bol rozšírený na problémy s učením nad binárnu klasifikáciu a je univerzálny, pretože sa dá použiť s textom alebo číslicou dát.
AdaBoost má tiež niekoľko nevýhod, ako je to z empirických dôkazov a obzvlášť citlivé na jednotný hluk. Príliš slabé klasifikátory môžu viesť k nízkym maržiam a nadmernému vybaveniu.
Príklad algoritmu AdaBoost
Za príklad môžeme považovať prijatie študentov na univerzitu, kde budú prijatí alebo zamietnutí. Kvantitatívne a kvalitatívne údaje tu možno nájsť z rôznych hľadísk. Napríklad výsledok prijatia, ktorý môže byť áno / nie, môže byť kvantitatívny, zatiaľ čo akákoľvek iná oblasť, ako sú zručnosti alebo záľuby študentov, môže byť kvalitatívna. Môžeme ľahko prísť so správnou klasifikáciou údajov o školení, ktorá je lepšia ako šanca na podmienky, ako napríklad ak je študent dobrý v konkrétnom predmete, potom je prijatý. Je však ťažké nájsť vysoko presnú predpoveď a potom slabí študenti sa dostanú do obrazu.
záver
AdaBoost pomáha pri výbere výcvikovej sady pre každý nový klasifikátor, ktorý je vyškolený na základe výsledkov predchádzajúceho klasifikátora. Aj pri kombinovaní výsledkov; určuje, aká veľká váha by sa mala prisúdiť navrhovanej odpovedi každého klasifikátora. Kombinuje slabých študentov, aby vytvorili silný nástroj na opravu chýb klasifikácie, ktorý je tiež prvým úspešným podporujúcim algoritmom pre problémy binárnej klasifikácie.
Odporúčané články
Toto bol návod pre AdaBoost Algorithm. Tu sme diskutovali koncepciu, použitia, prácu, výhody a nevýhody s príkladom. Ak sa chcete dozvedieť viac, môžete si tiež prečítať naše ďalšie navrhované články -
- Algoritmus Naive Bayes
- Otázky na rozhovor so sociálnymi médiami
- Stratégie vytvárania prepojení
- Platforma marketingu sociálnych médií