Úvod do generovania testovacích dát

Testovacie dáta sú akékoľvek vstupné informácie poskytnuté modelu strojového učenia na testovanie jeho výkonu a spoľahlivosti. Aby sa získali modely strojového učenia s vynikajúcim výkonom, je dôležité, aby ich vedec údajov trénoval so všetkými možnými variáciami údajov a potom otestoval ten istý model ešte rozmanitejšie a komplikovanejšie, ale komplexné údaje. Často je ťažké zahrnúť všetky scenáre a variácie do údajov o skúškach, ktoré sa získajú po rozdelení skúšky vlaku. Preto je dôležité vytvoriť dataset so všetkými zahrnutými prípadmi použitia, ktoré môžu najlepšie merať výkon nášho modelu. Proces generovania takéhoto súboru údajov je známy ako generovanie testovacích údajov.

Pravidlá generovania testovacích údajov v strojovom vzdelávaní

V dnešnom svete, so zvyšujúcou sa zložitosťou zo dňa na deň a so znižovaním času dodania, musia vedci údajov pripraviť čo najskôr najlepšie výkonné modely. Vytvorené modely sa však stávajú najvýkonnejšími modelmi až po otestovaní všetkých možných scenárov. Všetky tieto scenáre nemusia byť pre vedca údajov možné mať so sebou, a preto bude možno potrebné vytvoriť nejaké syntetické údaje na testovanie modelov.

Preto pri vytváraní týchto syntetických súborov údajov musíte pamätať na určité druhy pravidiel alebo usmernení:

  1. Musíte sledovať štatistické rozdelenie každej funkcie v pôvodnom alebo skutočnom súbore údajov. Potom musíme vytvoriť testovacie údaje s rovnakými statickými distribúciami.
  2. Musíme pochopiť účinky interakcie, ktorú majú funkcie nad sebou alebo na závislú premennú. Chceme tým povedať, že musíme zachovať vzťahy medzi premennými. Prezrite si univariačné, bivariačné vzťahy a pri vytváraní testovacích údajov skúste mať rovnaké vzťahy.
  3. Generované údaje by mali byť pokiaľ možno náhodne a bežne distribuované.
  4. V prípade klasifikačných algoritmov musíme kontrolovať počet pozorovaní v každej triede. Buď môžeme pozorovania rozdeliť rovnomerne, aby sme uľahčili testovanie, alebo získať viac pozorovaní v jednej z tried.
  5. Do údajov je možné vstreknúť náhodný šum, aby sa otestoval model ML na anomáliách.
  6. Musíme tiež zachovať stupnicu hodnôt a variácií vo vlastnostiach testovacích údajov, tj hodnoty prvku by mali byť zobrazené správne. Napr. Hodnoty veku by sa mali pohybovať okolo hranatých zátvoriek 0 - 100 a nie niekoľko čísel v tisícoch.
  7. Budeme potrebovať mimoriadne bohatý a dostatočne veľký súbor údajov, ktorý pokryje všetky scenáre testovacích prípadov a všetky testovacie scenáre. Zle navrhnuté údaje o skúškach nemusia testovať všetky možné testy alebo skutočné scenáre, ktoré obmedzujú výkon modelu.
  8. Potrebujeme vygenerovať dostatočne veľký súbor údajov, aby sa nielen vykonal výkon, ale aj stresové testovanie modelu a softvérovej platformy.

Ako generovať testovacie dáta?

Vo všeobecnosti sú testovacie dáta úložiskom údajov, ktoré sa generujú programovo. Niektoré z týchto údajov sa môžu použiť na testovanie očakávaných výsledkov modelu strojového učenia. Tieto údaje sa môžu tiež použiť na testovanie schopnosti modelu strojového učenia zvládnuť odľahlé a neviditeľné situácie dané ako vstup do modelu. Je dôležité vedieť, aký druh testovacích údajov je potrebné vygenerovať a na aký účel.

Keď to vieme, môžeme na vygenerovanie údajov z testov použiť ktorúkoľvek z nasledujúcich metód:

1. Môžeme manuálne vygenerovať testovacie údaje podľa našich znalostí domény a druhu testovania, ktoré musíme urobiť na konkrétnom modeli strojového učenia. Na generovanie týchto druhov súborov údajov môžeme použiť program Excel.

2. Môžeme tiež vyskúšať a skopírovať obrovské kúsky údajov, ktoré máme k dispozícii v produkčnom prostredí, vykonať potrebné zmeny a následne otestovať modely strojového učenia.

3. Existuje veľa nástrojov dostupných na trhu zadarmo alebo za úhradu, ktoré môžeme použiť na vytvorenie testovacích súborov údajov.

4. Testovacie dátové súbory sa môžu generovať aj pomocou R alebo Pythonu. Existuje niekoľko balíkov ako faker, ktoré vám môžu pomôcť pri vytváraní syntetických súborov údajov.

Výhody generovania testovacích dát

Aj keď údaje z testov boli generované nejakými prostriedkami a nie sú skutočné, stále ide o pevný súbor údajov s pevným počtom vzoriek, pevným vzorom a pevným stupňom oddelenia tried. Generovanie testovacích údajov stále prináša niekoľko výhod:

1. Mnohé z organizácií nemusia mať pri zdieľaní citlivých údajov svojich používateľov s poskytovateľmi služieb pohodlie, pretože by to mohlo porušiť zákony o bezpečnosti alebo ochrane súkromia. V týchto prípadoch môžu byť vygenerované údaje z testov užitočné. Dokáže replikovať všetky štatistické vlastnosti reálnych údajov bez toho, aby odhalil reálne údaje.

2. Pomocou vygenerovaných testovacích údajov môžeme do údajov, ktorým sme sa ešte nestretli, začleniť scenáre, ale očakávame alebo sa môžeme stretnúť v blízkej budúcnosti.

3. Ako už bolo uvedené, generované údaje si zachovajú univariačné, bivariačné a multivariačné vzťahy medzi premennými spolu so zachovaním samotnej špecifickej štatistiky.

4. Akonáhle sme získali našu metódu generovania údajov, je ľahké vytvoriť akékoľvek testovacie údaje a ušetriť čas na vyhľadávanie údajov alebo na overenie výkonnosti modelu.

5. Údaje z testov by poskytli tímu potrebnú flexibilitu na prispôsobenie údajov generovaných podľa potreby, aby sa vylepšil model.

záver

Záverom, dobre navrhnuté údaje o testovaní nám umožňujú identifikovať a napraviť vážne nedostatky v modeli. Mať prístup k vysoko kvalitným súborom údajov na testovanie vašich modelov strojového učenia vám nesmierne pomôže pri vytváraní robustného a spoľahlivého AI produktu. Generovanie súborov údajov zo syntetických testov je v dnešnom svete, v ktorom je súkromie, prínosom

Odporúčané články

Toto bol návod na generovanie testovacích údajov. Tu diskutujeme pravidlá a ako generovať testovacie dáta s ich výhodami. Ďalšie informácie nájdete aj v nasledujúcich článkoch -

  1. Fuzz Testovanie
  2. Data Science Machine Learning
  3. Nástroje na vedu o údajoch
  4. Veľké dátové technológie

Kategórie:

Veľké dáta