Trūkstamų duomenų reikšmių įrašymas mašininio mokymosi metodais
Rekašius, Tomas | Recenzentas / Rewiewer |
Šiaulys, Jonas | Darbo gynimo komisijos pirmininkas / Thesis Defence Board Chairman |
Darbo gynimo komisijos narys / Thesis Defence Board Member | |
Darbo gynimo komisijos narys / Thesis Defence Board Member | |
Darbo gynimo komisijos narys / Thesis Defence Board Member | |
Darbo gynimo komisijos narys / Thesis Defence Board Member | |
Darbo gynimo komisijos narys / Thesis Defence Board Member |
Baigiamajame magistro darbe nagrinėjama praleistų reikšmių problema ir mašininio mokymosi metodai šiai problemai spręsti. Praleistos reikšmės - vienas iš duomenų kokybės aspektų, todėl svarbu rasti tinkamus metodus joms įrašyti. Literatūros analizės dalyje aptariama praleistų reikšmių įrašymo problema, pateikiami kitų autorių naudojami metodai bei jų aprašymas, apžvelgiami sprendimų medžiai, medžiais grįsti metodai bei daugiareikšmio įrašymo procedūra. Skaitinių eksperimentų dalyje konstruojamas atsitiktinis miškas, nagrinėjamas kintamųjų svarbumas ekvivalentinių disponuojamų vieno namų ūkio nario mėnesio pajamoms prognozuoti, taikomi atsitiktiniu mišku pagrįstas iteracinis praleistų reikšmių įrašymo be daugiareikšmio įrašymo grandine susietomis lygtimis metodai pajamų kintamojo praleistoms reikšmėms įrašyti. Palyginami gauti įrašymo rezultatai, įvertinamos dėl praleistų duomenų įrašymo atsirandančios pajamų rodiklių paklaidos. Gauti rezultatai leidžia daryti išvadą, jog pritaikius daugiareikšmio įrašymo grandine susietomis lygtimis pagrįstą įrašymo metodą gaunami tikslesni pajamų vidurkių įverčiai negu pritaikius atsitiktinio miško įrašymo metodą. Tai rodo mažesnį standartinių paklaidų ir variacijos koeficientų įverčiai visose nagrinėjamuose grupėse. Darbą sudaro 6 dalys: įvadas, literatūros analizė, skaitiniai eksperimentai, išvados, literatūros sąrašas, priedai. Darbo apimtis - 46 p. teksto be priedų, 16 iliustr., 21 lent., 16 bibliografinių šaltinių.
The problem of missing values imputation and machine learning methods to solve this problem are examined in the master thesis. Missing values are one aspect of data quality, so it is important to find appropriate methods to impute them. The problem of missing values imputation is discussed in the literature analysis part of the master thesis; the methods used by other authors and their characterization is presented; decision trees, tree-based methods and the multiple imputation procedure is reviewed. In the part of numerical experiments, a random forest is constructed, the importance of variables for forecasting the equivalent disposable monthly income of one household member is examined, random forest-based iterative methods of missing values imputation by chained equations are applied to impute missing values of the income variable. Data sets after imputation are compared, and the error of income indicators due to the imputation of missed data is estimated. The obtained results lead to the conclusion that after applying chained equations-based imputation method, are obtained more accurate estimates of income averages than after applying the random forest imputation method. This is shown by lower estimates of standard errors and coefficients of variation in all examined groups.The work consists of 6 parts: introduction, literature analysis, numerical experiments, conclusions, bibliography, appendices.The volume of work - 46 p. of text without appendices, 16 illustrations, 21 tables, 16 bibliographic sources.