Prisitaikantys algoritmai, skirti realiojo laiko vaizdų antraštėms kurti: tikslumo ir greičio pusiausvyra
Vinogradova-Zinkevič, Irina | Recenzentas / Rewiewer |
Darbo gynimo komisijos pirmininkas / Thesis Defence Board Chairman | |
Darbo gynimo komisijos narys / Thesis Defence Board Member | |
Darbo gynimo komisijos narys / Thesis Defence Board Member | |
Medvedev, Viktor | Darbo gynimo komisijos narys / Thesis Defence Board Member |
Darbo gynimo komisijos narys / Thesis Defence Board Member | |
Darbo gynimo komisijos narys / Thesis Defence Board Member | |
Darbo gynimo komisijos narys / Thesis Defence Board Member |
Šiame darbe nagrinėjama realaus laiko vaizdo antraščių generavimo problema, kuri apima mašininio mokymosi, kompiuterinės regos ir natūralios kalbos apdorojimo metodus. Darbo tikslas - įvertinti prisitaikančius algoritmus, skirtus realaus laiko vaizdų antraštėms kurti, ir rasti optimalų, kuris veiksmingai subalansuotų kompromisą tarp antraščių tikslumo ir generavimo greičio. Darbo pradžioje atlikta mokslinės literatūros analizė, kurioje apžvelgta vaizdo antraščių kūrimo raida, technologiniai iššūkiai bei dažniausiai taikomos giliojo mokymosi architektūros. Eksperimentinei daliai pasirinkta ResNet-50 ir GRU architektūra. Modelio apmokymui panaudotas Flickr8k duomenų rinkinys. Optimizuojant modelio veikimą buvo pritaikyta reguliarizacija, pridėtas dėmesio mechanizmas, atlikti eksperimentai, pritaikant skirtingus hiperparametrų derinius. Geriausio modelio pasiektos metrikos: BLEU-1 - 0.606, BLEU-2 - 0.374, BLEU-3 - 0.216, BLEU-4 - 0.107, METEOR - 0.204, ROUGE-L - 0.457, CIDEr - 0.191 ir SPICE - 0.128.
This study explores the problem of real-time image caption generation, which integrates methods from machine learning, computer vision, and natural language processing. The objective of the work is to evaluate adaptive algorithms designed for real-time image captioning and to identify an optimal solution that effectively balances caption accuracy and generation speed. The study commences with a comprehensive review of scientific literature, encompassing the evolution of image captioning, the prevailing technological challenges, and the most prevalent deep learning architecture. For the experimental part of the study, a model based on the ResNet-50 and GRU architectures was developed. The Flickr8k dataset was utilized for the training of the model. In order to optimize the performance of the model, regularization techniques were applied, an attention mechanism was integrated, and experiments were conducted using various combinations of hyperparameters. The model that demonstrated the highest level of performance achieved the following evaluation metrics: BLEU-1 - 0.606, BLEU-2 - 0.374, BLEU-3 - 0.216, BLEU-4 - 0.107, METEOR - 0.204, ROUGE-L - 0.457, CIDEr - 0.191, and SPICE - 0.128.