Sintetinių ir nesintetinių balso įrašų identifikavimas taikant DI
Kaplunovas, Emilis |
Recenzentas / Rewiewer | |
Recenzentas / Rewiewer | |
Darbo gynimo komisijos narys / Thesis Defence Board Member | |
Darbo gynimo komisijos pirmininkas / Thesis Defence Board Chairman |
Didėjant poreikiui identifikuoti sintetinius balso įrašus tam tikri iššūkiai išlieka. Pažangūs gilaus mokymosi metodai, tokie kaip „WaveNet“,„Tacotron“, GAN pagrįsti metodai paskatino sintetinės kalbos generavimą, kuri beveik nesiskiria nuo žmogaus kalbos. Didžioji dalis tyrimų yra atlikta su rinkiniais anglų kalba, todėl šiuo tyrimu bus prisidėta prie sintetinių balso įrašų identifikavimo lietuvių kalba. Tobulėjant garso manipuliacijų technologijai sintetiniai balso įrašai gali būti piktybiškai naudojami apsimetinėti tam tikrais asmenimis, skleisti dezinformaciją arba vykdyti nesažiningą veiklą, todėl tai padidino patikimų identifikavimo metodų poreikį. Identifikavimo metodų kūrimas įvairioms kalboms, įskaitant mažiau išteklių turinčias, tokias kaip lietuvių, padeda užtikrinti identifikavimo sistemų patikimumą su įvairiomis kalbomis. Apžvelgus identifikavimo modelius išsiaiškinta, kad egzistuoja įvairios mašinio mokymosi ir gilaus mokymosi architektūros. Mašininio mokymosi algoritmai reikalauja rankinio požymių išskyrimo ir duomenų paruošimo. Bandymams su gilaus mokymosi algoritmais garso įrašams reikia specifinių transformacijų. Eksperimentams atlikti pasirinkti trys identifikavimo modeliai: „Inc-TSSDNet“, „Res-TSSDNet“, „2D-Res-TSSDNet“. Šių modelių pagrindu kaip patobulinimai buvo sukurti savo trys identifkavimo modeliai: „RawNet“, „2D-Inc-TSSDNet“, kombinuotas „RawNet“ ir „Inc-TSSDNet“. Surinktas savo duomenų rinkinys lietuvių kalba, iš viso apie 18 000 įrašų, sintetiniams balso įrašams sugeneruoti panaudotos tekstas į kalbą technikos „VITS“ ir „LIEPA TTS“, nesintetiniai balso įrašai surinkti iš audio knygų. Atlikus stratifikuotą kryžminį tikrinimą ir apskaičiavus visu modelių vidurkių rezultatus ir standartinius nuokrypius nustatyta, kad aukščiausi rezultatai buvo pasiekti su kombinuotu identifikavimo modeliu, tikslumas – 86,64%. Antrą geriausia tikslumą pademonstravo pritaikytas „2D-Inc-TSSDNet“ modelis – 84,84%, su „RawNet“ tikslumas buvo 84,12%.
As the need to identify synthetic voice recordings increases, certain challenges remain. Advanced deep learning techniques such as WaveNet, Tacotron, GAN-based techniques have led to the generation of synthetic language that is almost indistinguishable from human speech. Most of the research is done with datasets in English language, so this research will contribute to the identification of synthetic voice recordings in Lithuanian language. Advances in audio manipulation technology have made it possible for synthetic voice recordings to be maliciously used to impersonate certain individuals, spread misinformation or engage in fraudulent activity, which has increased the need for reliable identification methods. Developing identification methods for different languages, including less resourced ones such as Lithuanian, helps ensure the reliability of identification systems with different languages. A review of identification models reveals that there are various machine learning and deep learning architectures. Machine learning algorithms require manual feature extraction and data preparation. Testing deep learning algorithms on audio requires specific transformations. Three identification models were selected for experiments: Inc-TSSDNet, Res-TSSDNet, 2D-Res-TSSDNet. Based on these models, three identification models were developed as improvements: RawNet, 2D-Inc-TSSDNet, combined RawNet, and Inc-TSSDNet. A self- collected data set in Lithuanian language was used, about 18,000 recordings in total, text-to-speech techniques VITS and LIEPA TTS were used to generate synthetic voice recordings, non-synthetic voice recordings were collected from audio books. After performing stratified cross-validation and calculating the average results and standard deviations of all models, it was found that the highest results were achieved with the combined identification model, with an accuracy of 86.64%. The second best accuracy was demonstrated by the adapted 2D-Inc-TSSDNet model at 84.84%, with RawNet at 84.12%.