Vaši projekti

Matevž:

Projekt : Slovenian sign language into text / speech 

V projektu bi poskušal  pretvorit Slovenski Znakovni jezik v gramatično pravilen slovenski jezik. To je generalna ideja, ki jo je pa težko opraviti saj ni veliko spletno dostopnega materijala, ki bi bil urejen in pripravljen za uporabo.  Na spletni strani za gluhoneme je nekakšen slovar ( https://zveza-gns.si/slovar-in-slovnica-szj ) , ki bi lahko veliko pripomogel k projektu. Za slovenščino ni nikakšnega real time pretvornika iz zakovnega jezika v gramatično pravilen slovenski jezik. To bi poskušal tudi narediti. 

Možnosti za to narediti so. : Uporabimo že kakšen naučen model, vendar tej modeli niso uporabni za slovenščino.  Lahko se naredi model od začetka in bi se z uporabo knjižnjic mediapipe Hands, ki nam omogoča sledenje rok in koordinate prstov. To bi nam omogočilo, da bi iz videov dobili potrebne koordinate za besede, fraze, ki bi potem naučilo model, da bi dobili kot output besede, ki so pretvorjene iz znakovnega jezika.

Te besede bi potem lahko Z pomočjo llm-jev oblikovali v gramatično pravilne stavke.

Možnost razširitve bi bila to da bi kot input ne dobili samo koordinate rok ampak da bi uporabili tudi kakšno knjižnjico za Prepoznavaje ustnic in bi na podlagi tega potem tudi kombinirali in upoštevali rezultate usntnic z rokami, da bi dobili bolj natančne predikcije besed. Združitev obojega bi bilo nekaj novega predvsem za področje Slovenije.

Florijan

Projekt : Culture integration into automatic translation of Slovenian language

V projektu bi poskušal razširiti kvaliteto prevajanja iz Angleščine ali še kakega drugega jezika v Slovenščino, pri čemer bi poskušal kulturno integrirati prevod in zaznati čustva. Na ta način bi prevod zvenel bolj kot, da ga je naredil prevajalec kot pa računalnik. Razširil bi ozadje prevajanja iz jezika v jezik.

Možnosti: Uporabimo kakšen LLM za osnovni prvod med jeziki, nato bi ali naredil svoj dataset za treniranje modela ali uporabil obstoječega za iskanje 5 osnovnih čustev v Slovenščini (pozitivno / negativno / nevtralno / sarkastično / vljudno.) in tako izgradil model, kateri bi čustveno in kulturno integriral prevod.

Možnosti za razširitev je večje število možnosti prevajanja iz jezika v jezik.

Dodatna razširitev bi bila možna, da bi bilo možno prevajati iz več jezikov, ter polek tega bi lahko dodali tudi emotion recognition v sam program

Tim: 
Projekt: Sign language into translation -  English to slovenian
V projektu bi poiskusil pretvoriti iz Ameriškega znakovnega jezika v slovenki znakovni jezik.
To bi se naredilo, z pomočjo knjižnjice mediapipe. Ta knjižnjica bi pomagala pretvoriti koordinate rok in prstov v besede. s temi besedami naredimo stavek v ASL glosi in pretvorimo v angleščino. To prevedemo v slovenščino in nazadnje v SZJ glosi.
Viri, ki bi pripomogli k projektu: https://www.researchgate.net/profile/Ammar-Mohammed-18/publication/356820629_Sign_Language_Gloss_Translation_using_Deep_Learning_Models/links/61c151474b318a6970f7fb52/Sign-Language-Gloss-Translation-using-Deep-Learning-Models.pdf

Luka

Projekt:  chatbot matching your writing style

V projektu bi poskušal razviti chatbota, ki se prilagaja uporabnikovemu slogu pisanja. Ideja je, da chatbot ne odgovarja samo vsebinsko pravilno, ampak da odgovarja tudi v tonu, dolžini, besedišču,… ki je podoben uporabnikovemu načinu izrazanja.
S tem bi bil pogovor z umetno inteligenco bolj oseben,naraven… Za to bi najprej zbral uporabnikove primere besedil (njegove kratke objave, e-pošto, pogovore…) in iz njih izlocil osnovne znacilnosti njegovega pisnega sloga na primer pogostost nekaterih besed, povprecno dolzino stavkov, rabo locil… Potem bi te značilnosti uporabil za prilagoditev chatbota. Razširitev bi lahko bila, da bi chatbot na primer znal sam sproti analizirati nove pogovore in se še bolj prilagoditi uporabniku. Lahko pa bi tudi nudil prepoznavo čustev v besedilu, da bi   znal ohranit enak ton tudi v različnih kontekstih. Tukaj je primer enega članka : https://arxiv.org/abs/2403.08943