„Google“ pristatė „Gemini 3.5 Transcribe“ – naują dirbtinio intelekto modelį, kuris specializuojasi kalbos konvertavime į tekstą. Bendrovė apibūdina jį kaip tiksliausią iki šiol savo sistemą, skirtą išmaniajai balso sąveikai. Skirtingai nuo tradicinių sistemų, šis modelis ne tik transkribuoja tai, kas sakoma, bet ir interpretuoja kalbėtojo ketinimus, ištaiso klaidas ir sukuria švarų, suformatuotą tekstą.
Modelis sukurtas tiek realiuoju laiku, tiek įrašytam naudojimui ir žada gerai veikti triukšmingoje aplinkoje, su stipriais akcentais ar techniniu žargonu. Be to, jis automatiškai atpažįsta daugiau nei 85 kalbas, atpažįsta iki trijų kalbėtojų ir prideda laiko žymas žodis po žodžio. Nepriklausomų bandymų duomenimis, visa tai pasiekiama su itin mažu klaidų lygiu.
Išmanusis transkripcija: daugiau nei diktavimas
Viena iš pagrindinių „Gemini 3.5 Transcribe“ funkcijų yra gebėjimas suprasti savęs taisymą. Pavyzdžiui, jei kalbėtojas sako: „Susitikime antradienį... ne, trečiadienį“, modelis naudos antrąją parinktį. Jis taip pat pašalina tokius užpildo žodžius kaip „u“ arba „um“ ir automatiškai pritaiko skyrybos ženklus bei formatavimą. Be to, jis leidžia pridėti pasirinktinį žodyną, kad būtų galima atpažinti tikrinius daiktavardžius, techninius terminus ar neįprastus žodžius. Remiantis „Google“ paskelbtais duomenimis, klaidų dažnis vienam žodžiui yra 4 % srautinio garso įrašuose ir 2,6 % iš anksto įrašytuose garso įrašuose, išmatuotas naudojant dirbtinę analizę.
Kita išsiskirianti savybė – greitis. Palyginti su pirmtaku „Chirp 3“, „Google“ teigia, kad galutinio teksto gavimo laikas sutrumpėja 70 %. Tiesioginio transliavimo metu delsa yra mažesnė nei viena sekundė, todėl jį galima naudoti subtitrams realiuoju laiku arba balso asistentams.
Integracija į „Google“ ekosistemą
„Gemini 3.5 Transcribe“ jau integruota į kelis „Google“ produktus. „Android“ sistemoje „Gboard“ „Rambler“ funkcija naudoja šį modelį balso įvedimui į tekstą. Ji taip pat pasiekiama „Gemini“ programėlėje, skirtoje „macOS“, leidžiant vartotojams naudoti balso komandas su ekrano kontekstu, norint apibendrinti failus, generuoti vaizdus arba pakartotinai naudoti tekstą. Be to, „Google Antigravity“ ją integruoja, kad sujungtų ekrano kontekstą ir pokalbių istoriją.
Bendrovė taip pat paskelbė, kad ši funkcija netrukus bus pasiekiama „Chrome“ naršyklėje. Tai leis vartotojams diktuoti tekstą bet kuriame žiniatinklio lauke, pvz., el. laiškuose, formose ar įrašuose, jų nerašant. Nors konkrečios datos nėra, tikimasi, kad ši funkcija išplės balso transkripcijos naudojimą naršyklėje.
Prieinamumas kūrėjams
Kūrėjams „Gemini 3.5 Transcribe“ galima viešai peržiūrėti per „Gemini“ API, „Google AI Studio“ ir „Gemini Enterprise Agent Platform“. Siūlomos dvi versijos: „Live API“, skirta tiesioginiam dvikrypčiam srautiniam perdavimui su mažiau nei vienos sekundės delsa, ir „Interactions API“, skirta iš anksto įrašyto garso apdorojimui su kalbėtojo priskyrimu ir laiko žymomis. Pirmoji versija skirta balso agentams ir tiesioginiams subtitrams, o antroji – naudinga susitikimams, pokalbiams ar skambučių analizei.
Modelis taip pat gali deleguoti sudėtingas užduotis kitiems „Gemini“ modeliams, pvz., vaizdų generavimą ar failų analizę, naudodamas funkcijų iškvietimus. Ši galimybė šiuo metu pasiekiama „Gemini“ programėlėje, skirtoje „macOS“.
„Google“ įsipareigojimą naudoti balsą kaip pagrindinę sąsają sustiprina „Gemini 3.5 Transcribe“. Dėl tikslumo, greičio ir išmaniųjų funkcijų derinio ši funkcija yra svarbi priemonė tiek vartotojams, tiek kūrėjams. Netrukus pasirodžius „Chrome“ naršyklėje, balso diktavimas gali tapti įprastu dalyku internete. Dar reikia pamatyti, kaip jis prisitaikys prie sudėtingesnių naudojimo atvejų, tačiau pradiniai duomenys daug žadantys.