Clau per emportar
- Navi utilitza SharePlay i la conversió de veu a text integrada d'Apple per oferir subtítols i traduccions a FaceTime.
- No és perfecte, però ja prou bo.
- Els subtítols són excel·lents per a l'accessibilitat.
Navi és una aplicació que afegeix subtítols en directe i traduccions en temps real a les teves trucades de FaceTime.
L'aplicació utilitza SharePlay i el reconeixement de veu integrat per afegir subtítols i traduccions en 20 idiomes a les trucades de FaceTime. És un ús increïble de SharePlay, que la majoria de nos altres considerem una manera enganyosa de veure pel·lícules sincronitzades amb persones d' altres llocs. És possible que encara no hagis d'activar el teu traductor, però una aplicació que ho faci bé podria ser molt útil.
"No rebo l'àudio de la trucada de FaceTime", escriu el desenvolupador de Navi Jordi Bruin a Twitter, "però utilitzo SharePlay per compartir-lo entre els participants de la trucada".
SharePlay
SharePlay és una funció nova a iOS 15 i macOS 12.1 que us permet compartir i sincronitzar coses a les trucades de FaceTime. Amb l'exemple de visualització de pel·lícules anterior, qualsevol participant pot posar en pausa o reproduir la pel·lícula, per exemple, mentre tots xateu a la trucada de FaceTime. El vídeo de FaceTime roman obert en un tauler petit i flotant d'imatge en imatge, i cada participant executa l'aplicació localment al seu dispositiu. El truc de SharePlay és sincronitzar el que està passant en aquestes aplicacions locals, de manera que tothom comparteixi l'experiència, ja sigui una pel·lícula, un entrenament de Fitness+ o un full de càlcul.
Navi utilitza la mateixa tecnologia, només que l'aplicació de trucada no és una pel·lícula: és un motor de traducció en temps real. Per utilitzar-lo, inicieu l'aplicació mentre esteu en una trucada de FaceTime i toqueu el botó "Activa els subtítols". Aleshores, altres participants també poden unir-se a l'acció i veure els subtítols en directe per al parlant actual. Si algú fa un monòleg, la seva bafarada creix i es queda una mica més.
Per als sords, això podria significar la diferència entre trucar a la gent o no. I per a qualsevol, vol dir que pots tenir converses útils entre persones que no comparteixen un idioma.
Text universal
Internet es basa en text, i això és fantàstic. És petit i fàcil de crear, llegir i traduir. També és senzill convertir-lo en un discurs sintetitzat. El resultat és que qualsevol persona des de qualsevol lloc pot participar en qualsevol conversa. L'idioma no és cap barrera, ni la sordesa ni cap mena de ceguesa, sempre que utilitzeu un dispositiu amb bones eines d'accessibilitat per a problemes de visió o audició.
Però la paraula parlada és molt més difícil de processar. El dictat de veu a text és impressionant, però fa relativament poc temps que el reconeixement general de la parla s'ha fet prou bo per a un ús general: l'aplicació Translate d'Apple n'és un bon exemple. Introduït a iOS 15, ofereix traduccions d'àudio en temps real. Si encara féssim de vacances a l'estranger, seria perfecte.
Ara fem servir cada cop més el vídeo per treballar i mantenir-nos en contacte amb amics i familiars. No importa com treballem en el futur, la barrera a les videotrucades s'ha trencat completament. Ara és una eina comuna, però li f alta molta delicadesa de les eines de comunicació escrita.
Alguna cosa com Navi, que ofereix subtítols i traducció en temps real, podria ser important. L'accessibilitat és un aspecte, però la capacitat de conversar amb persones l'idioma de les quals no parleu obre negocis internacionals a un grau sorprenent.
En acció
Vaig provar Navi amb el desenvolupador d'aplicacions, l'autor i l'usuari d'audiòfons Graham Bower. Està força bé, però encara no està preparat per a tasques crítiques. Algunes de les transcripcions eren còmicament dolentes i massa vulgars per relacionar-les. A mesura que avançava la nostra conversa, però, va millorar moltíssim reconèixer amb precisió el seu discurs. Això té sentit perquè el motor de dictat d'iOS s'adapta a la teva veu amb el pas del temps.
La traducció també va funcionar, tot i que la qualitat de les seves traduccions depèn de la precisió de l'entrada.
És fàcil projectar aquest tipus de tecnologia a les futures ulleres d'Apple o a qualsevol producte d'AR/VR que es rumoreja que estigui treballant aquesta setmana.
"Veig que això funciona amb ulleres AR", va dir Bower durant la nostra conversa. "Algunes persones, fins i tot amb una audició normal, prefereixen els subtítols a les pel·lícules. Això seria com els subtítols per a la vida real."
Tot i que és una demostració tecnològica impressionant, Navi encara no hi és. Per a un ús empresarial fiable, el reconeixement de veu inicial d'Apple haurà de ser molt més precís. Però pel que fa a la velocitat, està bé i les traduccions són tan bones com qualsevol.
Però ara estem en el camí, i aquest tipus de coses només milloraran.
