Google a adăugat o funcție nouă în Google Lens care permite utilizatorilor să caute informații folosind videoclipuri, nu doar imagini.
Dacă nu poți surprinde exact ceea ce cauți doar cu o fotografie, acum poți înregistra un videoclip și chiar să folosești comenzi vocale pentru a adresa întrebări legate de ceea ce vezi. Funcția va oferi o prezentare generală generată de inteligența artificială și rezultate de căutare pe baza conținutului videoclipului și a întrebării tale. Aceasta este disponibilă începând de astăzi pe Android și iOS, prin intermediul Search Labs.
Google a prezentat pentru prima dată această funcție la conferința I/O din mai. Un exemplu oferit de Google a fost în cazul în care cineva dorește să afle mai multe despre peștii pe care îi vede într-un acvariu. Persoana poate deschide aplicația Google Lens, să țină apăsat butonul de declanșare pentru a începe înregistrarea, și să adreseze o întrebare, cum ar fi: „De ce înoată împreună?”. Modelul AI Gemini de la Google va analiza apoi videoclipul și va oferi un răspuns.
Tehnologia din spatele acestei funcții a fost explicată de Rajan Patel, vicepreședinte de inginerie la Google, care a precizat că Google captează videoclipul ca o serie de cadre și aplică aceleași tehnici de viziune computerizată utilizate anterior în Lens. Inovația constă în faptul că aceste cadre sunt analizate de un model personalizat Gemini, care înțelege secvențele de imagini și oferă un răspuns bazat pe informațiile disponibile pe web.
Deocamdată, funcția nu poate identifica sunetele dintr-un videoclip, cum ar fi în cazul în care încerci să identifici o pasăre pe baza cântecului ei, dar Patel spune că Google experimentează deja cu această capacitate.
Google Lens își actualizează și funcția de căutare foto cu opțiunea de a adresa întrebări folosind vocea. Pentru a încerca această funcție, trebuie să îndrepți camera către subiect, să ții apăsat butonul de declanșare și să adresezi întrebarea. Anterior, întrebările puteau fi introduse doar prin tastare, după capturarea unei imagini. Funcția de căutare vocală este disponibilă la nivel global pe Android și iOS, dar momentan doar în limba engleză.
