HandFreeDroid

[MagisterCilindrus]

Ciao, da motociclista ho avuto questa idea... e vorrei proporvela perche' parlandone con amici (anche non motociclisti) mi hanno confermato che sarebbe utile.

Partiamo dal presupposto che non si tratta di nulla di innovativo ma della fusione di alcune features gia' esistenti integrate alle molteplici possibilita' che il droide offre:

Il sistema, analogamente ad alcuni computers da film di fantascienza risponde alle nostre domande con altre domande ed effettua operazioni come:

• chiamate (in e out)
• impostazione percorso navigatore
• riproduzione musicale
• registrazione note vocali
• registrazione filmati
• composizione ed invio messaggi

COME?
L'applicazione in se e' un semplice workflow (o diagramma di flusso) al quale l'utente associa messaggi vocali propri e del sistema. Una volta completato l'apprendimento non dovra' far altro che confrontare l'input vocale con il database dei termini e comportarsi di conseguenza.

ESEMPI DI OPERATIVITA'
la keyword "droid" precede ogni comando fondamentale:
us = userSay, ds = droidSay

TELEFONATA OUT

us DROID CHIAMA
ds NUMERO O RUBRICA?
us RUBRICA
ds DIMMI IL NOME
us MARIO ROSSI
ds HAI DETTO MARIO ROSSI?
us POSITIVO
ds CHIAMO MARIO ROSSI
..............telefonata...............
us DROID CHIUDI
ds CHIUSO


TELEFONATA IN

.............squilla.........
us DROID RISPONDI
..............telefonata...............
us DROID CHIUDI
ds CHIUSO




Che ne pensate?
Una cosa del genere ha un numero importante di applicazioni la dove non si hanno le mani libere: sport, guida, invalidita`, lavoro ecc.

Io faccio il programmatore ma ancora non ho iniziato a sviluppare con l'androidSDK perche' aspetto il mio N1.

[frusso]

Mi ricorda tanto superCar (KITT, vieni a prendermi ...) :-)

Per fare quello che dici, il "droide" dovrebbe stare SEMPRE in ascolto con il microfono e distingure i rumori di fondo dal parlato, e per ogni parlato fare parsing delle parole per riconoscere dei pattern

Tutto questo, oltre allo sforzo implementativo mi domando quale siano gli effetti sulla batteria e sui tempi di risposta.

[MagisterCilindrus]

Sicuramente si tratterebbe di un processo che in background "ascolta".
Ora il dubbio che mi sorgeva era se appoggiarsi alle librerie per lo SpeakToText (probabilmente piu' semplice) o scrivere un motore che preleva le info delle forma d'onda presa in esame e ne serializza informazioni caratterizzanti come ampiezza e numero dei picchi, la distanza tra essi, la frequenza media ecc. per ottenere un' "accuracy".

Per il discorso di batteria ecc. pensavo:
Qualsiasi comando ha una sua durata (in mS).
Una volta istruita l'applicazione dovra' curarsi solamente degli input sonori di una lunghezza <= al comando + lungo.
In una conversazione quindi, appena superato il limite, smette di parsare e si cura solamente dell'ampiezza.
Appena essa (l'ampiezza) scende sotto una soglia (silenzio) il contatore si resetta.
Appena tale ampiezza risale il contatore riparte e cosi' via.
Questo permette di minimizzare l'utilizzo della cpu.
Per quanto riguarda la ram, l'utilizzo e' minimo perche' non vengono storate le voci dell'autoapprendimento, ma ne viene storata l'analisi risultante (pochi byte).
La ram quindi viene usata solo come buffer per l'input microfonico.

P.s. Ieri sera mi e' venuto in mente che il nome e' sbagliato... (ecco la genialata)

non + quindi handfreedroid
ma
FreeHANDroid

[frusso]

Mi devo documentare su una API e ti faccio sapere

[Ale]

Ciao!
Interessante la tua idea! Stavo pensando a come si possa risolvere il problema (giustamente) sollevato da frusso...
stavo pensando che potrebbe essere possibile selezionare da menu la durata di un timer, che viene attivato ciclicamente. Allo scadere del timer (quindi ogni x minuti) il N1 emette un beep e resta in ascolto di eventuali comandi.
Oppure, per essere meno intrusivo, si potrebbe attivare il riconoscimento dei comandi solo fra una canzone e l'altra (questo però si applica solo nel caso in cui l'utente voglia ascoltare musica).

[frusso]

Sto guardando la speakToText e credo sia la strada giusta da seguire, così in questo modo invece di fare parsing di forme d'onda si fa parsing di stringhe però c'è una cosa da tenere a mente, e cioè che il servizio di traduzione da "onda" a testo lo fa google (con un ble cluster di server) e quindi bisogna essere connessi.

Evidentemente è troppo oneroso anche per uno snapdragon :-)

Per la questinone del sempre attivo, (e viste la considerazione fatta prima) credo che la cosa migliore sia (come ha fatto google - e se lo ha fatto google è così) associarla ad un tasto. Cioè premi un tasto sullo schermo (magari widget) e lui riconsoce le stringhe, altrimenti è improponibile, si starebbe sempre a stressare il server di google per la traduzione STT.

UN po' come avviene per glie SMS dettati.

[disgra]

e riuscire a catturare la scrollball??

se è motociclista sicuramente avrà su i guanti...questo sicuramente non gli farà avere la "capacità" per interagire con lo schermo.
esempio: premo n volte la pallina e si mette in ascolto recuperando un processo dormiente.

o ppure...premo tre volte e vado direttamente alle chiamate (quindi pronuncio direttamente il nome della persona da chiamare) premo quattro volte e mi si apre google maps ( e pronuncio la destinazione).

ma è solo un'idea.....anche perchè non so se sia possibile risvegliare un processo a telefono in standby attraverso la pallina......magari qualcuno che ha una rom moddata riesce a dirmi a che livello di affinatezza sono arrivati



my two cents

[MagisterCilindrus]

In effetti la pallina risolve il problema dei guanti... ma chi non ha le mani? Perche' invalido o perche' appeso ad una parete.
Scusate... ma in nexus one lo speakToText non era integrato?

[disgra]

In effetti la pallina risolve il problema dei guanti... ma chi non ha le mani? Perche' invalido o perche' appeso ad una parete.
Scusate... ma in nexus one lo speakToText non era integrato?

si ma se il telefono è bloccato non puoi entrare nel menu e cercare, dopo aver premoto l'apposito bottone col microfono, con l'ausilio del speaktotext.

o.t....per chi è invalido sarebbe più facile premere una pallina che un tasto sullo screen

[Beaz]

purtroppo l'attivazione iniziale tramite un comando meccanico (trackball o tochscreen)del proprio dito è indispensabile, non si può pretendere che il cell rimanga sempre in ascolto (a meno che non si trova un modo per tenerlo sempre attaccato alla corrente anche quando si è appesi ad una parete,e dove infilare il jack? )

la pressione della trackball o di qualsiasi tasto fisico è la soluzione non perfetta ma la migliore possibile al giorno d'oggi.
comunque questo programma esiste già,non mi ricordo il nome ma era in un articolo di qualche giorno fa, si attivava dicendo galaxy.