Friday, 26 March 2010

Speech Recognition Technology in Emergency Situations: does it work?

I was recently asked if speech recognition is a suitable technology to be integrated in emergency notification procedures. In extreme situations, control of devices by speech can be faster.

The definition of speech recognition, or automatic speech recognition (ASR), is very simple. It is the technology that allows to convert voice to text. Today it is used mainly in the healthcare sector, more precisely in the document creation area. It is of course used in the telecom world in environments, where only hands free operations are possible (cars), or in IVR (interactive voice response) environments, when you call a company and want to access a particular information by your voice (voice banking, bus schedule information request, etc)

Now , can speech recognition be a useful tool in the emergency communication world? Answer is clearly “yes”. Is it today a reliable technology for the high requirements of first response teams? Answer is “not sure”. Let’s analyse:

In my business, I have detected 4 application cases:
1) Emergency manager wants to trigger an alert procedure via voice
2) Emergency manager records a message. Message will be converted to text and dispatched to contacts/population either by sms, email, RSS, IM, other...
3) Contact/destination group receives a voice alert (text-to-speech f.ex.), and answers straight by voice. Answer will be translated centrally to text, and visualised by emergency manager
4) emergency manager wants to manage whole notification tool by voice, with simple phone call.

Today our alert management solution AlarmTILT can manage points 1) and 3). Points 3) and 4) were tested, but we did not find any customer interested in implementing it. It also can have dangerous side effects in today's alert procedure methods.

For point 1), our customer (emergency manager) calls a dedicated phone number. He can then "talk" and trigger an alert procedure, that has been pre defined in the system. He can confirm by entering a security code t5hrough the voice, and get a confirmation that his order is running.
For the media voice, AlarmTILT sends by default two-way voice text-to-speech notifications to mobile phones and landlines. The acknowledge method by recipient is given via DTMF ("press "1" to confirm, press "2", press "3" for any answer you pre-defined your procedure for), but also by speech recognition (say "yes" to confirm, etc).

Voice recognition has a disadvantage, if performance and rapid mass communication is an issue, as it demands more "bandwidth", when sending mass alerts. This means, that if used, it will slow down the process of sending notifications to thousands.

Other problem arises, when speech recognition is used in noisy environments. We had weird situations, where the voice of a person standing next to the recipient of an alert would trigger something "unexpected" during callouts. It also happened once, that someone sneezing provoked a "you just confirmed with yes" in an emergency test situation. Funny during a drill, what if in a real emergency situation? Confirmation messages like "you just said "yes", is that correct?" are useful when you are trying to book a hotel room over the phone, but totally inefficient and even dangerous when you need the info from a person on the field during an emergency.

6 months ago we actually dropped speech recognition as a default answering method from our solution (by default "press 1 for yes, press 2 for no, press 9 to repeat). Of course it can be implemented and customised to exact need.

AlarmTILT works as Software and Connectivity as a Service with Service Level Agreement conditions adapted to crisis situation needs, hence administration of procedures, phonebooks etc happens online.

For point 4) in 2007 we considered including voice control into AlarmTILT management, thus giving the opportunity to an emergency manager to manage the whole system with the voice via a phone call. Again this has its "tricky" side effects in noisy environments. And after asking our customer base if they would be keen on using this technique, none showed real interest. Most of them often use Excel import to update their contact lists in AlarmTILT, for them voice recognition is probably too modern and unknown.

Conclusion: speech recognition is a very useful feature for punctual situations and cautious use. Our experience shows, that today turning text into voice is still more universal than error prone voice to text. In emergency situations, voice recognition makes sense for any message/alert/notification involving a minimum of words.

Tuesday, 2 March 2010

Alerter ou pas la population en cas d'intempérie

Suite aux intempéries du weekend passé en France, j'aimerais réagir aux commentaires que j'ai entendu ces derniers jours: les populations affectées par un danger ou une catastrophe doivent-elles, ou plutôt peuvent-elles être alertés ou pas?
La tempête Xynthia qui a traversé la France dans la nuit du 27 au 28 février 2010, a fait 51 morts et 8 disparus (jusqu’à aujourd’hui). Des polémiques ont rapidement émergé après le drame, dont celle si les populations avaient été suffisamment informées/prévenues avant l’événement.
Premier point, la tempête avait été largement annoncée par Météo France via les médias depuis jeudi. Les pointes de vent attendues n’étaient pas des plus impressionnantes. Néanmoins au plus tard le samedi soir, surtout en Vendée, les équipes de secours du littoral ont dû remarqué que la situation devenaient critique à certains endroits de la côte. A ce moment-là, une information plus appuyée envers les populations directement menacées aurait dû être entreprise. Ces gens ne s’attendaient sûrement pas au pire. Au 21ème siècle, à l’époque de l’information 24 heures sur 24, des téléphones portables, d’internet, il serait peut-être temps de moderniser les méthodes de communication et d’information des citoyens. Mais attention, pas n’importe comment:
Constat 1
Des capteurs divers et variés savent détecter rapidement un problème ou une anomalie et le véhiculer en SECONDES sur des postes de premiers secours. Mais l’alerte ne s’arrête pas là.

Constat 2
Avant d'informer/alerter les populations, un déclenchement doit être validé par au moins un responsable de crise (préfet, maire, chef de corps de pompiers etc). Mais l’alerte ne s’arrête pas là.
Constat 3
La plupart des systèmes mis en place aujourd'hui en France, à part les sirènes, qui ne sont pas très explicites (est-ce que vous évacueriez votre maison si vous entendiez la sirène dans votre hameau ou village?), sont des "automates d'appel", des logiciels permettant uniquement de créer un texte, et de les diffuser massivement via des appels téléphoniques ou des SMS. Pas efficaces, car justement ils ne permettent pas la gestion de bout en bout (détection -> mise en alerte des élus ou préfets --> demande d'autorisation ---> alerte multi-canal des populations: sirènes, email, sms, appels vocaux, radios locales, télé, mises à jour de sites internet, avec envoi de SMS guidant sur ces sites, etc).
De nouveau, les technologies aujourd'hui existent, mais elles ne sont pas utilisées (commentaires de maires: "Trop cher..." "On n'utilisera jamais un tel truc, parce que ça créerait la panique parmi la population..." "On a tout ce qu'il nous faut. Les pompiers interviennent..." "...mais il n'arrive jamais rien ici..." "votre système est inutile, la population est en sécurité ici..." "...la population est assez bien informée, on a notre site web..." “…je ne veux pas d’un tel système, car sinon je serai obligé de l’utiliser (sic)…”. Malheureusement certains deviennent clients APRES une grosse panne ou une catastrophe. La plupart des acteurs sur le terrain oublient souvent qu'en situation de crise, une communication efficace ne se cantonne pas à une sirène ou à l'envoi d'un sms.
On ne peut pas tout sécuriser, par contre on peut mettre en place à coûts raisonnables des systèmes de détection, les lier à des centres d'évaluation qui eux relaieront l'information via tous les médias disponibles.
Au Luxembourg la tempête nous a atteint vers 9 heures du matin: la radio et la télé luxembourgeoise a intimé les habitants à rester chez eux, mais beaucoup n'ont pas eu le réflexe d'allumer la télé ou la radio, et sont partis pour leur jogging matinal ou autre occupation dominicale. Résultat: arbres arrachés, voitures endommagées, personnes blessées. Heureusement il n'y a pas eu de victimes graves cette fois-ci. Au 21ème siècle la communication, surtout en situations de crise, passe par une communication multi-canal, afin d'atteindre un maximum de personnes rapidement si nécessaire, mais en plus il est judicieux de mélanger les médias, afin de les rendre plus efficaces.
Exemple: Envoyer un sms à individu X, en l'invitant à écouter la radio ou consulter un site web pour plus d'infos. Activer les sirènes, et simultanément déclencher un appel vocal sur le téléphone fixe pour intimer les habitants à allumer leur télé, ou évacuer rapidement la maison.
Ces messages sont efficaces, si utilisés de façon rapide et surtout de façon ciblée (pas la peine d’alerter les populations des collines, en cas d’inondation dans la vallée). De plus l'utilisation d'une multitude de médias différents permet d'éviter les pannes de communication lors de coupures de courant ou autre (les radios et téléphones portables peuvent encore fonctionner un certain temps pendant un black-out).