Bonjour a tous !

Et non il n’est pas mort ! (comment ça dommage ??!). Depuis que je suis locataire, ne pouvant pas démonter toute la maison, la domotique est passée un peu au second plan :/ J’ai également quitté mon emploi douillet de salarié pour devenir freelance et créé une entreprise mi 2013 ce qui occupe une bonne partie de mon temps. Voila pour l’histoire.

Après cette période d’hibernation, nous (The Royal « we »! You know) allons racheter une maison cette année. Du coup fin de l’hibernation, vive la domotique ! 🙂

[adsGrandRectangleTexte] Ça fait un moment que j’entends parler de SARAH, un logiciel de reconnaissance vocale pour la domotique développé par Jean-Philippe Encausse et autour duquel gravitent tous pleins de plugins. Un article expliquant tout ça mieux que moi : sarah-installation-premiers-pas. J’avoue ne pas y avoir prêté attention plus que cela puisqu’il utilise le système de reconnaissance vocale de Microsoft et ne tourne donc que sur Windows :/ et si je peux me passer d’une machine Windows dans mon salon (coût, énergie, bruit?, Windows…) tant mieux 🙂

Mais, je suis récemment tombé sur une vidéo du plugin XBMC et ça semble vraiment fiable et rapide, la synthèse vocale est assez agréable et du coup ça m’a vraiment donné envie de tester SARAH (en tout bien tout honneur!).

Voila ce que j’ai entrepris: installer SARAH sur une machine virtuelle de mon serveur et utiliser un raspberry pour servir de « passerelle » entre SARAH et l’utilisateur (oui bonnn ok, le titre est un peut racoleur 🙂

Dans un article précédant j’expliquais comment installer nas4free sur le microserver HP N40L (On trouve maintenant son grand frère, le N52L autour des 200€) mais ayant besoin d’un serveur pour mon nouveau Job, je lui ai ajouté 8go de la ram et j’y ai installé vmware ESXi 5. J’ai réinstallé mon nas4free en virtuel, un serveur Linux et un Windows 7 à coté. Ayant maintenant cette machine Windows à disposition, j’ai installé SARAH dessus. Un article très complet la dessus :

Capturer le son sur le Raspberry et l’envoyer à SARAH

Jusque là, rien de magique. C’est ici que ça commence. Sur le Raspberry, j’ai installé un archlinux et je stream le son du micro en RTP vers SARAH via ffmpeg :

ffmpeg -f alsa -i hw:1 -ar 16000 -acodec pcm_s16le -f rtp rtp://ip_sarah:7887

hw:1  : ID de mon device de capture (faire un cat /proc/asound/card ou /proc/asound/device pour le trouver)

Note : SARAH est capable d’origine de prendre un flux RTP en entrée. Il faut pour cela lui indiquer un numéro de port dans le fichier config.ini (variable rtpport) puis relancer WSRMicro.cmd. Attention, il semble y avoir un bug dans la dernière version (315), j’utilise donc pour l’instant la version 2.95.
Coté Raspberry, il faut un ffmpeg récent (exit raspbian, à moins de le recompiler soit même).

Une fois ceci fait, on peut déjà tester et voir dans les logs de SARAH si les phrases dictées sont bien reconnues et traitées. Normalement tout est ok.

Renvoyer le son de SARAH vers le Raspberry

Il va falloir maintenant renvoyer le son produit par SARAH vers le Raspberry (ou une autre machine). Pour cela deux méthodes :

• Modifier SARAH pour que les phrases générées par le système soient à leur tour streamées en RTP vers le Raspberry.
• Capturer et streamer le son produit par la machine vers le Raspberry à l’aide d’un programme extérieur.

La première solution serait la mieux intégrée, j’ai commencé à travailler dessus mais je galère un peu. En attendant, j’ai trouvé un soft libre qui permet de créer un device audio virtuel qui restitue le son qui sort du PC (« Capture what you hear »). Il suffit ensuite, à l’aide toujours de ffmpeg, d’utiliser ce device et de streamer le son en RTP comme pour la première étape.

Le soft s’appelle « virtual-audio-capture-grabber-device » et la commande ffmpeg qui va bien :

ffmpeg -f dshow -i audio= »virtual-audio-capturer » -acodec libmp3lame -f rtp rtp://ip_rasp:7888

Réception du son sur le Raspberry

Maintenant que le son sorte de SARAH, il faut le réceptionner coté Raspberry. J’utilise ffplay pour le moment :

ffplay rtp://ip_rasp:7888

Et voila la boucle est boulée 🙂 le son part du Raspberry, est envoyé à SARAH qui le traite et produit ou pas une réponse qui elle même est retournée au Raspberry qui la joue, c’est magique 🙂 !

Démonstration

C’est plutôt réactif. Malgré le stream des flux, les temps de réponse sont corrects: < 2 secondes.

Je suis en déplacement, je vous ferai une petite vidéo ce Week End. Bon finalement pas de vidéo avec le micro casque mais une avec le Kinect -> ici

Et le Kinect dans tout ça ?

J’utilise pour l’instant un casque/micro Logitech USB mais l’utilisation du Kinect pour son micro array semble incontournable. D’après ce que j’ai lu, le micro array du Kinect est supporté sous Linux. J’ai également trouvé des sources indiquant la détection des devices audio et vidéo du Kinect sur Raspberry.

J’ai acheté un Kinect récemment mais j’attends encore l’adaptateur secteur/USB qui va bien et qui ne devrait pas tarder (d’ailleurs, je me suis fait enflé,11€ sur ebay alors qu’il est à 5€ sur amazon). Je vous ferai un retour de mes essais.

Vous aurez également compris que les fonctions de reconnaissance gestuelle et faciale ne sont pas disponibles.

[adsGrandRectangleHTexte]

Conclusion et améliorations

Même si un Windows est toujours nécessaire, cette solution permet d’éviter de déployer une machine dans son salon et pourrait être utilisée (?) pour déployer plusieurs micros assez facilement et à moindre coût. Deux inconnues :

• Je ne sais pas quelle serait la complexité pour que SARAH puisse traiter plusieurs flux RTP ?
• A défaut, est il possible de lancer plusieurs client SARAH sur la même machine ?

Autre question: La caméra de sony PS3 eye possède également un micro array. Je sais qu’il est utilisable sous Linux mais obtient on les mêmes résultats qu’avec un kinect ? si quelqu’un a déjà testé sous Windows quel est son verdict ? Vu le prix, il serait intéressant d’avoir un retour.

Suite au prochain épisode !