Jean-Christian Paul Denis - Mot-clé - mqtt

Ma domotique IV : MQTT

Jean-Christian Denis — Wed, 03 Apr 2024 21:24:00 +0200

Le protocole MQTT est un des piliers de ma domotique, toutes les informations relatives la gestion de ma maison passent par lui.

MQTT signifie Message Queuing Telemetry Transport, c'est un protocole de messagerie publish-subscribe basé sur le protocole TCP/IP. Ses avantages sont sa rapidité, sa légèreté, la possibilité de gérer de multiple sessions, ou encore de retenir ou non les messages. Bref il est parfait pour la domotique.
Chacun de mes protocoles domotique va publier ses messages vers un topic dédié du serveur MQTT central :

Zigbee avec zigbee2mqtt vers le topic /zigbee
Zwave avec zwave-js-ui vers le topic /zwave
RfxCOM avec rfxcom2mqtt vers le topic /rfxcom2mqtt
TiC avec teleinfo2mqtt vers le topic /telefinfo
Bluetooth avec theengsgateway vers le topic /ble
Monitoring avec des scripts perso vers le topic /monitoring
Noyau domotique Node-RED vers le topic /iotnode
Assistant vocal local avec Rhasspy vers les topic /hermes et /rhasspy

Et oui MQTT transporte même les échantillons audio !
Chacun de ces protocoles domotiques est géré par un conteneur docker sur un VM dédié, cela permet de bien cloisonner les choses et de mettre en place, sauvegarder ou modifier uniquement la partie souhaiter sans casser le reste. Avec le temps je me suis rendu compte que de multiplier les VM ne surchargeait pas plus que ça le serveur Proxmox, couplé à des templates de VM, la mise en œuvre est ultra rapide.
Un logiciel tel MQTT Explorer va permettre de facilement voir tout ce qu'il s'y passe.

Exemple de topic dans le logiciel MQTT Explorer, mars 2024

Le noyau domotique (que j'ai nommé iotnode) va écouter tous ces topics et en récupérer les informations utiles, les traiter et les republier en version propre sur le topic MQTT /ionode, j'ai ainsi une vue simple de l'état de ma domotique. Le noyau va également se charger de publier les ordres vers chacun de ces protocoles.
Par exemple, le noyau va publier la valeur true vers le topic /zwave/10/37/0/targetValue/set pour allumer une lampe. Et il va écouter le topic /zwave/10/37/0/currentValue pour savoir si la lampe est allumée. Il va également reporter cette information dans le topic /iotnode/douche/lumiere/plafonnier ce qui est plus lisible pour le commun des mortels :)

Exemple de valeur dans le logiciel MQTT Explorer, mars 2024

Installation du serveur MQTT

Dans le précédent billet sur la virtualisation, on a vu comment j'utilise mes machines virtuelles ainsi que l'installation du gestionnaire de Docker nommé Portainer. On va ici cloner un template de VM et utiliser Portainer pour installer notre Docker contenant le serveur MQTT.

On se rend dans le shell de notre serveur Proxmox et on créer notre machine virtuelle à partir du template docker et on lui adresse une IP fixe :

qm clone 910 121 --name mqtt
qm set 121 --ipconfig0 ip=10.1.4.121/23,gw=10.1.4.1

On peut démarrer notre VM.
Maintenant on se rend dans l'interface web de Portainer (cf billet précédent). Dans le menu de gauche Environements ou clique en haut à droite sur Add environement,.

Portainer, menu ajout d'environnement, avr. 2024

On choisie le type Docker Standalone puis Start wizard.

Portainer, sélection nouvel environnement, avr. 2024

Et on indique un nom et l'adresse de liaison qui sera l'IP de la VM sur le port 9001 et on clique sur Connect. Rien besoin de faire sur la VM puisque notre template est déjà prêt.

Portainer, configuration agent, avr. 2024

Notre VM Docker est désormais liée à Portainer d'où on gèrera le conteneur.
Maintenant on va créer notre conteneur MQTT toujours depuis Portainer. Pour cela on se rend dans le menu Stacks de notre environnement fraichement créé, et on clique sur Add stack, on lui donne un nom et on va remplir la fenêtre d'édition avec la configuration nécessaire à notre Docker MQTT :

Portainer, ajout de stack, avr. 2024

Le configuration sera celle ci-dessous. Puis on clique sur Update the stack. Notre serveur est en fonction.

version: "3.8"
services:
  mosquitto:
    image: eclipse-mosquitto:latest
    container_name: mqtt
    restart: always
    volumes:
      - config:/mosquitto/config
      - data:/mosquitto/data
      - log:/mosquitto/log
    ports:
      - 1883:1883
      - 8883:9001
volumes:
  config:
  data:
  log:

Quelques explications, on lui donne l'image docker du serveur mqtt qu'on désire eclipse-mosquitto:latest, le conteneur se nommera mqtt, il redémarrera dans tous les cas, et il écoutera sur les ports 1883 et 8883 (le port 9001 étant déjà utilisé par l'agent Portainer), ensuite on lui indique les différents volumes à utiliser, ici config, data et log. Ces volumes seront accessible dans la VM dans /var/lib/docker/volumes/mqtt_config/_data/xxx. A noter qu'on va faire en sorte à chaque création de configuration que ce chemin d'accès soit identique pour toutes les VMs cela évite de chercher on se trouve les fichiers de config d'une installation à une autre. ET cela peut-être utile pour des sauvegardes, mais personnellement je sauvegarde la VM entière.
On va aller modifier le fichier de configuration du serveur MQTT pour coller au besoin de notre domotique. Pour cela on se rend dans la console Proxmox de notre VM (ou par ssh) et on édite le fichier de configuration :

sudo nano /var/lib/docker/volumes/mqtt_config/_data/mosquitto.conf

Il doit contenir cela :

listener 1883
listener 9001
protocol websockets
persistence true
persistence_location /mosquitto/data
allow_anonymous false
password_file mosquitto/config/mqtt_passwd

Pour faire simple, on écoute sur les port 1883 et 9001, ici on est dans le conteneur donc le port d'écoute est bien le 9001 à l'intèrieur de conteneur alors qu'à l'extèrieur on écoute le port 8883. On autorise les websockets. on interdit les connexions anonymes et on utilise un fichier pour les mots de passe de connexions. Ce fichier de mot de passe est encrypté par le serveur MQTT il faut donc passer par lui pour le créer, pour cela toujours depuis notre console VM, on lance une session docker :

docker exec -it mqtt sh

Pour ajouter un login/mot de passe, on exécute la commande :

mosquitto_passwd mosquitto/config/mqtt_passwd un_login

Il va nous demander un mot de passe pour ce login. Ensuite on sort de la session en tapant exit.
Pour prendre en compte ces changement on relance le conteneur MQTT depuis Portainer depuis le menu de notre environement Containers -> mqtt -> Restart.
Voila notre serveur MQTT domotique prêt. Et vous incollable sur Portainer.
Ne pas hésiter à se promener dans les menus de Portainer et voir tout ce qu'il est possible de faire comme mettre à jour le stack, une image ou modifier un conteneur.

Dans le prochaine billet on va voir l'installation et le début de programmation du cœur de ma domotique sous Node-RED.

Ma domotique I : Historique

Jean-Christian Denis — Sat, 10 Feb 2024 09:02:00 +0100

Voilà plusieurs années que je m'amuse à concevoir ma propre domotique. Il serait tant que je vous conte mes aventures.

Je ne sais même plus quand et comment tout ça a commencé, tout ce dont je me rappelle est que j'ai débuté tout petit et sans rien connaitre du monde de la domotique. Des heures de lecture à enchainer des termes dont j'avais du mal à appréhender la signification et à ne pas savoir par quel bout y prendre…

Comme beaucoup, au début je ne souhaitais pas investir gros, ne sachant pas si ça allait le faire, et donc coté matériel, comme beaucoup je me suis rabattu sur l'excellent Raspberry Pi. Si je ne me trompe, à l'époque on en était au Raspberry Pi 2 voir début du Pi 3. Pour ce qui est du logiciel qui gérerait tout ça, il fallait commencer par quelque chose de simple ou il n'y aurait pas de code à écrire, je me suis donc rabattu sur Jeedom, qui avait l'avantage de tout intégrer, gestion de protocole, interface, etc. Le décor était planté, le cœur de ma domotique était là.
Pour les périphériques, c'était assez compliqué à l'époque pour les particuliers, beaucoup de bidouilles pour interagir avec des protocoles peu respectés, des programmes bogués, du matériel peu disponible. Bref cela ma couté de nombreuses heures de recherches, de bricolages et de prises de tête, mais ça a également eu l'avantage de me faire connaitre plus en profondeur ce que j'allais utiliser.
Les premiers protocoles à être intégré chez moi ont été le Zwave et le RFXCom. Le Zwave était plus aboutie (mais plus cher), et rfxcom était simple, le choix parfait pour des capteurs de sonde de température par exemple. C'est également à ce moment que j'ai commencé à intégrer du multimédia dans ma domotique avec des serveurs media comme LMS (Logitech Media Serveur) et de la reconnaissance vocale avec Rhasspy. Alexa, Siri et compagnie n'étaient pas encore sur le devant de la scène et je voulais que ma domotique soit opérationnel même sans internet. Ce dernier choix étant un des plus important à mes yeux. Cela a éliminé pas mal de matériels qui avaient "besoin" de serveurs sur le net pour fonctionner (ou pour pomper vos données).

Puis les limites du Raspberry se sont vite fait sentir, pas assez de puissance, pas assez de ports, pas assez de possibilités d'évolution. J'ai donc fait un gros saut coté matériel en construisant mon premier rack domotique. Le réseau informatique de la maison évoluant également, le passage à un rack n'était pas un choix mais une obligation. J'ai écoulé pas mal de matériels assez vite car à chaque fois, en voulant faire des économies je me retrouvais coincé par certaines limites. J'ai fini par baser mon réseau informatique sur la marque Ubiquiti, console, switch, wifi. Ensuite j'avais un Nas Synology en version desktop un peu vieillissant, j'en ai profité pour passer à une version d'entrée de gamme en rack. Enfin j'ai construit un serveur sous Proxmox avec une carte mère mini-ITX, un processeur avec pleins de cœurs et une carte réseau 2x10G, le tout dans une baie 1U seulement. J'en reparlerais plus en détail dans un futur billet. L'important ici est que le cœur de ma domotique est un serveur sous Proxmox hébergeant une multitude de machines virtuelles dédiées à chaque sous partie de ma domotique. J'ai également abandonné des programmes comme Jeedom ou Home Assistant pour faire moi même le cerveau de ma domotique en utilisant Node-red. Quand aux protocoles, aujourd'hui je peux utiliser MQTT, Zwave, Bluetooth, Wifi, Zigbee, RfxCom, TIC,.. A l'heure actuelle, ma domotique gère entièrement le chauffage, le cumulus, les volets, les lumières, la consommation jour/nuit (HP/HC), certains agenda et rappels, le tout pilotable en automatique, à la voix ou depuis une interface web. Telle est la situation actuelle.
Chacun fait comme il veut mais un serveur avec des machines virtuelles, c'est le pied ! Hormis le fait d'apprendre à bricoler, un Raspberry ou tout autre mini machine dans ce style n'est que perte d'argent car très vite limité. Et un serveur de VM ne servira pas qu'à la domotique, personnellement il fait tournée pleins d'autres choses comme un proxy, des serveurs web, un windows, etc...

L'avenir risque de bien changer avec la démocratisation de la domotique en générale et les avancés technologiques comme le protocole Matter et l'IA pour tous. Encore des heures de bricolages en perspective !

Dans l'optique de penses bêtes qui seront de toute façon obsolètes le jour ou j'en aurais de nouveau besoin, je vais quand même essayer d'exposer à travers quelques billets comment est conçu et comment fonctionne ma domotique.

Au prochain épisode, je présenterai le réseau tissé ma maison.

Nothing else matter

Jean-Christian Denis — Sat, 05 Nov 2022 21:01:00 +0000

Je me tiens toujours au courant de ce qui se passe dans le monde de la domotique pour tous. Je zieute la sortie des nouveaux protocoles, des marques à la mode, de la naïveté des gens à payer un objet 10€ sans se soucier qu'il prendra feu dans le tableau électrique à la moindre occasion.

Et alors que je mettais à jour mes VM et que je faisais quelques ajustements à ma domotique avec quelques scenario sous node-red, j'ai évidemment vu la sortie de la version 1.0 du protocole Matter en cette fin 2022.

Votre serviteur - La panicière - 10/2022

Au premier abord je me suis dit Encore un protocole de plus, pourquoi révolutionnerait-il plus que les autres la domotique; Du coup j'ai lu un peu et.... je ne sais toujours pas. Aujourd'hui j'utilise divers protocoles dans ma maison et je m'amuse même à les multiplier et surtout les associer. Rfxcom, Zigbee, Zwave, Enocean, Wifi, Bluetooth, IP, etc ils finissent tous dans une mini machine virtuelle accueillant un serveur MQTT qui ne consomme rien, moins de 0,5% de CPU et 512Mo de Ram, même en distribuant ma reconnaissance vocale home made à travers la maison H24. Le tout passé dans une moulinette Node-Red qui joue mes scenarios et relie tous ces appareils. Donc à ce stade je vois ça comme Encore un truc pour réinventer la roue.
Et je vous avoue que j'ai du mal à voir comment des multinationales vont arriver à jouer le jeu pour fournir un service aussi simple et efficace (efficient) que celui que j'utilise, le tout gratuitement et open source ! J'attends avec impatience de voir les premiers ponts entre les protocoles dinosaures et Matter pour me faire une idée plus précise car pour l'instant tout le monde s'extasie devant Matter sans que personne ne fasse une démo pour monsieur tout le monde...

PS: Même sans accès aux internets, toute ma domotique est parfaitement fonctionnelle, allez-y vendez moi du rêve.

Du lourd

Jean-Christian Denis — Mon, 24 May 2021 20:44:00 +0100

Je passe en coup de vent (et quand je dis je passe, je ne bouge pas de ma chaise, on est d'accord) pour vous donner quelques nouvelles du coin.

Alors je suis bien bien occuper et ce n'est rien de le dire ! D'abord mon taf, qui, avec de nouveaux horaires, se révèlent encore plus chronophage. Ensuite je tente entre deux averses de tenir propre le tour de la maison et pour la première année, pour l'instant je m'en sors. Pour continuer, les aléas de la vie et une famille bien présente, mais ça c'est bon ! Enfin j'en reparlerais et ferais même quelques articles dessus, je me suis décidé à me passer d'un logiciel de domotique pour le faire par moi-même, l'évolution des choses m'aillant conduite au couple MQTT-NodeRed, que je détestais il y à quelques années et que je trouve très pratique aujourd'hui... bref, je m'écarte de sujet résumé là...
Dans tout ça, les 3 frères (de la génération précédente) m'ont désigné (enfin ma petite famille) pour être l'héritier d'un petit jouet. Un piano !

Les mioches sont ravis et je suis honoré.

PS: Je viens de perdre une heure à renouveler le certificat SSL de ce blog, alors que je m'étais laissé une note... au fin fond d'un fichier que je n'ai pas vue tout de suite. la prochaine fois, je ferais mon pense bête publiquement ici !