Fiabilité des prévisions WXSim

Depuis 2020, MÉTÉOrange fait ses prévisions grâce au logiciel WXSIM Weather Simulator. Il s'agit d'un logiciel de prévision qui prend en compte les données actuelles de la station, un modèle de prévision numérique du temps (GSF en l'occurrence), un modèle de prévision interne propre à WXSIM et configuré pour un lieu précis, au cas par cas, et une intervention humaine pour affiner les résultats.

Ce logiciel permet de prévoir :

Et c'est fiable ?

Sans rentrer dans les détails, oui, assez. En statistique, on se sert d'une valeur appelée MAE (mean absolute error, erreur absolue moyenne) pour déterminer la fiabilité d'un modèle prédictif par rapport aux valeurs réelles.

Le MAE sur l'ensemble actuel de prévisions (température) est de 1,72 (C) (janvier 2020). Cela signifie que n'importe quelle valeur sélectionnée dans l'échantillon de test (des températures) contient un biais (une marge d'erreur) de 1,72. Grossièrement dit, si la température enregistrée est de 10°C, la valeur prévue aura été entre 8,28 et 11,72. Comme il faut un échantillon d'apprentissage assez important (70 jours), on doit attendre mars 2020 pour obtenir une valeur de biais représentative.

Le logiciel est en outre doté de deux sous-programmes visant à corriger les erreurs systématiques : WXSIM-lite, qui calcule les biais entre les mesures réelles et les valeurs prévues par GFS à Orange.  Et auto-learn, qui calcule les biais entre les mesures réelles et les valeurs prévues par le modèle de prévision interne à Orange. Cette double correction permet de calculer un coefficient de correction qui vient pallier, dans une certaine mesure, ces biais.

Le calcul du MAE se fait quotidiennement. Je mets à disposition le rapport généré ; les curieux y trouveront des détails intéressants : tout d’abord, le MAE individuel des données « températures max » et « températures min », et l'évolution de ces MAE selon l'éloignement dans le temps de la prévision (J+2, +3, +4). Ensuite, des valeurs plus austères : le root-mean-square error, ou erreur quadratique moyenne, qui a l'avantage de donnée un « poids » plus important aux erreurs plus importantes (on considère qu'une erreur de +2 C est plus grave que +0,5 C, l'erreur sera ainsi plus pénalisée) ; ou le MAE de l'ensemble de valeurs prédit s'il n'avait pas été corrigé (utile pour constater l'effet réel de la correction).

Lien vers le rapport ici. (en anglais, avec le détail des valeurs réelles et prévues prises en compte)

Note : il faut également prendre en compte une contrainte de présentation : les valeurs prévues sont arrondies, afin que les dixièmes n'apparaissent pas. Il m'apparaît en effet un peu ridicule de prétendre prévoir quoi que ce soit au dixième près. Prévoir « 11 » au lieu de « 10,7 » semble pour moi plus humble et clair pour tout le monde. Or, en faisant cela, je m'écarte en réalité de plusieurs dixièmes de la valeur prévue initialement, celle dont le MAE est correct. Ainsi, afin de paraître plus crédible, j'introduis volontairement une erreur accidentelle qui nuit à la précision de mon ensemble.

Prenons un cas simple : avec un MAE de 1,7, une valeur réelle de 10 °C aura été prévue entre 8,3 et 11,7 en moyenne. Mais elle aura été affichée en moyenne entre 8 (8,3 lissé) et 12 (11,7 lissé). Il y a une marge potentielle de 4 entre ce qui est prévu et ce qui advient avec un MAE bon de 1,7...

Cela a beaucoup affaire à ce qu'on appelle dans l'enseignement des sciences physiques les chiffres significatifs.





Unités

Langue



Icônes


Température

Humidité

Pression

Vitesse du vent

Rafale de vent

Précipitations

Rayonnement solaire

Neige

Température ressentie

Point de rosée

INDICE UV

Visibilité

Base des nuages

Evapotraspiration

Température intérieure

Humidité intérieure


Lever du soleil

Coucher du soleil

Lever de lune

Coucher de lune

Time

Menu

De

à

Plein écran

Exporter comme image

Réglages

Page d'accueil

Caméra Web

Table

Graphique

Carte

Stable

En hausse

En baisse

Vigilance

Latitude

Longitude

Historique

éclipse solaire

éclipse de lune

GPS

Élévation

Jour

Mois

Année

Haut température

Basse température

Jour

Nuit

Printemps

Été

Automne

Hiver