Un bon ajustement in-sample ne garantit pas une couverture honnête des réalisations futures hors-échantillon.

Un modèle peut s'ajuster parfaitement aux données d'estimation — reproduire leur moyenne, leur volatilité, leur autocorrélation — tout en produisant des distributions prédictives systématiquement trop étroites sur des données nouvelles. Cette situation n'est pas rare : elle est presque inévitable lorsque le modèle est suffisamment flexible pour absorber les particularités de l'échantillon d'estimation sans pour autant avoir identifié les structures qui persistent dans le temps. La calibration mesure quelque chose de différent de l'ajustement : elle demande si les intervalles de crédibilité à 80 % couvrent effectivement 80 % des réalisations futures, si les intervalles à 95 % couvrent 95 %, et ainsi de suite sur l'ensemble de la distribution. Un modèle bien calibré est un modèle dont les probabilités annoncées correspondent aux fréquences observées — une propriété que l'ajustement in-sample ne peut pas évaluer par définition. Sur un horizon de trois à cinq ans, la distinction entre ajustement et calibration n'est pas un point technique secondaire : c'est la différence entre une distribution prédictive qui informe et une distribution prédictive qui rassure sans fondement.

Si le modèle est bien calibré, les PIT doivent suivre une distribution uniforme sur des données hors-échantillon.

Le probability integral transform — PIT — est l'outil diagnostique de référence pour évaluer la calibration d'une distribution prédictive univariée. Pour chaque observation hors-échantillon, on calcule la probabilité cumulée que la distribution prédictive attribue à une valeur inférieure ou égale à la réalisation observée. Si le modèle est parfaitement calibré, ces valeurs suivent une distribution uniforme sur l'intervalle entre zéro et un. En pratique, on trace l'histogramme des PIT et on examine sa forme. Un histogramme en U — avec trop de masse aux extrêmes — signale que la distribution prédictive est trop étroite : les réalisations tombent trop souvent dans les queues annoncées. Un histogramme en cloche inversée — avec trop de masse au centre — signale que la distribution est trop large. Un histogramme avec une asymétrie marquée signale un biais systématique dans la localisation de la distribution prédictive. Chacun de ces patterns diagnostique un problème différent, qui appelle une correction différente : reparamétrisation, modification des priors, ou révision de la structure du modèle. Le PIT transforme une question abstraite — mon modèle est-il honnête ? — en un diagnostic visuel direct et interprétable.

Compter combien de réalisations tombent dans chaque intervalle de crédibilité annoncé révèle les biais structurels du modèle.

La méthode de couverture empirique est la plus directe pour évaluer la calibration : on construit les intervalles de crédibilité à plusieurs niveaux — 50 %, 80 %, 90 %, 95 % — et on compte la proportion de réalisations hors-échantillon qui tombent effectivement à l'intérieur de chaque intervalle. Si la couverture empirique est systématiquement inférieure aux niveaux annoncés, le modèle sous-estime l'incertitude — ses distributions prédictives sont trop étroites. Si elle est systématiquement supérieure, le modèle surestime l'incertitude — ses distributions sont trop larges et peu informatives. En pratique, les modèles à volatilité stochastique estimés par inférence bayésienne complète tendent à être mieux calibrés que leurs équivalents classiques sur les niveaux élevés de crédibilité — les intervalles à 90 % et 95 % — précisément parce que la propagation de l'incertitude paramétrique élargit les queues de façon réaliste. Mais cette tendance n'est pas garantie : elle dépend du choix des priors, de la qualité de l'estimation MCMC et de la stabilité structurelle du modèle sur la période hors-échantillon. La couverture empirique doit être calculée sur une fenêtre suffisamment longue pour être statistiquement informative — une poignée d'observations ne suffit pas à distinguer la bonne calibration de la chance.

Les règles de score propres mesurent simultanément la précision et la calibration de la distribution prédictive entière.

Les diagnostics de couverture évaluent si les intervalles de crédibilité annoncés sont respectés, mais ils ne mesurent pas la précision de la distribution prédictive dans son ensemble. Deux modèles peuvent avoir la même couverture empirique à 90 % tout en ayant des distributions prédictives de largeur très différente — l'un étant bien calibré et précis, l'autre étant bien calibré mais si large qu'il est peu informatif. Les règles de score propres — en particulier le log-score et l'énergie de score — résolvent ce problème en évaluant simultanément la calibration et la précision. Le log-score attribue à chaque prévision la log-densité prédictive évaluée à la réalisation observée : un modèle bien calibré et précis obtient un score élevé, un modèle large et vague obtient un score faible même s'il est bien calibré. L'énergie de score est une alternative robuste aux valeurs aberrantes qui présente des propriétés de comparaison entre modèles particulièrement utiles. En pratique, comparer les scores de plusieurs modèles sur des données hors-échantillon communes est l'un des tests les plus informatifs pour choisir entre structures concurrentes — bien plus discriminant que la comparaison des critères d'information in-sample, qui ne voient pas les données futures.

Un échec de calibration pointe vers une cause spécifique — prior mal choisi, structure inadaptée ou rupture structurelle dans les données.

Lorsque les diagnostics de calibration révèlent un problème, la question immédiate est d'en identifier la source. Les causes les plus fréquentes se répartissent en trois catégories distinctes. La première est un prior inadapté : un prior trop concentré sur des valeurs de paramètres incompatibles avec les données hors-échantillon produit une distribution prédictive biaisée, dont la couverture empirique est insuffisante dans certaines régions de la distribution. La correction passe par une révision du prior et une analyse de sensibilité explicite. La deuxième cause est une structure de modèle inadaptée à la période hors-échantillon : si le régime de volatilité change substantiellement entre la période d'estimation et la période de validation, un modèle stationnaire sera mécaniquement mal calibré. Ce n'est pas un défaut du modèle au sens strict — c'est une limite de sa portée temporelle, que l'analyse doit documenter clairement. La troisième cause est une défaillance de l'estimation MCMC : une convergence insuffisante produit une distribution postérieure approximative qui propage ses biais dans la distribution prédictive. Dans ce cas, la recalibration du modèle sans corriger l'estimation ne résoudra rien. Distinguer ces trois sources d'échec est essentiel pour choisir la correction appropriée plutôt que d'ajuster le modèle au hasard jusqu'à ce que les diagnostics s'améliorent superficiellement.

Évaluer la calibration sur des horizons de trois à cinq ans exige des données longues et une lecture statistiquement modeste des résultats.

La calibration sur un horizon d'un jour ou d'une semaine est évaluable sur des centaines, voire des milliers d'observations hors-échantillon. La calibration sur un horizon de trois à cinq ans ne peut être évaluée que sur un nombre très limité de périodes non chevauchantes — une poignée au mieux sur des données historiques raisonnables. Cette contrainte statistique fondamentale signifie que les diagnostics de calibration à long terme sont intrinsèquement moins précis et moins discriminants que leurs équivalents à court terme. Un modèle peut sembler bien calibré sur cinq périodes pluriannuelles par chance, ou mal calibré pour la même raison. Cette incertitude sur la calibration elle-même doit être reconnue explicitement dans toute analyse honnête. En pratique, on complète les diagnostics directs par des évaluations indirectes : la calibration à court terme est-elle bonne ? Les distributions prédictives à long terme sont-elles obtenues par composition rigoureuse des distributions à court terme ? Les structures identifiées sur l'échantillon d'estimation sont-elles stables dans le temps selon des tests de stabilité paramétrique ? Ces vérifications indirectes ne remplacent pas la calibration directe sur horizon pluriannuel, mais elles fournissent des signaux complémentaires utiles lorsque les données ne permettent pas un test direct statistiquement puissant. Les performances passées ne constituent pas un indicateur fiable des résultats futurs.

Un modèle mal calibré ne disqualifie pas toute analyse, mais il impose une lecture plus prudente des queues de distribution.

Un diagnostic de calibration imparfait n'est pas nécessairement une raison d'abandonner le modèle. C'est une information sur les régions de la distribution prédictive que l'on peut lire avec confiance et celles que l'on doit lire avec davantage de prudence. Si la couverture empirique est bonne aux niveaux centraux — 50 % et 80 % — mais insuffisante aux niveaux extrêmes — 95 % et 99 % — cela signifie que les queues de la distribution sont sous-estimées. Pour une décision à horizon pluriannuel qui dépend précisément de l'évaluation des scénarios extrêmes, cette lacune est critique. Pour une décision qui porte sur des scénarios centraux, elle est moins déterminante. Utiliser les diagnostics de calibration pour cartographier les zones de fiabilité de la distribution prédictive — plutôt que pour accepter ou rejeter le modèle en bloc — est une façon analytiquement mature de travailler avec des outils imparfaits. Aucun modèle n'est parfaitement calibré sur toutes les régions de la distribution et tous les horizons de prévision simultanément. La question n'est pas de trouver le modèle parfait, mais de comprendre précisément où chaque modèle est fiable et où il mérite d'être challengé par une alternative structurelle ou une analyse de sensibilité complémentaire.