Soutenance mémoire
Procédures de backtesting de la VaR
Correction du biais d’estimation
Les procédures de backtesting sont en aval de la procédure de gestion du risque. Elles succèdent à la modélisation et au choix de la mesure du risque. Il convient donc d’analyser ces étapesmodélisation et mesure de risque pour pouvoir identifer précisément l’influence du biais de paramètre.
Une première partie s’attache à étudier la modélisation des cours boursiers. Il s’agit de formaliser mathématiquement les données fnancières. L’objectif est de trouver une famille d’objets mathématiques, appelés processus 5, qui rendent compte correctement du réel.
On attend que ces processus vérifient deux propriétés. D’abord, ils doivent pourvoir être correctement calibrés sur des données financières réelles. Ensuite, ces processus doivent posséder des propriétés mathématiques établies et utiles au calcul de la VaR. Cette condition se traduit par le fait que l’on doit pouvoir connaître facilement la loi de probabilité conditionnelle des pertes.
Une seconde partie détaille plusieurs tests couramment utilisés dans le milieu financier dans les procédures de backtesting. Le but est de comprendre à la fois l’objectif de chaque test et les moyens mis en oeuvre. On montrera que les tests ne reposent pas directement sur des propriétés de la VaR mais se fondent sur des conséquences des propriétés de la VaR.
Modélisation
Ce chapitre se concentre sur la construction de modèle d’évolution des cours boursiers. Les cours boursiers évoluent en continu : pendant les heures d’ouverture des marchés financiers, la dynamique de l’offre et de la demande entraîne une évolution constante des cours.
Une modélisation naturelle est alors de chercher à rendre compte de cette continuité : mathématiquement, on parle de processus en temps continu. Cette approche, illustrée par le fameux modèle de Black-Scholes ([10]), n’est pas adaptée à notre étude car on cherche à modéliser un processus journalier : la VaR réglementaire se calcule jour par jour. Par conséquent, le but de la modélisation conduit à considérer une approche en temps discret.
La première section expose la manière dont on mène une modélisation à partir d’un exemple concret fondé sur un indice boursier. Ensuite, on présente la manière dont on passe de la modélisation de la dynamique financière à la mesure du risque.
Tests statistiques
Jorion donne du backtesting la définition suivante
Le backtesting est un ensemble de procedures statistiques dont le but est de vérier que les pertes réelles observées ex-post sont en adéquation avec pertes prévues. Cela implique de comparer systématiquement l’historique des prévisions de la Value-at-Risk aux rendements observés du portefeuille.
L’étude a posteriori de la qualité de la VaR n’est pas évidente dans la mesure où les propriétés de la VaR sont probabilistes. Les mathématiciens contournent cet obstacle en utilisant des tests statistiques.
Un test statistique est une procédure cohérente qui fournit une règle de décision : il répond à la question la prédiction de la VaR est-elle correcte ?
Les différents tests peuvent à première vue paraître complexes. En réalité, ils reposent sur des idées intuitives. La complexité vient de l’arsenal statistique qu’il est nécessaire d’utiliser pour atteindre les objectifs. Un test statistique n’est qu’un outil.
Une lecture à plusieurs niveaux est possible selon que l’on recherche plus ou moins de précisions sur la mise-en-oeuvre statistique. Le lecteur est donc invité à moduler son attention à ce chapitre selon ses goûts.
La première section présente les diérents principes communs aux tests utilisés pour le backtesting de la VaR. Ensuite, 5 sections s’attachent à détailler les idées et la mise-en-oeuvre pour 5 principaux tests.
Il s’en suit une section qui dresse un rapide tour d’horizon des autres tests proposés dans la littérature.
Principes des tests
Test statistique
Un test statistique correspond à une procédure de décision. Il est constitué d’une hypothèse , d’une
statistique et d’un seuil de conance (dit risque de première espèce).
L’hypothèse (dite hypothèse nulle) est la propriété que l’on s’attend à trouver. Une statistique est une formule qui à partir des observations fournit un nombre 1. Le seuil de confiance est un indicateur de la marge d’erreur que l’on peut commettre.
La clef de voûte est que la loi de probabilité de la statistique est connue 2 si l’hypothèse nulle est vraie.
Le seuil de conance est la probabilité de refuser à tort l’hypothèse nulle 3.
Backtesting de la VaR
Fonction indicatrice
Si l’on considère la dénition de la VaR, on se rend compte qu’elle se fonde sur un événement du type les pertes dépassent tel seuil . Les procédures de backtesting utilisent toutes cette idée en introduisant ce que l’on appelle la fonction indicatrice de dépassement de la VaR. Cette fonction vaut tout simplement 1 si les pertes dépassent la VaR et 0 sinon.
Hypothèses nulles
Malheureusement, cette propriété est très délicate à tester. En eet, la notion financière toute l’information disponible traduit le fait que la prévision doit prendre en compte les évolutions du marchés, les notes de conjonctures,… Mais ces éléments constitutifs de l’information disponible sont très difficilement démobilisables.
Par conséquent, les mathématiciens-financiers ont proposé des tests portants sur des conséquences de l’hypothèse nulle fondamentale. Les deux conséquences majeures testées sont d’une part, la moyenne de It( ) vaut et d’autre part, les violations sont indépendantes. La première conséquence constitue l’hypothèse de couverture conditionnelle tandis que la seconde l’hypothèse d’indépendance.
Certains auteurs introduisent d’autres hypothèses se fondant sur d’autres conséquences. Les démonstrations d’implications entre l’hypothèse nulle fondamentale et ces hypothèses sont présentes en annexes.
Remarques sur l’implémentation informatique
Les sections précédentes sont des présentations théoriques des outils utilisés. Les détails algorithmiques peuvent sembler superus dans la mesure où ils ne semblent traduire que les formules mathématiques présentées précédemment. Pourtant, ils traduisent une formulation qui est en pratique able.
Le problème est que si l’on considère des plages de données réalistes (une année de cotation correspond à environ 250 dates), le nombre de dépassement de la VaR est faible (le seuil de confiance est de 1% en général). Les observations sont donc très peu nombreuses. L’imprécision engendrée joue différemment selon les formulations utilisées.
Par exemple, pour calculer la vraisemblance par rapport à un processus de Markov d’ordre 1, les deux formules sont mathématiquement équivalentes :
Effet d’estimation
Correction du biais d’estimation
Une des étapes de la procédure de mesure du risque est l’estimation du modèle. Cette estimation introduit une marge d’erreur qui n’est jamais prise en compte dans les autres étapes. Le but de cette partie est d’étudier les eets de cette erreur : une faible erreur sur l’estimation a-t-elle un impact fort sur les conclusions de la procédure de contrôle ?
L’estimation du modèle joue principalement sur le calcul de la VaR et sur les tests. Au niveau de la VaR, il n’est pas évident que substituer la volatilité par la volatilité estimée est satisfaisant : c’est simple mais est-ce probant ? Au niveau des tests, le critère de décision se fonde sur la probabilité que la statistique considérée suive une loi de probabilité précise. Mais cette règle n’est vraie que lorsque la taille de l’échantillon tend vers l’inni : les tailles considérées en pratique sont-elles, au sens de ces tests, proches de l’infini ?
Un premier chapitre présente des résultats empiriques qui mettent en exergue le fait qu’en pratique l’effet d’estimation n’est pas sans conséquence. Les deux chapitres suivants traitent de l’effet de l’estimation au niveau de la VaR et au niveau des tests : la correction de la VaR est bien plus délicate que la correction d’un test.
L’objectif final est d’avoir un état des lieux de l’eet d’estimation, de différents méthodes de correction ainsi que des compromis que l’on doit mener en pratique.
Éléments empiriques
La notion de risque recouvre une grande variété de phénomènes si on songe aux sources de risque. La théorie financière a donc cherché à qualifier les risques en fonction de leurs sources. Le risque de modèle renvoie à la notion d’une trop grande distance entre le modèle choisi et la réalité. Ce risque est à compléter par l’eet d’estimation -que certains auteurs appellent risque de paramètres- : même si le modèle choisi est correct, l’eet d’estimation peut fausser les prévisions.
Une première section présente des résultats empiriques qui montrent que l’eet d’estimation joue de manière notable sur les résultats des procédures de backtesting. Les sections suivantes analysent ces résultats selon plusieurs axes an d’en déduire le maximum d’éléments.
Analyse générale des niveaux
Si on compare les lignes ^ et 0, on constate que l’eet de paramètre est en général sensible (rapport de l’ordre de l’unité) mais que sauf exception il joue toujours dans le sens de l’excès : l’eet de paramètre pousse à une prudence exagérée. Le test de Kupiec semble être le plus sensible à l’eet de paramètres.
La qualité des tests est très variable (comparaison de la ligne ^ et du nominal) : le test de Markov est proche du nominal tandis que les tests fondés sur des grandeurs intermédiaires (durées et Portmanteau) en sont éloignés.
Analyse par taille de la fenêtre d’estimation des niveaux
Il s’agit d’analyser tableau par tableau l’évolution des niveaux de rejets lorsque la taille de la fenêtre de backtesting passe de 250 dates à 500 dates. On se concentre sur les lignes ^.
Lorsque la fenêtre d’estimation est de 250 dates (g.1 p44) ou de 500 dates (g.2 p44) l’augmentation de la taille de la fenêtre de backtesting dégrade en général les niveaux excepté pour le test des durées.
Lorsque l’estimation est eectuée sur 1000 dates, les niveaux obtenus avec un backtesting sur 250 et sur 500 dates sont très proches les uns des autres.
Analyse par hypothèse des niveaux
De manière générale, l’augmentation de la taille de la fenêtre d’estimation diminue l’effet de paramètre : le niveau empirique (lignes ^) se rapproche du niveau nominal (1.00%).
L’hypothèse de couverture inconditionnelle ( UC ) voit ses niveaux empiriques baisser d’environ 50% lorsque l’on passe d’une estimation sur 250 dates à une estimation sur 500 dates et d’une estimation sur 500 dates à une estimation sur 1000 dates.
Les hypothèses d’indépendance ( IND ) et de couverture conditionnelle ( CC ) ont un comportement moins monotone. Les variations sont de l’ordre de 10 à 20 % mais même si la tendance générale est à l’amélioration, certains tests voient leurs niveaux légèrement augmenter.
Conclusion
Les principaux résultats de cette étude sont:
L’eet de paramètre est sensible pour des tailles d’échantillons utilisés en pratique.
Les tests, hypothèses et statistiques, n’ont pas tous le même comportement vis-à-vis de cet eet.
L’eet de paramètre diminue en général avec l’augmentation de la taille des échantillons.
Conclusion sur la correction de la VaR
La correction de l’eet d’estimation de la VaR correspond à la compréhension des fondements théoriques de la mesure de risque. Cela ore une application originale des travaux sur la granularité des portefeuilles dont est issu le principal résultat (Lemme de Rau-Bredow [4]). Néanmoins, d’un point de vue pratique les résultats ne sont guère intéressants : la correction est tellement minime qu’il est difficile de savoir si les écarts ne sont pas dus aux aléas des expériences.
Le seul avantage est qu’on peut malgré tout estimer que cette méthode fournit une meilleure estimation de la VaR. Comme elle a tendance à être plus petite que la VaR usuelle, les provisions obligatoires qui en découlent sont plus faibles. L’écart peut sembler négligeable mais multiplié par le bilan d’une institution financière, la somme n’est pas si minime.
Variance asymptotique
Éléments théoriques
Cette partie (Éléments théoriques) se fonde sur l’article Estimation Risk Eects on Backtesting For Parametric Value-at-Risk Models ([21]) de Juan-Carlos Escanciano et Jose Olmo, paru en 2007 au Center for Applied Economics and Policiy Research de l’Université de l’Indiana (États-Unis d’Amérique).
Cet article se concentre sur une statistique apparentée à celle de Kupiec. Les auteurs analysent le
comportement de cette statistique à distance nie et mènent une analyse de l’eet d’estimation. On peut distinguer trois résultats dans la partie théorique de l’article : la décomposition risque de paramètre-risque de modèle, la correction de la variance pour un test de l’hypothèse de couverture inconditionnelle et un résultat sur un test de l’hypothèse d’indépendance.
Résultats sur la variance en fonction de la taille de l’échantillon
Le tableau suivant (g.2 p58) présente les diverses variances en fonction de la taille de la fenêtre d’estimation et de la taille de la fenêtre de backtesting (première et deuxième colonne). La troisième colonne indique la variance nominale ( (1 )), ie celle qui est spontanément utilisée. La quatrième colonne renseigne la variance théorique estimée ( e &2 c ) calculée selon la méthode de la sous- section précédente. Sur la cinquième colonne, on peut lire la variance constatée de la distribution des statistiques de Kupiec sur l’ensemble des simulations (V(z(i))). La sixième colonne présente la variance corrigée moyenne ( b &2 c )
Le résultat est très net : en dessous de 750 dates pour la fenêtre d’estimation, la variance estimée théorique est largement éloignée de la variance constatée. Les résultats sur les niveaux ne sont pas présentés dans la mesure où ils sont très similaires entre eux et très mauvais malgré la correction.
Au demeurant, l’estimation de la variance corrigée ( b &2 c ) est tout-à-fait correcte comme le montre le faible écart entre la colonne b &2 c et la colonne e &2.
Elimination du caractère à distance finie
Les résultats précédents aboutissent à un double constat : pour chaque trajectoire, l’estimation de la variance corrigée est convenable mais au global la variance constatée est éloignée de la variance corrigée asymptotique. Cette ambivalence s’explique par le fait que la variance corrigée asymptotique ne repose pas sur la construction des statistiques de Kupiec et est donc insensible à la faible taille de la fenêtre de backtesting.
L’effet d’estimation concerne uniquement le fait que la fenêtre d’estimation est réduite mais le caractère asymptotique de la convergence des statistiques de Kupiec persiste. An de vérier que c’est la faible taille de la fenêtre de backtesting qui dilue nettement la correction apportée on a mené l’expérience en autorisant une très grande plage de backtesting. Cela ne rend pas compte d’une situation pratique mais vise à identier l’origine de la piètre qualité de la procédure.
Conclusion : risque de paramètre
La correction du test de Kupiec proposée par Escanciano et Olmo ([21]) n’est pas pertinente pour un modèle de type GARCH(1,1) avec des tailles d’échantillon envisageables en pratique.
Premièrement, on notera que l’illustration donnée dans l’article proposé n’est pas un modèle GARCH(1,1).
Ensuite, la correction apportée ne concerne que l’eet d’estimation, ie la faible taille de la fenêtre d’estimation, mais ne corrige en rien le fait que la fenêtre de backtesting est elle-même très réduite. Cela altère peut-être susamment la distribution des statistiques de Kupiec pour diluer la correction apportée.
Conclusion III
Cette partie a traité deux conséquences problématiques disjointes de l’eet d’estimation : d’une part
la prédiction de la VaR et d’autre par la variance asymptotique du test de Kupiec.
Concernant la prédiction de la VaR, l’analyse mise en oeuvre est progressive de manière à ce que
chaque conséquence du choix d’un modèle GARCH(1,1) à aléas gaussiens soit clairement identifiée. D’un point de vue théorique, la correction de la VaR est un développement limité dont les facteurs ont l’avantage d’avoir une expression simple dans le cas de la VaR. Néanmoins, la mise en oeuvre sur machine n’a pas été concluante. On aurait espéré que la proportion de dépassement se rapproche sensiblement du seuil de confiance. Aucun bénéfice au niveau du backtesting n’est à attendre : seul la volonté d’un calcul au plus juste peut justifier l’implémentation de cette formule.
La correction de la variance asymptotique du test de Kupiec est une application des éléments développés par Escanciano et Olmo ([21]) avec un modèle sous-jacent différent. Les résultats sont très différents de ces auteurs puis qu’aucune amélioration n’est perceptible. Néanmoins, il apparaît que le caractère à distance nie est peut-être diluée dans l’approche de ces auteurs. Dans leurs article, ils proposent d’utiliser la même plage de données pour l’estimation et pour le backtesting. Ce choix ne correspond à aucun cas pratique des procédures de backtesting dans les institutions financières. Dans ce mémoire de recherche, on a préféré découpler la période d’estimation de la période de backtesting, cela augmente peut-être l’effet de perturbation dû à la faible taille de la fenêtre de backtesting.
|
Table des matières
I Introduction : l’importance de la VaR comme mesure de risque
II Procédures de backtesting de la VaR
1 Modélisation
2 Tests statistiques
III Eet d’estimation
3 Éléments empiriques
4 Correction de la VaR
5 Variance asymptotique
6 Conclusion III
IV Conclusion
V Références
VI Table des gures
VII Annexes
A Éléments techniques
B Code Matlab
Télécharger le rapport complet
