Estimation risk in financial risk management

Value-at-Risk (VaR) and Expected Shortfall (ES) are increasingly used in portfolio risk measurement, risk capital allocation and performance attribution. Financial risk managers are therefore rightfully concerned with the precision of typical VaR and ES techniques. The purpose of this paper is exactly to assess the precision of common models and to quantify the magnitude of the estimation error by constructing confidence bands around the point VaR and ES forecasts. A key challenge in constructing proper confidence bands arises from the conditional variance dynamics typically found in speculative returns. Our paper suggests a resampling technique which accounts for parameter estimation error in dynamic models of portfolio variance. In a Monte Carlo study we find that commonly used practitioner methods such as Historical Simulation, which calculates the empirical quantile on a moving window of returns, implies 90% VaR confidence intervals that are too narrow and that contain as few as 20% of the true VaRs. Other methods which properly account for conditional variance dynamics, such as Filtered Historical Simulation instead imply 90% VaR confidence intervals that contain close to 90% of the true VaRs. ES measures are generally less accurate than VaR measures and the confidence bands around ES are also less reliable. La valeur-a-risque (VaR) et la mesure ES (Expected Shortfall) sont de plus en plus utilisees pour la mesure du risque d'un portefeuille, l'allocation de capital de risque et la determination des performances. Les gestionnaires de risques financiers sont donc legitimement interesses par la precision des techniques classiques de la valeur-a-risque et de la mesure ES. Le but de cet article est precisement d'evaluer la precision des modeles classiques et de mesurer l'importance de l'erreur d'estimation en construisant des intervalles de confiance autour des previsions de la valeur-a-risque et de la mesure ES. Un des problemes cles dans la construction d'intervalles de confiance appropries provient de la dynamique de la variance conditionnelle typiquement observee pour les rendements speculatifs. Notre article propose donc une technique de re-echantillonnage qui tient compte de l'erreur d'estimation des parametres des modeles dynamiques de la variance d'un portefeuille. Une analyse Monte Carlo nous montre que les methodes generalement utilisees par les praticiens, telles que la simulation historique qui calcule le quantile empirique a l'aide d'une fenetre mobile des rendements, generent des intervalles de confiance pour la valeur-a-risque a 90% qui sont trop etroits et qui contiennent seulement 20% des vraies valeurs-a-risque. D'autres methodes qui tiennent compte correctement de la dynamique conditionnelle de la variance, telles que la simulation historique filtree, generent quant a elles des intervalles de confiance de la valeur-a-risque a 90% qui contiennent pres de 90% des vraies valeurs-a-risque. Les mesures ES sont generalement moins precises que les mesures de valeur-a-risque et les intervalles de confiance autour de la mesure ES sont egalement moins fiables.