Exploring the Link Between Rating Congruence and Managerial Effectiveness

This paper attempts to clarify the link between rating congruence and managerial effectiveness by contrasting different methodologies used to operationalize self‐other rating agreement in terms of how they relate to a criterion of interest. A regression model was applied to two data sets—a primary sample and a cross‐validation sample. Both data sets contained self‐ratings, peer ratings, and a managerial effectiveness criterion (from supervisor ratings). Results from this model demonstrate that peer ratings, rather than self‐ratings, explain most of the variance in effectiveness. In light of these results, the weaknesses of agreement categorization, a technique that has emerged as an operationalization of self‐other rating congruence, are identified. Implications of these findings for the practice of multisource feedback and for the direction of future research are discussed. Résumé Cet article compare l'auto‐évaluation à l'évaluation par les pairs pour déterminer l'efficacité des gestionnaires. Un modèle de régression a été appliqué à deux ensembles de données: un échantillon initial et un échantillon de validation. Ces échantillons contiennent des mesures d'auto‐évaluation, d'évaluation par les pairs et un index d'efficacité obtenu auprès du superviseur immédiat. Les résultats de cette étude indiquent que l'évaluation par les pairs, plutôt que l'auto‐évaluation, explique la majeure partie de la variance de l'efficacité des gestionnaires. Avec ces résultats à l'appui, les faiblesses de certaines méthodes popularisées dans les récentes publications sont mises en lumiàre. L'article traite également des conséquences de ces résultats sur la pratique du feedback multi‐sources et des futures avenues de recherche.