Calcul de précision et comparaison des indicateurs

Les indicateurs présentés dans ce document peuvent être sujets à une certaine imprécision statistique. Cette dernière peut être inhérente à la nature même des données, notamment lorsque celles-ci sont tirées d’enquêtes qui ne couvrent qu’un échantillon de la population. Elle peut également être due aux faibles nombres d’événements statistiques, plus sensibles à des variations aléatoires (variabilité vue au sens épidémiologique) (Rothman et Greenlang, 1998). Il est donc important d’estimer l’imprécision des mesures calculées afin de pouvoir juger de leur fiabilité et, finalement, de leur utilité.

Cette imprécision peut être évaluée en calculant l’erreur-type de la mesure. Celle-ci se calcule de différentes façons selon qu’il s’agisse d’une proportion, d’un taux brut ou d’un taux ajusté. Les méthodes que nous avons appliquées sont celles décrites dans Blalock (1972) pour les proportions, dans Bernard et Lapointe (1987) pour les taux bruts, dans Chiang (1961) pour les taux ajustés, dans Chiang (1984) pour l’espérance de vie et dans Mathers (1991) pour l’espérance de vie en bonne santé. Pour que l’interprétation de l’erreur-type soit plus explicite, il est courant de calculer le rapport de celle-ci à la mesure, ce que l’on appelle le coefficient de variation (CV). Ce coefficient, exprimé en pourcentage, est plus facile à interpréter que l’erreur-type seule puisqu’il traduit la part d’imprécision présente dans la valeur de la mesure. Mentionnons que le calcul du CV des estimations provenant des fichiers de microdonnées de l’ESCC intègre une approximation de la variance³ tenant compte des effets de plan médian, comme le propose l’ISQ (ISQ, 2005).

Le CV est utilisé dans le présent document comme critère de diffusion des données. Les normes retenues sont celles de Statistique Canada (Comité consultatif fédéral-provincial-territorial sur la santé de la population, 1999) :

• les valeurs dont le CV est inférieur ou égal à 16,66% sont publiées sans restriction;

• les valeurs dont le CV est supérieur à 16,66% et inférieur ou égal à 33,33% doivent être interprétées avec prudence et sont accompagnées d’un astérisque « * »;

• les valeurs dont le CV est supérieur à 33,33% ne sont pas publiées car la mesure est jugée trop imprécise. La valeur de l’indicateur est alors remplacée par la mention « ** n.p. ».

Les seuils 16,66% et 33,33% correspondent en fait à une proportion (exprimée en pourcentage) de l’erreur-type respectivement égale à 1/6 et 1/3 de la valeur de la mesure. Lorsque cette proportion excède 1/3 de la valeur de la mesure (le CV est supérieur à 33,33%), cette dernière est jugée trop approximative pour être diffusée. La diffusion de données peu fiables, même accompagnées d’importantes mises en garde, peut en effet mener à une utilisation inadéquate de celles-ci à des fins de recherche, d’exercice de planification, voire de prise de décision.

En raison de l’imprécision relative de certaines données, il peut être hasardeux, sur le plan statistique, de les comparer directement. En effet, certaines différences apparentes pourraient en réalité s’avérer non significatives d’un point de vue statistique. Aussi, nous avons effectué un test statistique de différence, communément appelé test Z, pour comparer les valeurs de chacune des régions sociosanitaires (RSS) à celles de l’ensemble du Québec. Toutefois, aux fins de ce test statistique uniquement, les valeurs de chaque RSS sont systématiquement comparées avec celles du reste du Québec (Ensemble du Québec – RSS) et non celles de l’ensemble du Québec, contrairement à l’édition 2001 du document. Cette procédure permet en effet de respecter le postulat d’indépendance pour les deux territoires comparés. Ainsi, on contrôle l’erreur de type 1 (ou l’erreur α) du test qui est de 1% alors qu’avant cette erreur était inférieure à 1%. Ainsi, dans les survols régionaux présentés précédemment dans ce document, la valeur régionale est comparée à celle du Québec. Cependant, la validité statistique de la différence observée entre ces deux valeurs est testée en comparant la donnée régionale à celle du reste du Québec.

La statistique du test Z est calculée différemment pour les proportions et les taux. Pour les proportions, la formule suivante a été utilisée :

où ET est l’erreur-type.

Pour les taux bruts et ajustés le test a été calculé de la façon suivante :

où ET est l’erreur-type et ln est le logarithme népérien. La transformation logarithmique est nécessaire afin d’utiliser convenablement l’approximation normale de la statistique Z. Cela est principalement dû à la distribution asymétrique du rapport de taux standardisés (Julious et al., 2001).

À l’issue du test, la valeur obtenue est comparée à deux valeurs critiques⁴, une positive, une négative, fournies par une table de la Loi normale, en fonction du seuil de signification statistique choisi. Dans le document de 2001, ce seuil était établi à 5%. Toutefois, suite aux travaux et aux recommandations de l’ISQ qui suggèrent, pour l’ESCC 2003, de fixer le seuil à 1% pour les comparaisons de 5 régions et pour certaines variables (ISQ, 2005a), nous avons choisi, par souci d’uniformité, d’établir le seuil de signification statistique à 1% pour tous les indicateurs présent dans ce document et pour les comparaisons de toutes les régions. Par ailleurs, étant donné que nous effectuons des comparaisons multiples, entre chaque RSS et le reste du Québec, nous avons également appliqué la correction de Bonferroni (Carriere et Roos, 1994). Cette correction consiste à diviser le seuil de signification statistique par le nombre de territoires comparés, soit 18 régions sociosanitaires. Cette correction est nécessaire afin de s’assurer que le test global, reposant sur l’hypothèse nulle « aucune région n’est différente du reste du Québec », soit effectué au seuil de 1%. Cette correction a ainsi pour effet de réduire la probabilité d’obtenir des différences statistiques significatives dues au hasard. Le nouveau seuil obtenu après correction est appelé seuil de comparaison multiple et n’est utilisé qu’à des fins de tests statistiques de différence.Les valeurs critiques positives et négatives utilisées dans ce document, respectivement de 3,452 et de - 3,452, reposent sur ce seuil de comparaison multiple et non sur le seuil de signification statistique^5.

Ainsi, si la valeur du test Z est supérieure à 3,452, la différence est positive (la valeur de la RSS est supérieure à celle du reste du Québec et significative sur le plan statistique au seuil de 1%. Cette différence est indiquée par le symbole « (+) ». À l’opposé, si la valeur du test Z est inférieure à - 3,452, la différence est négative (la valeur de la RSS est inférieure à celle du reste du Québec) mais également significative. La valeur est alors accompagnée du symbole « (-) ». Par contre, si la valeur du test Z ne dépasse aucune de ces valeurs critiques, ni du côté positif, ni du côté négatif, alors on estime que la différence n’est pas significative sur le plan statistique au seuil de 1%.

En ce qui concerne spécifiquement l’ESCC, la correction de Bonferroni est faite en divisant par 17 pour 2003 et par 16 pour 2000-2001 ce qui correspond aux nombres de régions pour lesquelles des données sont disponibles. Les valeurs critiques pour 2003 sont 3,437 et - 3,437 et pour 2000-2001, 3,421 et - 3,421.

Ces tests sont importants, notamment dans les situations où les valeurs présentées reposent sur de petits nombres d’événements statistiques, puisque la part d’imprécision peut être assez grande. Ils permettent en quelque sorte de relativiser certaines valeurs observées et d’éviter de sauter à des conclusions trop hâtives sur les différences observées avec les valeurs nationales. Mais au-delà des résultats de ces tests, il est également important d’observer les tendances sous-jacentes aux valeurs présentées, même si les résultats des tests ne révèlent pas de différences significatives sur le plan statistique. Conjugués aux coefficients de variation, les tests statistiques de différence ne devraient servir qu’à inviter à la prudence lors de l’interprétation des résultats.

Dans le présent document, les calculs de CV et de tests statistiques de différence ont été effectués lorsque les données sont issues d’enquêtes et dans les situations où le nombre d’événements est assez petit pour présenter des variations aléatoires. Il n’est pas d’usage, par contre, d’effectuer de tels tests pour les informations tirées du recensement de la population, ni pour celles relatives à la disponibilité de certaines ressources sociosanitaires. Dans ces cas, l’utilisation des tests n’apporteraient aucune information supplémentaire. Pour toutes les régions, les différences seraient probablement toujours statistiquement significatives.

Enfin, le choix de retenir un seuil de 1% dans les tests statistiques représente une approche conservatrice. Ce choix s’explique par l’utilisation d’un seuil identique (sauf exception) pour l’ensemble du portrait de santé et la décision de n’identifier que les régions qui se démarquent vraiment afin de laisser aux directions régionales de santé publique le soin d’aller plus loin dans les analyses régionales

Notes