Survey non-response rates are important quality indicators. Refusal rates can induce non-response bias in health survey estimates. However, comparisons across surveys highlight inconsistencies in the use of survey outcome categories and in the calculation of response rates. In this paper we discuss the relevance of these indicators and suggest other survey quality indicators.

Outcome rates from two French random-digit dialing (RDD) telephone surveys are compared : the Nicolle survey on infectious diseases of 4112 individuals conducted in 2006, and the HIV knowledge, attitude, belief and practices (KABP) survey of 5071 individuals in 2004. Based on the same protocol, we describe in details the way the two RDD samples were drawn and how non-response rates were estimated.

Non-response rates were different: 36% in Nicolle survey and 18% in KABP survey. However, the quantity of telephone numbers required to obtain one interview was higher in the KABP survey: 2.8 telephone numbers versus 2.1 in the Nicolle survey. The participation rates, aggregating together refusals, break-off and non-reachable numbers, were equivalent for the two surveys. This result occurred because of a greater proportion of unreached calls in the KABP surveys, which is not integrated into the non-response rates commonly used.

Survey non-response rate is insufficient to estimate the quality of a survey. The need for other indicators has been previously stressed in the literature, notably with the adoption and utilization of the American Association for Public Opinion Research (AAPOR) standard definitions of four indicators. But these indicators are quite complex for evaluating non-response bias between surveys. In addition to the classical refusal rate, two other indicators are proposed in this paper: participation rate (number of complete interviews divided by the number of eligible and of unknown eligibility units) and a liking contact rate (number of unreachable units because of a long absence, break-off or non-answer divided by the number of eligible and of unknown eligibility units). The sum of these three indicators is equal to 100% and thus easier to manipulate when comparing surveys.

En France, lors de la présentation d’une enquête par sondage aléatoire, le taux de non-réponse est souvent retenu comme critère unique de qualité. Il est en effet considéré que la non-participation peut être à l’origine de biais dans l’estimation des indicateurs produits à partir des données recueillies. Or la variabilité importante des taux de non-réponse rapportés dans des enquêtes utilisant pourtant des méthodes identiques interroge non seulement sur la méthode même de construction de ces indicateurs mais également sur leur signification comme indicateur de qualité.

Cette question sera abordée à travers une analyse détaillée du fichier de consommation des adresses de deux enquêtes réalisées en France selon un protocole identique de recueil de données mais dont les taux de non-réponse sont très différents, allant du simple au double.

Les deux enquêtes comparées affichent en effet des taux de refus respectifs de 35,6 % pour l’enquête Nicolle et 18,3 % pour le KABP sida. Pour autant, le nombre de numéros de téléphone nécessaire pour réaliser une interview est plus élevé pour l’enquête KABP : 2,8 adresses ont été nécessaires pour aboutir à la réalisation d’une interview, 2,1 adresses pour l’enquête Nicolle. En considérant à présent, non plus exclusivement, les taux de refus qui demeurent différents, on s’aperçoit que ces deux enquêtes ont globalement un taux de participation identique, à savoir 55,1 % pour l’enquête Nicolle et 56,2 % pour le KABP sida. Ce résultat, invisible si l’on se contente du taux de refus, résulte d’un nombre de numéros de téléphone codés comme non utilisables plus important pour l’étude KABP.

Il paraît indispensable de ne plus se contenter de présenter le taux de refus comme unique critère qualitatif d’un terrain d’une enquête par sondage aléatoire en santé publique, en utilisant par exemple les travaux de l’AAPOR. Une alternative, qui nous paraît d’un usage plus aisé, serait de prendre un ensemble de trois taux dont la somme atteindrait 100 % (participation, refus, échec d’exécution). Cela apporterait une information plus intéressante et moins trompeuse que le taux de refus.