Perron et al. (2004) critiquent l’expertise collective (revue de littérature) de l’INSERM sur les psychothérapies, affirmant que celle-ci est « biaisée » en faveur des TCC. Philippe Cialdella propose une contre-argumentation en 10 points, autour de la notion de biais statistique, et montre que l’étude INSERM n’en est pas particulièrement entachée. L’expertise nous renseigne donc sur un élément : des résultats positifs d’efficacité peuvent être obtenus dans les conditions des études sur lesquelles elle se fonde (essais -contrôlés randomisés - ECR) avec les populations expérimentales qui leur correspondent. Mais ce résultat, important, ne répond pourtant pas à une interrogation fondamentale : peut-on affirmer qu’il n’existe pas de « différence systématique» entre la population « patient-traitement-thérapeute » (ensemble considéré comme une entité en lui-même) en contexte ECR d’une part, et celle constituée par la population patient-traitement-thérapeute en contexte réel d’autre part ? En nous fondant sur une analyse approfondie de ce que sont les études d’efficacité potentielle et leur méthodologie nous montrons qu’il n’en est rien, et qu’il est impossible de généraliser les résultats des ECR à la pratique clinique en conditions réelles. Par ailleurs, les études de résultats, même naturalistes, prenant comme élément variant le traitement prescrit (ie la thérapie définie par le manuel ou par la méthode utilisée) ne peuvent rien dire non plus de ce qui se passe vraiment dans la thérapie, et qui constitue pourtant l’élément réel du changement. Il est indispensable pour cela de s’intéresser également aux processus et à l’activité effective de la dyade patient-thérapeute dans des conditions réelles. En nous appuyant sur la proposition de Daniel B. Fishman (2000) et le renouvellement méthodologique actuel, nous présentons une nouvelle perspective de recherche, sous la forme d’études « quasi expérimentales prospectives de haute représentativité clinique » susceptibles d’apporter une réponse satisfaisante à la question de l’utilisation des résultats de recherche pour l’amélioration de la pratique clinique.

Perron et al. (2004) criticize the collective expertise conducted by the INSERM on the efficacy of different psychotherapy methods for different mental disorders. They say the work is biased in favour of Cognitive and Behavioral Therapies (CBT), while there is a negative bias regarding other methods, in particular psychodynamic therapies. Philippe Cialdella, a specialist of methodology and quantitative analysis in psychiatry, exposes an counter-argument in 10 points and brings welcome clarifications on the methodology and statistics. There is neither statistical bias in the INSERM report (which anyway is not a meta-analysis, but a literature analysis), nor in the first or second level studies on which it is based, mainly Randomised Controlled Trials (RCT). Though some arguments of P. Cialdella could be discussed in detail, his work comes to the conclusion that we can thus trust the results of the INSERM on one point : positive results can be obtained by psychotherapy with the experimental patients involved in the RCTs, and these findings are reliable. This is an important result in favour of psychotherapy, but it does not answer a very fundamental question : do we have reliable evidence that there is no systematic difference between the population constituted of patient-treatment-therapist (as a whole) found in RCTs, and the population constituted of patient-treatment-therapist (as a whole) in real contexts ? A detailed analysis of what are efficacy studies and their methodology shows that this is not the case, and that it is hence not possible to generalize the results obtained by RCTs to clinical practice in real situations. Comorbidities and complex pathologies, choice of the therapist by the patient, interpersonal factors, conditions of use of manuals, contextual and social parameters, amongst other parameters make the real situation radically different from the RCT one, and the results impossible to generalize. Effectiveness studies in real situations do not solve the problem either. They have low internal validity, and though the population studied is close to a real one, too many uncontrolled parameters make the results unreliable. Moreover, outcome studies, whether they are efficacy or effectiveness studies, generally test a therapy « as a whole » versus another one, as defined in a manual, or by psychotherapy « trademarks ». This design totally fails to offer a detailed view of what really happens during the therapy between the patient and the therapist, and it gives no possible insights into the change process elements. Only clinically highly representative quasi-experimental prospective studies can help us to understand change processes in real situations and incrementally improve treatment procedures. Daniel B. Fishman in the year 2000 made an ambitious and really interesting proposal about using pragmatic case studies in a systematic and scientific manner. Numerous reliable methodological tools, such as the Psychotherapy Process Q–Sort for example, as well as the tremendous innovations made in information and communication technologies make it possible today to implement such a proposal. It will enable us to really compare the resulting differences between the different approaches used in clinical settings, in relations with the type of intervention carried or in the real therapies, during clinically significant periods of time, and with various and ecologically valid samples. This is a possible solution to the difficult question of the use of outcome research to improve psychotherapy practice.