Comment étudier la validité d’un dispositif d’évaluation ? Dans la continuité des travaux de Bodin (1997, 2006), les auteures présentent une recherche portant sur l’étude des validités d’une évaluation. Cette recherche conduit à mettre en place une méthodologie d’analyse multidimensionnelle articulant l’analyse a priori des tâches à différents niveaux de granularité. L’analyse concerne d’une part, au niveau global de l’ensemble du test une étude épistémologique du savoir évalué, d’autre part, au niveau local une étude du processus de résolution de chacune des tâches. Ces deux approches épistémo-didactique (Grugeon 1997) et psycho-didactique (Vantourout & Goasdoué 2014) sont mises en relation avec des caractéristiques psychométriques du test. Elles montrent comment ces deux recherches ont permis de préciser les résultats de l’évaluation nationale CEDRE (Cycle des évaluations disciplinaires réalisées sur échantillon) 2008 et 2014, sur deux domaines (numération et arithmétique des entiers en fin d’école, algèbre en fin de collège) et d’interroger la méthodologie de conception d’évaluations à grande échelle.