Estudio piloto sobre la automatización de la evaluación del formador en los programas de prevención

Abstract

[spa] Los métodos tradicionales de evaluación del formador en la implementación de programas de prevención basados en la evidencia requieren un elevado consumo de recursos y son difícilmente implementables a gran escala. El propósito de esta investigación fue desarrollar un sistema informático que, de un modo más eficiente y escalable, fuera capaz de generar calificaciones análogas a las obtenidas mediante metodologías convencionales. Los datos analizados fueron las transcripciones de 10 simulaciones, enmarcadas en el proyecto “Jóvenes como agentes activos de prevención III”, que representaban segmentos de sesiones del Programa de Competencia Familiar 12-16, una intervención familiar basada en la evidencia eficaz en la reducción de problemas de conducta y consumo de sustancias en adolescentes. Pese a que no se encontraron correlaciones entre las calificaciones provenientes de los expertos y las calificaciones computacionales, el ANOVA de Friedman indicó que no existen diferencias significativas entre las medias de las diferentes calificaciones, sugiriendo que los resultados son prometedores. Las versiones subsiguientes del sistema deberán incorporar variables adicionales para incrementar la concordancia entre las evaluaciones de expertos y las generadas computacionalmente.

[eng] Traditional methods of practitioner evaluation in the implementation of evidence-based prevention programs require a high consumption of resources and are difficult to implement on a large scale. The purpose of this research was to develop a computer system that, in a more efficient and scalable manner, could generate ratings analogous to those obtained through conventional methodologies. The data analyzed were the transcripts of 10 simulations, framed within the project “Youth as active agents of prevention III”, which represented segments of sessions of the Family Competence Program 12-16, an evidence-based family intervention effective in reducing behavioral problems and substance use in adolescents. Although no correlations were found between ratings from experts and computational ratings, the Friedman ANOVA indicated that there are no significant differences between the means of the different ratings, suggesting that the results are promising. Subsequent versions of the system will need to incorporate additional variables to increase the concordance between expert evaluations and those generated computationally.