Situational judgment tests as measures of 21st century skills: evidence across Europe and Latin America / Los tests de juicio situacional como medida de las habilidades para el siglo XXI: evidencia en toda Europa y América Latina

ABSTRACT

Over the years, various governmental, employment, and academic organizations have identified a list of skills to successfully master the challenges of the 21st century. So far, an adequate assessment of these skills across countries has remained challenging. Limitations inherent in the use of self-reports (e.g., lack of self-insight, socially desirable responding, response style bias, reference group bias, etc.) have spurred on the search for methods that could complement or even substitute self-report inventories. Situational judgment tests (SJTs) have been proposed as one of the complements/alternatives to the traditional self-report inventories. SJTs are low-fidelity simulations that confront participants with multiple domain-relevant situations and request to choose from a set of predefined responses. Our objectives are twofold (a) outlining how a combined emic-etic approach can be used for developing SJT items that can be used across geographical regions and (b) investigating whether SJT scores can be compared across regions. Our data come from Laureate International Universities (N = 5,790) and comprise test-takers from Europe and Latin America who completed five different SJTs that were developed in line with a combined emic-etic approach. Results showed evidence for metric measurement invariance across participants from Europe and Latin America for all five SJTs. Implications for the use of SJTs as measures of 21st century skills are discussed

RESUMEN

A lo largo de los años, varias organizaciones gubernamentales de empleo y académicas han identificado una lista de habilidades para superar con éxito los desafíos del siglo XXI. Hasta ahora, una evaluación adecuada de estas habilidades en los países ha continuado siendo un reto. Las limitaciones inherentes al uso de autoinformes (p. ej., falta de autoconocimiento, respuestas socialmente deseables, sesgo en el estilo de respuesta, sesgo del grupo de referencia, etc.) han estimulado la búsqueda de métodos que puedan complementar o incluso sustituir inventarios de autoinforme. Los tests de juicio situacional (TJS) se han propuesto como uno de los complementos/alternativas a los inventarios tradicionales de autoinforme. Los TJS son simulaciones de baja fidelidad que enfrentan a los participantes con múltiples situaciones de dominio relevantes y solicitan elegir entre un conjunto de respuestas predefinidas. Tenemos un doble objetivo: (a) explicar cómo se puede utilizar un enfoque emic-etic combinado para desarrollar ítems de TJS que se puedan emplear en todas las regiones geográficas y (b) investigar si las puntuaciones de los TJS se pueden comparar entre regiones. Nuestros datos provienen de las Laureate International Universities (N = 5,790) y están compuestos por examinandos de Europa y América Latina que cumplimentaron cinco TJS diferentes que se desarrollaron de acuerdo a un enfoque emic-ethic. Los resultados mostraron la existencia de invarianza en la medición en los participantes de Europa y América Latina para los cinco TJS. Se discuten las implicaciones para el uso de TJS como medida para detectar habilidades en el siglo XXI