Reliability and validity of a questionnaire on vulnerability to sexually transmitted infections among adults with chronic mental illness: PESSOAS Project

ABSTRACT

OBJECTIVE: To describe reliability/validity of a semi-structured questionnaire designed to assess risk behavior to sexually transmitted diseases among adults with chronic mental illness. METHOD: A cross-sectional pilot study was conducted in one psychiatric hospital and one mental health outpatient clinic. Clinical, behavioral and demographic data were collected from semi-structured interviews and medical charts. One-hundred and twenty patients were randomly selected from pre-defined lists in both centers while 89 (74 percent) were interviewed, indicating 26 percent nonparticipation rate. Protocol, participation rates, consent form and feasibility issues were assessed. The semi-structured interview was evaluated with regard to reliability (intra- and inter-rater) and construct validity by randomly repeating the interviews in a 1:1 ratio up to one-week interval. Reliability was estimated by percent agreement and Kappa statistics (95 percent confidence interval). Construct validity was assessed by Grade of Membership model. RESULTS: Kappa statistics ranged from 0.40 to 1.00 for most variables. Grade of Membership analysis generated three profiles. Profile one was represented by mostly women with no condom use in stable relationships; profile two revealed mostly men in stable relationship but with multiple risk behaviors; while profile three indicated a higher proportion of licit or illicit substance use. CONCLUSIONS: Reliability and construct validity assessment using Grade of Membership analysis indicated that the semi-structured interview was suitable for capturing risk behavior among patients with chronic mental illness.

RESUMO

OBJETIVO: Descrever a confiabilidade/validade de um questionário semi-estruturado para avaliar comportamento de risco para as infecções sexualmente transmissíveis entre adultos com doença mental crônica. MÉTODO: Estudo-piloto transversal em um hospital psiquiátrico e um centro de atenção psicossocial. Dados clínicos, comportamentais e sociodemográficos foram coletados por entrevistas semi-estruturadas/prontuários médicos. Cento e vinte pacientes foram selecionados aleatoriamente a partir de listas pré-definidas de ambos os centros, enquanto 89 (74 por cento) foram entrevistados, indicando uma taxa de não-participação de 26 por cento. Protocolo, participação, consentimento e outros fatores foram avaliados. A entrevista semi-estruturada foi avaliada em sua confiabilidade (intra e inter-observador) e validade de construto, por repetição aleatória (razão 1:1), com até uma semana de intervalo. A confiabilidade foi estimada pelo percentual de concordância/coeficiente Kappa (intervalo de confiança 95 por cento). A validade de construto foi avaliada pelo modelo Grade of Membership. RESULTADOS: Os coeficientes Kappa variaram de 0,40-1,00 para a maioria das variáveis. A análise Grade of Membership gerou três perfis de vulnerabilidade. O perfil um representou principalmente mulheres em relacionamentos estáveis que não usavam preservativo; o perfil dois revelou principalmente homens em relacionamentos estáveis, mas múltiplos comportamentos de risco; o terceiro perfil indicou uma alta proporção de uso de substâncias lícitas e/ou ilícitas. CONCLUSÕES: A confiabilidade e validade de construto indicaram que a entrevista foi adequada para captar os comportamentos de risco nesta população.