ABSTRACT
BACKGROUND: Serological assays designed to detect SARS-CoV-2 antibodies are being used in serological surveys and other specialized applications. As a result, and to ensure that the outcomes of serological testing meet high quality standards, evaluations are required to assess the performance of these assays and the proficiency of laboratories performing them. METHODS: A panel of 60 plasma/serum samples from blood donors who had reverse transcriptase-polymerase chain reaction (RT-PCR) confirmed SARS-CoV-2 infections and 21 SARS-CoV-2 negative samples were secured and distributed to interested laboratories within Canada (n = 30) and the United States (n = 1). Participating laboratories were asked to provide details on the diagnostic assays used, the platforms the assays were performed on, and the results obtained for each panel sample. Laboratories were blinded with respect to the expected outcomes. RESULTS: The performance of the different assays evaluated was excellent, with the high-throughput platforms of Roche, Ortho, and Siemens demonstrating 100% sensitivity. Most other high-throughput platforms had sensitivities of >93%, with the exception of the IgG assay using the Abbott ARCHITECT which had an average sensitivity of only 87%. The majority of the high-throughput platforms also demonstrated very good specificities (>97%). CONCLUSION: This proficiency study demonstrates that most of the SARS-CoV-2 serological assays utilized by provincial public health or hospital laboratories in Canada have acceptable sensitivity and excellent specificity.
HISTORIQUE: Les dosages sérologiques conçus pour dépister les anticorps anti-SRAS-CoV-2 sont utilisés dans les études sérologiques et d'autres applications spécialisées. Par conséquent, et pour s'assurer que leurs résultats respectent des normes de qualité, il faut procéder à des évaluations de leur performance et de la compétence des laboratoires à les effectuer. MÉTHODOLOGIE: Les chercheurs ont obtenu une batterie de 60 prélèvements de plasma et de sérum chez des donneurs dont l'amplification en chaîne par polymérase après transcription inverse (RT-PCR) avait confirmé des infections par le SRAS-CoV-2 et de 21 prélèvements dont les résultats étaient négatifs au SRAS-CoV-2 et les ont distribués aux laboratoires intéressés du Canada (n = 30) et des États-Unis (n = 1). Ils ont invité les laboratoires participants à fournir de l'information détaillée sur les dosages diagnostiques utilisés, les plateformes sur lesquelles les dosages étaient exécutés et les résultats obtenus pour chaque échantillon. Les chercheurs ont demandé aux laboratoires participants de fournir de l'information détaillée sur les dosages diagnostiques utilisés, les plateformes sur lesquelles les dosages ont été effectués, et les résultats obtenus à l'égard de chaque échantillon. Les laboratoires ont mené les études à l'insu des résultats escomptés. RÉSULTATS: Les divers dosages avaient une excellente exécution, les plateformes à haut débit de Roche, d'Ortho et de Siemens démontrant une sensibilité de 100 %. La plupart des autres plateformes à haut débit avaient des sensibilités de plus de 93 %, à l'exception des dosages des IgG faisant appel à l'analyseur ARCHITECT d'Abbott, dont la sensibilité moyenne était de seulement 87 %. La majorité des plateformes à haut débit avaient également une très bonne spécificité (plus de 97 %). CONCLUSION: La présente étude de compétence démontre que la plupart des dosages sérologiques du SRAS-CoV-2 évalués dans des laboratoires sanitaires provinciaux ou les laboratoires hospitaliers du Canada possèdent une sensibilité acceptable et une excellente spécificité.
ABSTRACT
Our group has previously used laboratory and commercially developed assays to understand the IgG responses to SARS-CoV-2 antigens, including nucleocapsid (N), spike (S), and receptor binding domain (RBD), in Canadian blood donors. In this current study, we analyzed 17,428 available and previously characterized retention samples collected from April 2020 to March 2021. The analysis compared the characteristics of the Abbott SARS-CoV-2 IgG II Quant assay (Abbott anti-spike [S], Abbott, Chicago, IL) against four other IgG assays. The Abbott anti-S assay has a qualitative threshold of 50 AU/mL. The four comparator assays were the Abbott anti-nucleocapsid (N) assay and three commonly used Canadian in-house IgG enzyme-linked immunosorbent assays (ELISAs) recognizing distinct recombinant viral antigens, full-length spike glycoprotein, glycoprotein RBD, and nucleocapsid. The strongest qualitative relationship was between Sinai RBD and the Abbott anti-S assay (kappa, 0.707; standard error [SE] of kappa, 0.018; 95% confidence interval, 0.671 to 0.743). We then scored each previously characterized specimen as positive when two anti-SARS-COV-2 assays identified anti-SARS-CoV-2 IgG in the specimen. Using this composite reference standard approach, the sensitivity of the Abbott anti-S assay was 95.96% (95% confidence interval [CI], 93.27 to 97.63%). The specificity of the Abbott anti-S assay was 99.35% (95% CI, 99.21 to 99.46%). Our study provides context on the use of commonly used SARS-CoV-2 serologies in Canada and identifies how these assays qualitatively compare to newer commercial assays. Our next steps are to assess how well the Abbott anti-S assays quantitatively detect wild-type and SARS-CoV-2 variants of concern. IMPORTANCE We describe the qualitative test characteristics of the Abbott SARS-CoV-2 IgG II Quant assay against four other anti-SARS-CoV-2 IgG assays commonly used in Canada. Although there is no gold standard for identifying anti-SARS-CoV-2 seropositivity, aggregate standards can be used to assess seropositivity. In this study, we used a specimen bank of previously well-characterized specimens collected between April 2020 and March 2021. The Abbott anti-S assay showed the strongest qualitative relationship with a widely used laboratory-developed IgG assay for the SARS-CoV-2 receptor binding domain. Using the composite reference standard approach, we also showed that the Abbott anti-S assay was highly sensitive and specific. As new anti-SARS-CoV-2 assays are developed, it is important to compare their test characteristics against other assays that have been extensively used in prior research.