Interobserver variability of croup scoring in clinical practice

Paediatr Child Health. 2001 Jul;6(6):347-51. doi: 10.1093/pch/6.6.347.

Abstract

Background: Viral laryngotracheobronchitis croup is the most common cause of acute upper airway obstruction in young children. Clinical assessment of children with croup is often performed using 'croup scores'; however, these scores have not been validated outside of the research setting.

Objective: To determine the reliability of clinical observation items in croup scores in a paediatric emergency department (ED) setting.

Design: Literature review identified 12 observation items (level of consciousness or mental status, inspiratory breath sounds, air entry, stridor, cough, cyanosis or colour, anxiety or air hunger, retractions and/or flaring, respiratory rate and heart rate, oxygen saturation and respiratory distress); overlapping items were combined, yielding 10 variables. In a prospective cohort study over 13 months, patients presenting with croup were observed independently, and croup scores were assigned by the triage nurse, ED nurse and the ED physician before treatment. Agreement among observers for clinical observations was analysed using Cohen's quadratic weighted kappa.

Setting: University-affiliated, paediatric hospital ED providing primary care to an urban area (population 330,000).

Patients: Children aged three months to five years presenting with viral croup (preceding history of at least one day of upper respiratory tract symptoms associated with barking cough and/or hoarseness and/or stridor).

Results: One hundred fifty-eight children meeting inclusion criteria for croup were assessed by three observers within 1 h of each other's assesments and before treatment. Interobserver agreement among the three observers using weighted kappa was greater than chance for all clinical observation items and ranged from fair to moderate (0.2 to 0.4 and 0.4 to 0.6, respectively).

Conclusions: In the busy practice setting of a paediatric ED, substantial interobserver variability exists among health care providers in the measurement of respiratory signs associated with croup in young children. Based on the present study in a practice setting and two research studies, the most reliable items of all of the published items included in croup scoring systems were stridor and retractions.

HISTORIQUE :: La laryngotrachéobronchite virale (croup) est la cause la plus courante d’obstruction aiguë des voies respiratoires supérieures chez les jeunes enfants. L’évaluation clinique des enfants atteints du croup se fait souvent au moyen d’«indices du croup». Cependant, ces indices n’ont été validés qu’en milieu de recherche.

OBJECTIF :: Déterminer la fiabilité des éléments d’observation clinique dans les indices du croup à la salle d’urgence (l’urgence) d’un département de pédiatrie.

MÉTHODOLOGIE :: Un relevé de la documentation médicale a permis de repérer 12 éléments d’observation (niveau de conscience ou état mental, bruits inspiratoires, entrée d’air, stridor, toux, cyanose ou coloration, anxiété ou suffocation, rétractions thoraciques ou battement des ailes du nez, rythmes respiratoire et cardiaque, saturation en oxygène et détresse respiratoire). Les éléments qui se chevauchaient ont été combinés, pour ne laisser que 10 variables. Dans le cadre d’une étude prospective par cohorte menée sur une période de 13 mois, les patients se présentant avec le croup ont été observés séparément, par l’infirmière du tri, l’infirmière de l’urgence et le médecin de l’urgence, qui leur ont attribué des indices du croup avant de choisir le traitement. La concordance entre les observateurs quant aux observations cliniques a fait l’objet d’une analyse au moyen du test de concordance Kappa élaboré par Cohen.

LIEU :: L’urgence d’un hôpital pédiatrique universitaire offrant des soins primaires en zone urbaine (population de 330 000 habitants).

PATIENTS :: Enfants de trois mois à cinq ans se présentant avec un croup viral (antécédents d’au moins une journée de symptômes des voies respiratoires supérieures associés à une toux aboyante, un enrouement ou un stridor).

RÉSULTATS :: Cent cinquante-huit enfants respectant les critères d’inclusion du croup ont été évalués par trois observateurs à moins d’une heure d’intervalle avant d’être traités. La concordance entre les observateurs au moyen du test de concordance Kappa était plus élevée que ne pouvait le laisser supposer le simple hasard pour tous les éléments d’observation clinique et variait entre acceptable et moyen (0,2 à 0,4 et 0,4 à 0,6, respectivement).

CONCLUSIONS :: Dans le milieu occupé des urgences pédiatriques, il existe une importante variabilité entre les observations des différents dispensateurs de soins qui évaluent les signes respiratoires associés au croup chez les jeunes enfants. D’après la présente étude en milieu clinique et deux autres études, les éléments les plus fiables publiés parmi tous ceux des indices du croup sont le stridor et les rétractions.

Keywords: Croup; Health measurement scale; Viral laryngotracheobronchitis.