ape Acta Paulista de Enfermagem Acta Paul Enferm 0103-2100 1982-0194 Escola Paulista de Enfermagem, Universidade Federal de São Paulo Resumen Objetivo Determinar el nivel de concordancia, sensibilidad y especificidad de la prioridad de asistencia determinada por enfermeros interevaluadores, a partir del uso del protocolo de acogida y clasificación del riesgo en obstetricia, en una unidad de servicios de emergencias obstétricas. Métodos Estudio transversal con enfoque metodológico, realizado en una maternidad escuela de Belo Horizonte, Minas Gerais, Brasil, de septiembre a noviembre de 2020. Fue realizado en dos etapas: 1) documental con análisis de los registros de enfermeros clasificadores en las historias clínicas de mujeres embarazadas, parturientas o puérperas; 2) entrevista con enfermeros capacitados y no capacitados en clasificación del riesgo. Se realizó análisis de sensibilidad, especificidad y se empleó el coeficiente Kappa (k) para evaluar la concordancia. Resultados Se observó que el nivel de concordancia entre evaluadores (enfermeros capacitados y no capacitados) fue considerado de moderado a fuerte (k= 0,47 e 0,77). Se verificó una tendencia de subestimación de la prioridad roja (sensibilidad de 85 %; especificidad de 99 %) y amarilla (sensibilidad de 54 %; especificidad de 85 %), así como una sobrestimación de la prioridad verde (sensibilidad de 62 %; especificidad de 84 %) y azul (sensibilidad de 89 %, especificidad de 98 %), pero sin diferencias significativas. A pesar de que la concordancia y la especificidad fueron satisfactorias, la sensibilidad fue baja, debido a los índices de subestimación y sobrestimación en la clasificación del riesgo. Conclusión El protocolo es confiable para determinar la prioridad de asistencia en obstetricia, pero se observó baja sensibilidad al ser aplicado por enfermeros capacitados y no capacitados para determinar la prioridad de asistencia. Introdução O Acolhimento com Classificação de Risco (ACCR) se refere ao ato de acolher com escuta ativa. Ademais, determina a prioridade de atendimento do paciente em situação de urgência e emergência.(1) Em razão dessas situações, os profissionais da saúde, atuantes nas unidades de urgência e emergência, em especial os enfermeiros, necessitam ter conhecimento, habilidade e atitude para acolher, classificar o risco e determinar a prioridade de atendimento do usuário de saúde nesses serviços.(2) Além disso, é necessária avaliação criteriosa das condições clínicas do paciente, de acordo com a queixa do usuário. Para isso, é preciso seleção rápida e imediata das informações coletadas com intervenção eficaz e eficiente.(1) Na obstetrícia, a proposta do Acolhimento e Classificação de Risco A&CR surgiu no município de Belo Horizonte, em 2010, com a criação de um protocolo específico para os atendimentos às demandas relativas ao processo gravídico e puerperal.(3) No âmbito nacional, ocorreram mudanças criadas a partir da Rede Cegonha, com a obrigatoriedade de realização do A&CR nos serviços de atenção obstétrica.(4) A Atenção Materno Infantil (RAMI) foi revogada, e a Rede Cegonha retomada enquanto estratégia de modo a reforçar da importância do A&CR e a estratificação de risco, nos serviços de atenção obstétrica e neonatal, seguindo as diretrizes clínicas e normativas do Ministério da Saúde (MS).(5,6) Para seguir essas diretrizes, o MS desenvolve tecnologias em saúde, destacando-se, portanto o Protocolo de Acolhimento e Classificação de Risco em Obstetrícia (A&CR–O), o qual tem como propósito melhorar os indicadores de morbimortalidade materna e neonatal, mitigar a peregrinação materno infantil, descongestionar as unidades de urgência e emergência, promover linguagem padronizada e sistemática de atendimento, a fim de guiar a prática profissional nas maternidades e nos diferentes serviços de obstetrícia do Brasil.(7,8) O intuito do presente estudo é certificar a reprodutibilidade de tal protocolo como tecnologia válida, segura e favorável ao direcionamento no julgamento clínico em saúde; para a identificação do discriminador de classificação de risco (CR) e dos indicadores clínicos em saúde, os quais fundamentam a determinação da prioridade de atendimento,(1,9) bem como ocorrem em outras escalas e protocolos de obstetrícia.(7,8,10-16) Portanto, objetivou-se determinar o grau de concordância interavaliadores, sensibilidade e especificidade da prioridade de atendimento determinada por enfermeiros, a partir do uso do protocolo de acolhimento e classificação de risco em obstetrícia, em unidade de pronto atendimento obstétrico. Métodos O estudo ocorreu em uma maternidade-escola filantrópica, não governamental, vinculada ao Sistema Único de Saúde (SUS) situada em Belo Horizonte-MG-Brasil. Trata-se de um serviço de saúde que possui leitos obstétricos e neonatais, reconhecido como referência nacional para a humanização da assistência ao parto e ao nascimento. Para a construção do estudo utilizou-se abordagem metodológica de caráter transversal, em que analisou a reprodutibilidade do protocolo A&CR-O do MS, por meio de duas etapas: a primeira documental, retrospectiva, com avaliação dos registros de enfermeiros classificadores em prontuários de gestantes, parturientes e/ou puérperas; a segunda foi uma entrevista semiestruturada com enfermeiros treinados e não treinados na classificação de risco.(8) A coleta de dados ocorreu entre setembro e novembro de 2020. Devido a pandemia do SARS-CoV-2 (COVID-19), modificou-se a configuração da pesquisa, sendo necessário, para redução da exposição, uma coleta retrospectiva dos dados e não-participativa junto aos casos atendidos no pronto atendimento. O tamanho amostral foi alcançado a partir do cálculo considerando a proporção (p) estimada da população desconhecida. Considerou-se concordância de pelo menos 80% (p = 0,80) para o grau de concordância interavaliadores, uma margem de erro de 10% sobre tal estimativa e intervalo de 95% de confiança. A amostra final foi de 270 avaliações do Protocolo de A&CR–O, conforme a tabela 1. Tabela 1 Número de registros avaliados, conforme a prioridade clínica por cores Classificação n(%) [IC 95%] Vermelho 28(10) [7; 15] Laranja 59(22) [17; 27] Amarelo 64(24) [19; 29] Verde 62(23) [18; 28] Azul 57(21) [16; 26] Total 270(100) - n – número amostral; IC 95% – Intervalo de 95% de Confiança No que tange ao nível de prioridade de atendimento e sua classificação por cores, seguiu-se o preconizado pelo Protocolo de A&CR-O(5), que preconiza: Vermelho – Prioridade I (Emergência - atendimento imediato); Laranja – Prioridade II (Maior Urgência - atendimento em até 15 minutos); Amarelo – Prioridade III (Urgência – atendimento em até 30 minutos); Verde – Prioridade IV (Menor Urgência - atendimento em até 120 minutos) e; Azul – Prioridade V (não urgente – atendimento não prioritário ou encaminhamento conforme pactuação). A seleção dos prontuários aconteceu aleatoriamente por meio de sorteio das cores da CR. Para isso, foi realizada a busca dos números de identificação dos prontuários das mulheres atendidas no A&CR-O, no período de novembro de 2019 a maio de 2020, fato que gerou uma tabela numérica, sendo possível sortear de maneira aleatória o documento participante no universo dos prontuários. Foram incluídos aqueles que continham dados completos, com preenchimento adequado. As variáveis coletadas para a caracterização das mulheres foram: nome, idade, paridade, idade gestacional, queixa principal, presença de contrações e/ou perda de líquido, dor, sangramento vaginal, dados vitais, fluxograma e a classificação de risco determinada pelo enfermeiro. Quanto ao perfil dos profissionais foram analisadas variáveis como: idade, tempo de atuação em obstetrícia e se possuía treinamento relacionado ao A&CR-O. O cálculo amostral para os enfermeiros participantes foi considerando o caráter comparativo envolvendo duas proporções: 1) proporção de concordância interavaliadores (Grupo de Enfermeiros Treinado - p1) em relação a cada uma das cinco cores (vermelho, laranja, amarelo, verde e azul), conforme o grau de complicações e risco de morte determinado pelo Protocolo de A&CR-O; 2) proporção de concordância interavaliadores (Grupo de enfermeiros não-treinados - p2). Foi considerada uma estimativa de 90%, com um nível de significância de 5% (α = 0,05), e poder de 80% (β= 0,20). Ao final, foi necessário a seleção de dez enfermeiros em cada grupo (treinados versus não-treinados), de modo a identificar diferenças de pelo menos 50% na taxa de concordância de cada grupo. A seleção desses dois grupos foi realizada por meio de amostragem aleatória simples, para isso foi feito uma busca dos enfermeiros treinados e não treinados na instituição com a coordenação, sendo incluídos aqueles que continham pelo menos dois anos de experiência assistencial. Considerou-se enfermeiros treinados àqueles que foram capacitados previamente pela equipe do Ministério da Saúde (MS), mediante oficina com duração mínima de 20 horas. Os enfermeiros não-treinados foram aqueles que nunca haviam atuado na CR e não possuíam qualquer capacitação prévia. Não foi realizado treinamento durante a pesquisa, buscou-se aqueles que já tinham experiência e certificação comprovada. No percurso dessas entrevistas, cada enfermeiro recebeu 27 casos clínicos com informações extraídas dos prontuários selecionados na primeira etapa do presente estudo, totalizando os 270 casos. Tais casos foram avaliados por dez enfermeiros treinados e dez enfermeiros não treinados, respondidos de forma individualizada, juntamente com a pesquisadora, em local privativo, preservando o sigilo. Quanto à organização e análise dos dados, avaliou-se o grau de concordância entre os enfermeiros treinados versus não treinados, calculados por meio do coeficiente Kappa (k). Para interpretação da classificação do k, considerou-se: k<0 (sem concordância), k = 0 a 0,20 (fraco), k = 0,21 a 0,40 (razoável), k =0,41 a 0,60 (moderado), k =0,61 a 0,80 (forte) e k= 0,81 a 1,0 (perfeito).(17,18) Adicionalmente, a sensibilidade foi utilizada para mensurar a capacidade de identificar se as mulheres classificadas nos níveis de maior urgência obtiveram classificação subestimada, e a especificidade foi abordada para verificar a probabilidade de uma paciente ter sido classificada de acordo com a prioridade clínica como não urgente e não demandar urgência no atendimento.(19) Para o rigor metodológico utilizou-se como guia o Strengthening the reporting of observational studies in epidemiology (STROBE).(20) As entrevistas com os enfermeiros ocorreram após a assinatura do Termo de Consentimento Livre e Esclarecido, respeitando os aspectos éticos e legais da Resolução 466/2012, com aprovação, conforme parecer n.º 4198387 do Comitê de Ética em Pesquisa da Universidade e da Instituição de saúde (Certificado de Apresentação de Apreciação Ética: 19261419.0.0000.5149). Resultados Dos 270 prontuários sorteados, 88% eram gestantes confirmadas por exames laboratoriais, exames de imagem ou avaliação clínica, 9% eram puérperas e 3% apresentavam atraso menstrual e tinham dúvida quanto a gravidez. Para a caracterização dessa população, foram coletadas informações relacionadas à idade das usuárias, idade gestacional e tipo de queixa. Após avaliação dos 270 prontuários foi possível gerar um perfil das usuárias atendidas no serviço de acolhimento e classificação de risco em obstetrícia, as quais apresentavam-se na faixa-etária compreendida entre 21 e 33 anos (70%), dessas: 88% estavam gestantes, 49,7% eram primigestas e 72% tinham idade gestacional igual ou superior a 40 semanas. A figura 1 representa a idade da população analisada (n=270). A maioria das pacientes (70%) tinha entre 21 e 33 anos no momento do atendimento; sendo que a idade variou entre 14 a 45 anos, com média de 27 e mediana de 26 anos, desvio padrão de 7 anos e coeficiente de variação de 26%, indicando variabilidade moderada entre elas em relação à idade. Figura 1 Histograma idade das pacientes A figura 2 representa a idade gestacional (IG) por ocasião do acolhimento e classificação de risco, 72% das pacientes estavam com 40 semanas ou mais, variando de 5 a 43 semanas, com média de 36 e mediana de 39 semanas, desvio padrão de 7 semanas e coeficiente de variação de 19%, indicando pouca variabilidade em relação à IG. Figura 2 Histograma com a distribuição da idade gestacional das pacientes gestantes Os motivos da busca das usuárias pelo atendimento obstétrico estão relacionados na tabela 2, que são: contrações (62/23%), perda de líquido (42/15,6%), alteração da pressão arterial (22/8,1%) e sangramento aumentado (16/6,7%). Tabela 2 Tipo de queixa apresentada pelas usuárias no momento da classificação de risco Tipo de queixa n(%) Contrações 62(23,0) Perda de líquido 42(15,6) Alteração da pressão arterial 22(8,1) Sangramento aumentado 18(6,7) Avaliação para indução 16(5,9) Consulta, sem queixas álgicas 11(4,1) Cefaleia 10(3,7) Período expulsivo 9(3,3) Atraso menstrual 7(2,6) Avaliação de ultrassom 6(2,2) Queixa de dor abdominal 6(2,2) Retirada de pontos 6(2,2) Cólica 5(1,9) Deseja avaliação médica 5(1,9) Realização de cesariana eletiva 5(1,9) Avaliação de idade gestacional 4(1,5) Queixa de dor lombar 4(1,5) Edema em membros inferiores 4(1,5) Parto em trânsito 3(1,1) Outras queixas* 25(9,1) Total 270(100,0) * Outras queixas: Essa variável foi criada para os casos em que a frequência absoluta entre 1 ou 2 vezes e o percentual foi inferior a 1%; dentre essas pode-se citar: “Abortamento e sangramento intenso”; “Avaliar para colocar dispositivo intrauterino”; “Abscesso mamário”; “Avaliar nódulo mama”; “Corrimento pós parto normal”; “Deseja receber orientações sobre parto normal”; “Infecção de urina”, “Interromper gestação / diabetes mellitus gestacional”; “Parto em casa”; “Perda de tampão mucoso” Com relação aos Enfermeiros que participaram da pesquisa identificou-se diferença significativa na idade e no tempo de atuação dos profissionais, sendo os enfermeiros treinados com menor faixa-etária (média de 32,7 anos) e menor tempo (4,4 anos) de atuação profissional, quando comparado com os enfermeiros não treinados com média de 38,8 anos de idade e 9,0 anos de atuação na prática clínica, conforme tabela 3. Tabela 3 Comparação do grupo treinado versus não treinado: análise da idade e tempo de atuação profissional Características dos enfermeiros Enfermeiros treinados Enfermeiros não treinados p-value* Média (±DP) Mediana Média (±DP) Mediana Idade (anos) 32,7 (7,4) 30,0 38,8 (3,5) 38,5 0,049 Tempo de atuação profissional (anos) 4,4 (2,0) 4,0 9,0 (2,2) 9,0 0,001 DP – Desvio-padrão; * Medidas de tendência central Partindo para a análise dos dados referente às respostas determinadas pelo enfermeiro treinado e enfermeiro não treinado quanto ao grau de concordância, especificidade e sensibilidade diante das prioridades de atendimento determinadas, obtiveram-se os resultados expostos na tabela 4. A cor vermelha – prioridade I teve concordância forte (k= 0,692), sensibilidade de 85,0%, o que demonstra que quase todas as usuárias classificadas como vermelho pelo enfermeiro treinado foram, também, classificadas com o mesmo nível de prioridade pelo enfermeiro não treinado. No nível de prioridade II - laranja, a concordância também foi considerada forte (k= 0,631), e a sensibilidade foi 74,0%, valor inferior comparado à classificação vermelho. Porém, grande parte das usuárias classificadas como laranja pelo enfermeiro treinado tiveram a mesma classificação pelo enfermeiro não treinado. Para o amarelo, prioridade III, a concordância entre os enfermeiros foi moderada (k= 0,522), a sensibilidade foi a menor entre todas as prioridades clínicas (54,0%). A especificidade foi 85,0%, ou seja, 15,0% das pacientes classificadas como amarelo pelo enfermeiro treinado foram superestimadas pelo enfermeiro não treinado. Assim, o risco atribuído pelo enfermeiro foi maior do que o risco apresentado pela usuária no momento do atendimento, demonstrando superestimação do risco. Tabela 4 Concordância da classificação de risco entre enfermeiros treinados versus não treinados, utilizando-se do protocolo de A&CR-O Cor de classificação Número de pacientes classificados pelo enfermeiro treinado Número de pacientes classificados pelo enfermeiro NÃO treinado Sensibilidade para a cor Especificidade para a cor Kappa (k) Grau de concordância Vermelho 13 11 85% 99% 0,692 Forte Laranja 57 42 74% 93% 0,631 Forte Amarelo 72 39 54% 85% 0,522 Moderado Verde 81 50 62% 84% 0,495 Moderado Azul 47 42 89% 98% 0,696 Forte No nível de prioridade IV, verde, a concordância entre os enfermeiros foi moderada (k= 0,485) e a sensibilidade foi de 62,0%. A especificidade nesse grupo teve o pior desempenho entre todas as prioridades clínicas (84,0%), o que indica maior ocorrência de falsos positivos, ou seja, o risco atribuído pelo enfermeiro foi maior do que o risco apresentado pela usuária no momento do atendimento. Quanto ao nível de prioridade V, azul, a concordância entre os enfermeiros foi forte (k=0,696), a sensibilidade correspondeu a 89,0%, confirmando que quase todas (42/47) as usuárias classificadas como “azul” pelo enfermeiro treinado concordaram com a classificação atribuída pelo enfermeiro não treinado. A especificidade também foi alta (98,0%). Na tabela 5, apresentam-se a concordância e o coeficiente kappa (k) para análise dos fluxogramas e das classificações de risco nas comparações de enfermeiro treinado versus não treinado; enfermeiro treinado versus dados do prontuário, bem como enfermeiro não treinado versus dados do prontuário. A concordância nos fluxogramas entre os dados coletados dos enfermeiros treinados e os dados dos enfermeiros não treinados foi considerada perfeita (k=0,821), correspondendo à concordância bruta de 87,0%. No tocante à classificação de risco, a concordância entre os dados coletados e comparados entre os enfermeiros treinados versus não treinados foi considerada moderada (68,0%; k= 0,588). A concordância entre os dados coletados do prontuário e os enfermeiros treinados foi considerada moderada (k=0,611), isto é, bom índice em estudos de confiabilidade. A concordância bruta correspondeu a 70,0%. A concordância entre os dados coletados do prontuário e os enfermeiros não treinados foi moderada (k=0,599), valor pouco mais baixo quando comparado com os enfermeiros treinados. A concordância bruta correspondeu a 69,0%. Tabela 5 Resumo dos graus de concordância Tipo de comparação Nº de pacientes com concordância perfeita Taxa bruta de concordância Kappa Grau de concordância Enfermeiro treinado versus NÃO treinado 235 87% 0,821 Perfeito Enfermeiro treinado versus NÃO treinado 184 68% 0,588 Moderado Enfermeiro treinado versus prontuário 188 70% 0,611 Forte Enfermeiro NÃO treinado versus prontuário 185 69% 0,599 Moderado Discussão Os resultados mostraram que a classificação de risco em sala de emergência obstétrica teve boa concordância entre enfermeiros classificadores, principalmente, nas prioridades I e II, ou seja, emergência e maior urgência nas cores vermelho e laranja, respectivamente. No entanto, nas classificações consideradas urgência (amarelo) e menor urgência (verde), observou-se maior chance de falsos positivos, ou seja, tendência de superestimação por parte dos enfermeiros, treinados ou não treinados. De qualquer forma, o instrumento de avaliação permite razoável determinação da prioridade de atendimento, mesmo na ausência de treinamento, já que o grau de confiabilidade interavaliadores foi considerado de moderado a forte, representado pelo coeficiente Kappa que variou entre 0,47 e 0,77. Os dados corroboraram com estudo realizado com crianças em situação de urgência e emergência, também utilizando-se do Protocolo de ACCR, porém específico para pediatria. Neste estudo, atestou-se que este foi confiável para CR de crianças e adolescentes de modo a priorizar o atendimento, com qualquer enfermeiro, seja este treinado ou não..(1) Outro dado que mereceu atenção na pesquisa foi sobre o quantitativo de casos não urgentes que demandam a porta de entrada hospitalar e promovem a superlotação, 39,1% foram classificados como urgentes (vermelho, laranja e amarelo) e 60,9% como não urgentes (verde e azuis). Tais dados corroboram com outro estudo realizado em pronto atendimento pediátrico de Fortaleza-Ceará-Brasil, o qual participaram 200 pacientes, sendo 35,5% classificados como urgentes (laranja, amarelo e verde) e 45,0% como não urgentes (azuis).(1,21) Fato este, semelhante no âmbito da obstetrícia, outros estudiosos, também, avaliaram 736 mulheres atendidas no pronto atendimento obstétrico, sendo registrado o percentual de casos não urgentes com a predominância dos atendimentos (503 atendimentos: 70,6% dos casos); destaca-se que os casos urgentes representaram percentual de 29,4%.(7) Essas evidências demonstram a necessidade de reflexão quanto à perceptível necessidade de redução da demanda espontânea das prioridades clínicas não urgentes na rede hospitalar, sendo importante rever as condições de pactuações mais robustas entre a Atenção Primária à Saúde (APS) e a rede hospitalar, a fim de garantir a continuidade, o acesso e a integralidade do cuidar da usuária em todos os níveis de atenção e complexidade em saúde. Discute-se, também, a confiabilidade interavaliadores, nos casos de subestimação e a superestimação da prioridade de atendimento determinada pelos enfermeiros treinados e não treinados. Com relação à confiabilidade, um estudo contribuiu com a confiabilidade externa e interna do Protocolo de Manchester, de modo que os resultados evidenciaram confiabilidade substancial à quase perfeita dos interavaliadores (k= 0,78 e 0,86), porém, também, se constatou dados relacionados à superestimação e subestimação.(22) Outro estudo transversal, realizado em unidade de emergência adulto de um hospital geral de Santa Catarina, Brasil, registrou concordância substancial com tais achados, durante a aplicação de um protocolo institucional de ACCR, com concordância quase perfeita em todos os níveis de classificação. No entanto, foram encontrados casos de subestimação, nos quais os usuários deveriam ser classificados em níveis de atendimento de maior prioridade.(23) Corrobora-se com a reflexão de que a superestimação e a subestimação podem gerar classificações de risco de maior ou menor nível de prioridade, desnecessariamente, gerando alta demanda de casos prioritários, com maior tempo de espera, fator que poderá agravar a condição clínica da usuária, bem como provocar mortes nas filas de esperas do pronto atendimento.(24) Esse fato pode ser cogitado devido ao tempo de atuação e experiência profissional no serviço de pronto atendimento e CR. Todavia, um estudo avaliou quais fatores poderiam interferir na acurácia da triagem de enfermagem em um serviço de urgência, ressaltaram que enfermeiros com maior tempo de experiência profissional e com treinamento específico para uso dos protocolos em serviços de emergência atuam com maior segurança e eficácia em serviços de CR.(25) A presente pesquisa trouxe como implicação para a prática obstétrica que o protocolo do MS é considerado confiável para determinação da prioridade de atendimento a gestantes, parturientes e puérperas em situação de urgência e emergência, evidenciando que possam ser atendidas por enfermeiros treinados ou não treinados, independente do tempo de experiência profissional. Torna-se evidente, portanto, a necessidade de escuta qualificada, em tempo real, para promover melhor direcionamento da identificação dos riscos em que essa usuária se apresenta, com maior responsabilização pelas respostas rápidas e eficazes ao problema apresentado. Essas habilidades profissionais vem sendo construídas e aprimoradas ao longo dos dias, meses e anos de experiência, pois a experiência profissional, mesmo não declarada, associada ao treinamento específico para utilização dos protocolos de A&CR, pode ser considerado como padrão ouro para atuação do profissional de enfermagem enquanto gerenciador do primeiro atendimento, a fim de evitar decisão inadequada que possa trazer impactos negativos e/ou danos às usuária, aos filhos destas, às famílias, bem como para o profissional de saúde e, consequentemente, o sistema de saúde. Outro destaque do presente estudo é o subsidio para o uso de tecnologias em saúde confiáveis, como os protocolos de A&CR que forneçam subsídios e melhoria tanto nas avaliações clínicas quanto no atendimento das urgências e emergências, especialmente nas obstétricas realizadas por enfermeiro capacitados e sensibilizados a promover ambiente seguro, organizado e com assistência qualificada. Uma limitação a ser mencionada é a diferença estatisticamente significativa do tempo de atuação entre os grupos avaliadores, sejam treinados ou não. Ou seja, o grupo de enfermeiros não treinados tinha mais que o dobro de tempo de atuação do grupo de enfermeiros treinados. Ademais, verifica-se concordância com achados de estudo prévio, o qual evidenciou, também, a diferença significativa do tempo de atuação entre os grupos avaliadores, porém não avaliou diferença da concordância na CR.(25) Cabe indicar a necessidade de validade externa do estudo, como limitação importante, já que esta se refere ao potencial de generalização dos achados. O fato de ter sido realizado em uma única instituição de saúde, com protocolos institucionais e atuação dos enfermeiros com definições que podem ser distintas de outros contextos de atenção que utilizam esta ferramenta. Recomenda-se, portanto, a realização de novos estudos em outros cenários que utilizem o protocolo de A&CR-O contribuindo para confiabilidade do seu uso pelos enfermeiros na CR. Como sugestão, expõe-se a necessidade da utilização de protocolos voltados, exclusivamente, para as singularidades da obstetrícia no A&CR–O nas maternidades nacionais e internacionais, no intuído de nortear a assistência prestada às mulheres no contexto da gestação, parto e nascimento. Além disso, sugere-se integrar esse tema na formação dos profissionais de saúde que atuam em obstetrícia. Já que a expertise nessa área poderá promover a identificação precoce ainda no pronto atendimento dos agravos e a pronta ação beneficiará e reduzirá danos às mulheres e suas famílias na assistência ao parto e nascimento. Conclusão Para mudanças nos indicadores de morbimortalidade materna, fetal e neonatal, os resultados desta pesquisa confirmaram a confiabilidade do protocolo de A&CR-O para determinação da prioridade clínica de atendimento em obstetrícia, uma vez que, demonstrou concordância moderada a forte, apesar da baixa sensibilidade ao comparar a indicação do risco obstétrico, por enfermeiros treinados e não treinados. Na CR, o acolhimento e a estratificação do risco necessitam estar alinhados, pois essa junção é de fundamental importância para avaliação e ação rápida quando necessária, além de ser campo de destaque para atuação do profissional enfermeiro, o que possibilita melhoria de acesso para a usuária e além de promover equidade no atendimento. Referências 1 1. Magalhães FJ, Lima FE, Almeida PC, Ximenes LB, Chaves CM. Care protocols with risk classification in pediatrics: inter-observer reliability. Acta Paul Enferm. 2017;30(3):262-70. Magalhães FJ Lima FE Almeida PC Ximenes LB Chaves CM Care protocols with risk classification in pediatrics: inter-observer reliability Acta Paul Enferm 2017 30 3 262 270 2 2. Lacerda AS, Sauthier M, Paes GO, Teixeira ER. Embracement with risk classification: relationship of justice with the user. Rev Bras Enferm. 2019;72(6):1496-503. Lacerda AS Sauthier M Paes GO Teixeira ER Embracement with risk classification: relationship of justice with the user Rev Bras Enferm 2019 72 6 1496 1503 3 3. Belo Horizonte. Secretaria Municipal de Saúde. Comissão Perinatal. Associação Mineira de Ginecologia e Obstetrícia. Protocolo do acolhimento com classificação de risco em obstetrícia e principais urgências obstétricas. Belo Horizonte (MG): Secretaria Municipal de Saúde; 2010. Belo Horizonte Secretaria Municipal de Saúde Comissão Perinatal Associação Mineira de Ginecologia e Obstetrícia Protocolo do acolhimento com classificação de risco em obstetrícia e principais urgências obstétricas Belo Horizonte (MG) Secretaria Municipal de Saúde 2010 4 4. Brasil. Ministério da Saúde. Portaria nº 1.459, de 24 de junho de 2011. Institui, no âmbito do Sistema Único de Saúde - SUS - a Rede Cegonha. Brasília: Ministério da Saúde; 2011 [citado 2023 Nov 28]. Disponível em: https://bvsms.saude.gov.br/bvs/saudelegis/gm/2011/prt1459_24_06_2011.html Brasil Ministério da Saúde Portaria nº 1.459, de 24 de junho de 2011. Institui, no âmbito do Sistema Único de Saúde - SUS - a Rede Cegonha Brasília Ministério da Saúde 2011 citado 2023 Nov 28 https://bvsms.saude.gov.br/bvs/saudelegis/gm/2011/prt1459_24_06_2011.html 5 5. Brasil. Ministério da Saúde. Manual de Acolhimento e Classificação de Risco em Obstetrícia. Brasília: Ministério da Saúde; 2014 [citado 2023 Nov 28]. Disponível em: https://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia.pdf Brasil Ministério da Saúde Manual de Acolhimento e Classificação de Risco em Obstetrícia Brasília Ministério da Saúde 2014 citado 2023 Nov 28 https://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia.pdf 6 6. Brasil. Ministério da Saúde. Portaria GM/MS nº 13, de 13 de janeiro de 2023. Revoga Portarias que específica e dá outras providências. Brasília (DF): Ministério da Saúde; 2023 [citado 2023 Nov 28]. Disponível em: https://bvsms.saude.gov.br/bvs/saudelegis/gm/2023/prt0013_16_01_2023.html Brasil Ministério da Saúde Portaria GM/MS nº 13, de 13 de janeiro de 2023. Revoga Portarias que específica e dá outras providências Brasília (DF) Ministério da Saúde 2023 citado 2023 Nov 28 https://bvsms.saude.gov.br/bvs/saudelegis/gm/2023/prt0013_16_01_2023.html 7 7. Brilhante AF, Vasconcelos CT, Bezerra RA, Lima SK, Castro RC, Fernandes AF. Implementation of protocol for reception with risk classification in an obstetric emergency unit. Rev Rene. 2016;17(4):569-75. Brilhante AF Vasconcelos CT Bezerra RA Lima SK Castro RC Fernandes AF Implementation of protocol for reception with risk classification in an obstetric emergency unit Rev Rene 2016 17 4 569 575 8 8. Brasil. Ministério da Saúde. Manual de Acolhimento e Classificação de Risco em Obstetrícia. Brasília (DF): Ministério da Saúde; 2017 [citado 2023 Nov 28]. Disponível em: https://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia_2017.pdf Brasil Ministério da Saúde Manual de Acolhimento e Classificação de Risco em Obstetrícia Brasília (DF) Ministério da Saúde 2017 citado 2023 Nov 28 https://bvsms.saude.gov.br/bvs/publicacoes/manual_acolhimento_classificacao_risco_obstetricia_2017.pdf 9 9. Michels BD, Marin DF, Iser BP. Time series analysis of in-hospital maternal case fatality ratio in the postpartum period according to pregnancy risks and route of delivery in the regions of Brazil, 2010-2019. Epidemiol Serv Saúde. 2022;31(3):e2022461. Michels BD Marin DF Iser BP Time series analysis of in-hospital maternal case fatality ratio in the postpartum period according to pregnancy risks and route of delivery in the regions of Brazil, 2010-2019 Epidemiol Serv Saúde 2022 31 3 e2022461 10 10. Tofani LF, Furtado LA, Andreazza R, Bigal AL, Feliciano DG, Silva GR, et al. A Rede de Atenção às Urgências e Emergências no Brasil: revisão integrativa da literatura. Saúde Soc. 2023;32(1):e220122pt. Tofani LF Furtado LA Andreazza R Bigal AL Feliciano DG Silva GR et al A Rede de Atenção às Urgências e Emergências no Brasil: revisão integrativa da literatura Saúde Soc 2023 32 1 e220122pt 11 11. Serafim RC, Temer MJ, Parada CM, Peres HH, Serafim CT, Jensen R. System for reception and risk classification in obstetrics: a technical quality assessment. Rev Latino-Am Enfermagem. 2020;28:e3330. Serafim RC Temer MJ Parada CM Peres HH Serafim CT Jensen R System for reception and risk classification in obstetrics: a technical quality assessment Rev Latino-Am Enfermagem 2020 28 e3330 12 12. Moudi A, Iravani M, Najafian M, Zareiyan A, Forouzan A, Mirghafourvand M. Obstetric triage systems: a systematic review of measurement properties (Clinimetric). BMC Pregnancy Childbirth. 2020;20(1):275. Moudi A Iravani M Najafian M Zareiyan A Forouzan A Mirghafourvand M Obstetric triage systems: a systematic review of measurement properties (Clinimetric) BMC Pregnancy Childbirth 2020 20 1 275 13 13. Moudi A, Iravani M, Najafian M, Zareiyan A, Forouzan A, Mirghafourvand M. The development and validation of an obstetric triage acuity index: a mixed-method study. J Matern Fetal Neonatal Med. 2020;35(9):1719-29. Moudi A Iravani M Najafian M Zareiyan A Forouzan A Mirghafourvand M The development and validation of an obstetric triage acuity index: a mixed-method study J Matern Fetal Neonatal Med 2020 35 9 1719 1729 14 14. Grosgurin O, Gayet-Ageron A, Suppan L, Simon J, Villar A, Trombert V, et al. Reliability and performance of the Swiss Emergency Triage Scale used by paramedics. Eur J Emerg Med. 2019;26(3):188-93. Grosgurin O Gayet-Ageron A Suppan L Simon J Villar A Trombert V et al Reliability and performance of the Swiss Emergency Triage Scale used by paramedics Eur J Emerg Med 2019 26 3 188 193 15 15. Fakari FR, Simbar M, Modares SZ, Majd HA. Obstetric Triage Scales; a narrative review. Arch Acad Emerg Med. 2019;7(1):e13. Fakari FR Simbar M Modares SZ Majd HA Obstetric Triage Scales; a narrative review Arch Acad Emerg Med 2019 7 1 e13 16 16. Robbins T, Shennan A, Sandall J. Modified early obstetric warning scores: a promising tool but more evidence and standardization is required. Acta Obstet Gynecol Scand. 2019;98(1):7-10. Robbins T Shennan A Sandall J Modified early obstetric warning scores: a promising tool but more evidence and standardization is required Acta Obstet Gynecol Scand 2019 98 1 7 10 17 17. Vanbelle S. Asymptotic variability of (multilevel) multirater kappa coefficients. Stat Methods Med Res. 2018;28(10-11):3012-26. Vanbelle S Asymptotic variability of (multilevel) multirater kappa coefficients Stat Methods Med Res 2018 28 10-11 3012 3026 18 18. Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-74. Landis JR Koch GG The measurement of observer agreement for categorical data Biometrics 1977 33 1 159 174 19 19. Kawamura T. Interpretação de um teste sob a visão epidemiológica: eficiência de um teste. Arq Bras Cardiol. 2002;79(4):437-41. Kawamura T Interpretação de um teste sob a visão epidemiológica: eficiência de um teste Arq Bras Cardiol 2002 79 4 437 441 20 20. Cuschieri S. The STROBE guidelines. Saudi J Anaesth. 2019;13(Suppl 1):31-4. Cuschieri S The STROBE guidelines Saudi J Anaesth 2019 13 Suppl 1 31 34 21 21. Magalhães FJ, Lima FE, Barbosa LP, Guimarães FJ, Felipe GF, Rolim KM, et al. Risk classification of children and adolescents: priority of care in the emergency unit. Rev Bras Enferm. 2020;73(Suppl 4):e20190679. Magalhães FJ Lima FE Barbosa LP Guimarães FJ Felipe GF Rolim KM et al Risk classification of children and adolescents: priority of care in the emergency unit Rev Bras Enferm 2020 73 Suppl 4 e20190679 22 22. Souza CC, Chianca TC, Cordeiro Junior W, Rausch MC, Nascimento GF. Reliability analysis of the Manchester Triage System: inter-observer and intra-observer agreement. Rev Lat Am Enfermagem. 2018;26:e3005. Souza CC Chianca TC Cordeiro W Junior Rausch MC Nascimento GF Reliability analysis of the Manchester Triage System: inter-observer and intra-observer agreement Rev Lat Am Enfermagem 2018 26 e3005 23 23. Moura BR, Oliveira GN, Medeiros G, Vieira AS, Nogueira LS. Rapid triage performed by nurses: Signs and symptoms associated with identifying critically ill patients in the emergency department. Int J Nurs Pract. 2022;28(1):e13001. Moura BR Oliveira GN Medeiros G Vieira AS Nogueira LS Rapid triage performed by nurses: Signs and symptoms associated with identifying critically ill patients in the emergency department Int J Nurs Pract 2022 28 1 e13001 24 24. Andrade-Silva FB, Takemura RL, Bellato RT, Leonhardt MC, Kojima KE, Silva JD. Validity and Reliability of the Manchester Scale used in the orthopedic emergency department. Acta Ortop Bras. 2019;27(1):50-4. Andrade-Silva FB Takemura RL Bellato RT Leonhardt MC Kojima KE Silva JD Validity and Reliability of the Manchester Scale used in the orthopedic emergency department Acta Ortop Bras 2019 27 1 50 54 25 25. Cetin SB, Eray O, Cebeci F, Coskun M, Gozkaya M. Factors affecting the accuracy of nurse triage in tertiary care emergency departments. Turk J Emerg Med. 2020;20(4):163-7. Cetin SB Eray O Cebeci F Coskun M Gozkaya M Factors affecting the accuracy of nurse triage in tertiary care emergency departments Turk J Emerg Med 2020 20 4 163 167 10.37689/acta-ape/2025AO002851i Original Article Inter-rater agreement on the protocol for care and risk classification in obstetrics 0000-0003-3999-8106 Lima Débora Rodrigues collaborated in the design of the study data analysis and interpretation writing of the article relevant critical review of the intellectual content and approval of the final version to be published 1 0000-0003-0104-1528 Magalhães Fernanda Jorge collaborated in the design of the study data analysis and interpretation writing of the article relevant critical review of the intellectual content and approval of the final version to be published 2 0000-0001-5321-5708 Felisbino-Mendes Mariana Santos collaborated in the design of the study data analysis and interpretation writing of the article relevant critical review of the intellectual content and approval of the final version to be published 1 0000-0002-5454-2062 Bueno Mariana collaborated in the design of the study data analysis and interpretation writing of the article relevant critical review of the intellectual content and approval of the final version to be published 3 0000-0001-8170-7523 Duarte Elysângela Dittz collaborated in the design of the study data analysis and interpretation writing of the article relevant critical review of the intellectual content and approval of the final version to be published 1 1 Brazil Universidade Federal de Minas Gerais, Belo Horizonte, MG, Brazil. 2 Brazil Universidade Estadual do Ceará, Fortaleza, CE-Brazil. 3 Canada The Hospital for Sick Children, Toronto, Canada. Corresponding author: Débora Rodrigues Lima; E-mail: deborar265@gmail.com Associate Editor: Kelly Pereira Coca (https://orcid.org/0000-0002-3604-852X) Escola Paulista de Enfermagem, Universidade Federal de São Paulo, São Paulo, SP, Brasil Conflicts of interest: nada a declarar. eAPE0002851i Abstract Objective To determine the degree of agreement, sensitivity and specificity of the priority of care determined by inter-rater nurses, based on the use of the protocol for care and risk classification in obstetrics, in an obstetric emergency unit. Method Cross-sectional study with a methodological approach, carried out in a maternity school in Belo Horizonte-MG-Brazil, from September to November 2020. It was carried out in two stages: 1) Documental with an evaluation of the records of nurse classifiers in the medical records of pregnant women, parturients or puerperal women; 2) Interviews with trained and not trained nurses in risk classification. Sensitivity and specificity were analyzed and the Kappa coefficient (k) was used to assess agreement. Results The degree of inter-rater agreement (trained and not trained nurses) was found to be moderate to strong (k= 0.47 and 0.77). There was a tendency to underestimate the red (sensitivity of 85%; specificity of 99%) and yellow priorities (sensitivity of 54%; specificity of 85%), as well as overestimate the green (sensitivity of 62%; specificity of 84%) and blue priorities (sensitivity of 89%, specificity of 98%), although there were no significant differences. Despite satisfactory agreement and specificity, sensitivity was low, due to the rates of underestimation and overestimation in risk classification. Conclusion The protocol is reliable for determining priority of care in obstetrics, but its sensitivity was low when applied to determining priority of care by trained and not trained nurses. User embracement Risk Risk assessment Emergency nursing Pregnant women Hospital, maternity Sensitivity and specificity Introduction Priority Care with Risk Classification (PCRC) refers to the act of care with active listening. It also determines the priority of care for patients in urgent and emergency situations.(1) Because of these situations, health professionals working in urgent and emergency care units, especially nurses, need to have the knowledge, skills and attitude to welcome, classify risk and determine the priority of care for health users in these services.(2) In addition, a careful assessment of the patient’s clinical conditions is required, in line with the user’s complaint. This requires rapid and immediate selection of the information collected with effective and efficient intervention.(1) In obstetrics, the C&RC (Care and Risk Classification) proposal emerged in the municipality of Belo Horizonte in 2010, with the creation of a specific protocol for dealing with demands relating to the pregnancy and puerperal process.(3) At the national level, there have been changes created by the Stork Network, with the obligation to carry out C&RC in obstetric care services.(4) Maternal and Child Care (MCC) was revoked, and the Stork Network was resumed as a strategy to reinforce the importance of C&RC and risk stratification in obstetric and neonatal care services, following the clinical and regulatory guidelines of the Ministry of Health (MS).(5,6) In order to follow these guidelines, the Ministry of Health is developing health technologies, such as the Protocol for Care and Risk Classification in Obstetrics (C&RC-O), which aims to improve maternal and neonatal morbidity and mortality indicators, mitigate maternal and child pilgrimage, decongest urgent and emergency care units, promote standardized and systematic language of care, in order to guide professional practice in maternity wards and in the different obstetrics services in Brazil.(7,8) The aim of this study is to certify the reproducibility of such a protocol as a valid, safe and favorable technology for guiding clinical judgment in health; for identifying the risk classification (RC) discriminator and clinical indicators in health, which are the basis for determining priority of care,(1,9) as they do in other obstetrics scales and protocols.(7,8,10-16) Therefore, the objective was to determine the degree of inter-rater agreement, sensitivity and specificity of the priority of care determined by nurses, based on the use of the protocol for reception and risk classification in obstetrics, in an obstetric emergency unit. Methods The study took place in a philanthropic, non-governmental maternity hospital linked to the Unified Health System (SUS) in Belo Horizonte, Minas Gerais, Brazil. It is a health service with obstetric and neonatal beds, recognized as a national reference for the humanization of labour and birth care. The study used a cross-sectional methodological approach to analyze the reproducibility of the Ministry of Health’s C&RC-O protocol through two stages: the first was a retrospective documentary study, evaluating the records of nurse classifiers in the medical records of pregnant women, parturients and/or puerperal women; the second was a semi-structured interview with nurses trained and not trained in risk classification.(8) Data collection took place between September and November 2020. Due to the SARS-CoV-2 (COVID-19) pandemic, the configuration of the survey was modified, making it necessary, in order to reduce exposure, to collect data retrospectively and non-participatively from the cases seen in the emergency room. The sample size was calculated based on the estimated proportion (p) of the unknown population. We considered agreement of at least 80% (p = 0.80) for the degree of inter-rater agreement, a margin of error of 10% on this estimate and a 95% confidence interval. The final sample consisted of 270 evaluations of the C&RC-O Protocol, according to table 1. Table 1 Number of records evaluated according to clinical priority by color Classificação n(%) [95%CI] Red 28(10) [7; 15] Orange 59(22) [17; 27] Yellow 64(24) [19; 29] Green 62(23) [18; 28] Blue 57(21) [16; 26] Total 270(100) - n - sample size; 95% CI - 95% Confidence Interval Regarding the priority level of care and its classification by color, we followed the C&RC-O Protocol(5), which recommends: Red - Priority I (Emergency - immediate care); Orange - Priority II (Highest urgency - care within 15 minutes); Yellow - Priority III (Urgent - care within 30 minutes); Green - Priority IV (Lowest urgency - care within 120 minutes) and; Blue - Priority V (non-urgent - non-priority care or referral according to agreement). The medical records were randomly selected by drawing lots for the colors of the RC. To do this, we searched for the identification numbers of the medical records of the women seen at the C&RC-O, from November 2019 to May 2020, which generated a numerical table, making it possible to randomly select the participating document from the universe of medical records. Those that contained complete data and were properly filled in were included. The variables collected to characterize the women were: name, age, parity, gestational age, main complaint, presence of contractions and/or loss of fluid, pain, vaginal bleeding, vital data, flow chart and risk classification determined by the nurse. As for the profile of the professionals, variables such as age, length of time working in obstetrics and whether they had any training related to C&RC-O were analyzed. The sample calculation for the participating nurses took into account the comparative nature involving two proportions: 1) proportion of inter-rater agreement (Trained Nurses Group - p1) in relation to each of the five colors (red, orange, yellow, green and blue), according to the degree of complications and risk of death determined by the C&RC-O Protocol; 2) proportion of inter-rater agreement (Not Trained Nurses Group - p2). An estimate of 90% was considered, with a significance level of 5% (α = 0.05), and power of 80% (β= 0.20). In the end, it was necessary to select ten nurses in each group (trained versus not trained) in order to identify differences of at least 50% in the agreement rate of each group. These two groups were selected using simple random sampling, which included a search for trained and not trained nurses at the institution with the coordination, including those with at least two years’ experience in care. Trained nurses were those who had been previously trained by the Ministry of Health (MH) team, through a workshop lasting at least 20 hours. Not trained nurses were those who had never worked in the RC and had no previous training. No training was carried out during the research; those who already had experience and proven certification were sought out. During these interviews, each nurse received 27 clinical cases with information extracted from the medical records selected in the first stage of this study, totaling 270 cases. These cases were assessed by ten trained nurses and ten not trained nurses, and answered individually, together with the researcher, in a private place, preserving confidentiality. As for the organization and analysis of the data, the degree of agreement between the trained and not trained nurses was assessed using the Kappa coefficient (k). To interpret the k classification, the following were considered: k<0 (no agreement), k = 0 to 0.20 (weak), k = 0.21 to 0.40 (reasonable), k =0.41 to 0.60 (moderate), k =0.61 to 0.80 (strong) and k= 0.81 to 1.0 (perfect).(17,18) In addition, sensitivity was used to measure the ability to identify whether women classified at the highest levels of urgency had an underestimated classification, and specificity was used to verify the likelihood of a patient being classified according to clinical priority as non-urgent and not requiring urgent care.(19) Strengthening the reporting of observational studies in epidemiology (STROBE) was used as a guide for methodological rigor.(20) The interviews with the nurses took place after the signing of the Informed Consent Form, respecting the ethical and legal aspects of Resolution 466/2012, with approval, according to opinion no. 4198387 of the Research Ethics Committee of the University and the Health Institution (Certificate of Presentation for Ethical Appraisal: 19261419.0.0000.5149). Results Of the 270 medical records selected, 88% were pregnant women confirmed by laboratory tests, imaging tests or clinical evaluation, 9% were puerperal women and 3% had delayed periods and had doubts about their pregnancy. In order to characterize this population, information was collected on users’ age, gestational age and type of complaint. After evaluating the 270 medical records, it was possible to generate a profile of the users seen at the obstetrics reception and risk classification service, who were aged between 21 and 33 (70%), of whom 88% were pregnant, 49.7% were primigravidae and 72% had a gestational age of 40 weeks or more. Figure 1 shows the age of the population analyzed (n=270). Most of the patients (70%) were between 21 and 33 years old at the time of their consultation; their ages ranged from 14 to 45 years, with a mean of 27 and a median of 26 years, a standard deviation of 7 years and a coefficient of variation of 26%, indicating moderate variability between them in terms of age. Figure 1 Histogram of patients’ ages Figure 2 shows gestational age (GA) at the time of reception and risk classification. 72% of patients were 40 weeks or over, ranging from 5 to 43 weeks, with a mean of 36 and median of 39 weeks, standard deviation of 7 weeks and coefficient of variation of 19%, indicating little variability in GA. Figure 2 Histogram showing the distribution of gestational age of pregnant patients The reasons for users seeking obstetric care are listed in Table 2, which are: contractions (62/23%), loss of fluid (42/15.6%), change in blood pressure (22/8.1%) and increased bleeding (16/6.7%). Table 2 Type of complaint made by users at the time of risk classification Type of complaint n(%) Contractions 62(23.0) Loss of fluid 42(15.6) Change in blood pressure 22(8.1) Increased bleeding 18(6.7) Assessment for induction 16(5.9) Consultation, no pain complaints 11(4.1) Headache 10(3.7) Expulsive period 9(3.3) Menstrual delay 7(2.6) Ultrasound evaluation 6(2.2) Complaint of abdominal pain 6(2.2) Stitch removal 6(2.2) Colic 5(1.9) Would like a medical assessment 5(1.9) Elective caesarean section 5(1.9) Gestational age assessment 4(1.5) Complains of lower back pain 4(1.5) Lower limb swelling 4(1.5) Delivery in transit 3(1.1) Other complaints* 25(9.1) Total 270(100.0) * Other complaints: This variable was created for cases where the absolute frequency was between 1 or 2 times and the percentage was less than 1%: “Miscarriage and heavy bleeding”; “Evaluate for placement of intrauterine device”; “Breast abscess”; “Evaluate breast lump”; “Discharge after normal delivery”; “Wishes to receive guidance on normal delivery”; “Urine infection”, “Interrupt pregnancy / gestational diabetes mellitus”; “Home birth”; “Loss of mucous plug”.” With regard to the nurses who took part in the research, a significant difference was found in their age and length of time working, with trained nurses having a lower age range (average of 32.7 years) and shorter time (4.4 years) working, when compared to not trained nurses with an average of 38.8 years of age and 9.0 years working in clinical practice, as shown in Table 3. Table 3 Comparison of the trained versus not trained group: analysis of age and length of professional career Characteristics of nurses Trained nurses Not trained nurses p-value* Mean (±SD) Median Mean (±SD) Median Age (years) 32.7 (7.4) 30.0 38.8 (3.5) 38.5 0.049 Length of professional career (years) 4.4 (2.0) 4.0 9.0 (2.2) 9.0 0.001 SD - Standard deviation; * Measures of central tendency Table 4 shows the results of the data analysis regarding the responses determined by the trained and not trained nurses in terms of the degree of agreement, specificity and sensitivity in relation to the priorities of care determined. The color red - priority I had strong agreement (k= 0.692) and sensitivity of 85.0%, which shows that almost all the users classified as red by the trained nurse were also classified with the same level of priority by the not trained nurse. For priority level II - orange, agreement was also considered strong (k= 0.631), and sensitivity was 74.0%, which is lower than for the red classification. However, most of the users classified as orange by the trained nurse had the same classification by the not trained nurse. For yellow, priority III, agreement between the nurses was moderate (k= 0.522), and sensitivity was the lowest of all the clinical priorities (54.0%). Specificity was 85.0%, i.e. 15.0% of the patients classified as yellow by the trained nurse were overestimated by the not trained nurse. Thus, the risk attributed by the nurse was greater than the risk presented by the user at the time of care, demonstrating an overestimation of risk. Table 4 Risk classification agreement between trained and not trained nurses, using the C&RC-O protocol Color classification Number of patients classified by the trained nurse Number of patients classified by the NOT trained nurse Color sensitivity Color specificity Kappa (k) Degree of agreement Red 13 11 85% 99% 0.692 Strong Orange 57 42 74% 93% 0.631 Strong Yellow 72 39 54% 85% 0.522 Moderate Green 81 50 62% 84% 0.495 Moderate Blue 47 42 89% 98% 0.696 Strong At priority level IV, green, agreement between the nurses was moderate (k= 0.485) and sensitivity was 62.0%. Specificity in this group had the worst performance of all the clinical priorities (84.0%), which indicates a greater occurrence of false positives, i.e. the risk attributed by the nurse was greater than the risk presented by the user at the time of care. As for priority level V, blue, the agreement between the nurses was strong (k=0.696), the sensitivity was 89.0%, confirming that almost all (42/47) of the users classified as “blue” by the trained nurse agreed with the classification given by the not trained nurse. Specificity was also high (98.0%). Table 5 shows the agreement and kappa coefficient (k) for analyzing the flowcharts and risk classifications in comparisons between trained and not trained nurses, trained nurses and data from medical records, and not trained nurses and data from medical records. The agreement in the flowcharts between the data collected from the trained nurses and the data from the not trained nurses was considered perfect (k=0.821), corresponding to a gross agreement of 87.0%. With regard to risk classification, agreement between the data collected and compared between trained and not trained nurses was considered moderate (68.0%; k= 0.588). The agreement between the data collected from the medical records and the trained nurses was considered moderate (k=0.611), i.e. a good index in reliability studies. Gross agreement was 70.0%. The agreement between the data collected from the medical records and the not trained nurses was moderate (k=0.599), slightly lower when compared to the trained nurses. Gross agreement was 69.0%. Table 5 Summary of degrees of agreement Type of comparison No. of patients with perfect agreement Gross agreement rate Kappa Degree of agreement Trained versus not trained nurse 235 87% 0.821 Perfect Trained nurse versus not trained nurse 184 68% 0.588 Moderate Trained nurse versus medical record 188 70% 0.611 Strong Nurse not trained versus medical record 185 69% 0.599 Moderate Discussion The results showed that risk classification in the obstetric emergency room had good agreement between the classifying nurses, especially in priorities I and II, i.e. emergency and greater urgency in red and orange, respectively. However, in the classifications considered urgent (yellow) and less urgent (green), there was a greater chance of false positives, i.e. a tendency for trained or not trained nurses to overestimate. In any case, the assessment tool allows for a reasonable determination of the priority of care, even in the absence of training, since the degree of inter-rater reliability was considered moderate to strong, represented by the Kappa coefficient which varied between 0.47 and 0.77. The data corroborated a study carried out with children in urgent and emergency situations, also using the PCRC Protocol, but specifically for pediatrics. In this study, it was found to be reliable for RC of children and adolescents in order to prioritize care, with any nurse, whether trained or not.(1) Another piece of data that merited attention in the study was the number of non-urgent cases that demand hospital admission and cause overcrowding: 39.1% were classified as urgent (red, orange and yellow) and 60.9% as non-urgent (green and blue). These data corroborate another study carried out in a pediatric emergency department in Fortaleza, Ceará, Brazil, in which 200 patients participated, 35.5% of whom were classified as urgent (orange, yellow and green) and 45.0% as non-urgent (blue).(1,21) This is a similar fact in obstetrics. Other researchers have also evaluated 736 women treated in obstetric emergency rooms, and the percentage of non-urgent cases was recorded as predominant (503 visits: 70.6% of cases); it should be noted that urgent cases accounted for 29.4%.(7) This evidence shows that there is a need to reflect on the perceived need to reduce spontaneous demand for non-urgent clinical priorities in the hospital network, and that it is important to review the conditions for more robust agreements between Primary Health Care (PHC) and the hospital network, in order to guarantee continuity, access and comprehensive care for users at all levels of health care and complexity. Inter-rater reliability is also discussed, in cases of underestimation and overestimation of the priority of care determined by trained and not trained nurses. With regard to reliability, one study looked at the external and internal reliability of the Manchester Protocol. The results showed substantial to almost perfect inter-rater reliability (k= 0.78 and 0.86), but also data related to overestimation and underestimation.(22) Another cross-sectional study, carried out in an adult emergency unit of a general hospital in Santa Catarina, Brazil, found substantial agreement with these findings during the application of an institutional PCRC protocol, with almost perfect agreement at all levels of classification. However, cases of underestimation were found, in which users should have been classified in higher priority levels of care.(23) This corroborates the idea that overestimation and underestimation can lead to risk classifications of a higher or lower level of priority, unnecessarily, generating a high demand for priority cases, with longer waiting times, a factor that can aggravate the user’s clinical condition, as well as causing deaths in emergency room queues.(24) This may be due to the length of time they have worked and their professional experience in emergency and RC services. However, a study evaluating which factors could interfere with the accuracy of nursing triage in an emergency service pointed out that nurses with more professional experience and specific training in the use of protocols in emergency services work more safely and effectively in RC services.(25) The implications of this study for obstetric practice are that the MH protocol is considered reliable for determining the priority of care for pregnant women, parturients and puerperal women in urgent and emergency situations, showing that they can be cared for by trained or not trained nurses, regardless of their length of professional experience. It is clear, therefore, that there is a need for qualified listening, in real time, in order to better target the identification of the risks faced by this user, with greater accountability for rapid and effective responses to the problem presented. These professional skills have been built up and refined over the days, months and years of experience, because professional experience, even if undeclared, combined with specific training in the use of C&RC protocols, can be considered the gold standard for nursing professionals to act as first aid managers, in order to avoid inappropriate decisions that could have negative impacts and/or harm users, their children, families, as well as health professionals and, consequently, the health system. Another highlight of this study is the support for the use of reliable health technologies, such as C&RC protocols, which provide subsidies and improvements both in clinical assessments and in urgent and emergency care, especially obstetric care carried out by nurses who are trained and sensitized to promote a safe, organized environment with qualified care. One limitation to be mentioned is the statistically significant difference in the length of time the evaluating groups have been working, whether trained or not. In other words, the group of not trained nurses had more than twice as much time working as the group of trained nurses. Furthermore, this is in line with the findings of a previous study, which also showed a significant difference in the length of time the groups had been working, but which did not assess differences in agreement in RC.(25) It is worth mentioning the need for external validity of the study as an important limitation, since this refers to the potential for generalization of the findings. The fact that the study was carried out in a single health institution, with institutional protocols and nurses working with definitions that may be different from other care settings that use this tool. It is therefore recommended that further studies be carried out in other settings using the C&RC-O protocol, contributing to the reliability of its use by nurses in RC. As a suggestion, there is a need to use protocols focused exclusively on the singularities of obstetrics in the C&RC-O in national and international maternity hospitals, in order to guide the care provided to women in the context of pregnancy, labor and birth. It is also suggested that this topic be integrated into the training of health professionals who work in obstetrics. Since expertise in this area can promote early identification of problems, and prompt action will benefit and reduce harm to women and their families during labor and birth. Conclusion For changes in maternal, fetal and neonatal morbidity and mortality indicators, the results of this study confirmed the reliability of the C&RC-O protocol for determining the clinical priority of care in obstetrics, since it showed moderate to strong agreement, despite low sensitivity when comparing the indication of obstetric risk by trained and not trained nurses. In obstetric care, reception and risk stratification need to be aligned, as this combination is of fundamental importance for rapid assessment and action when necessary, as well as being a field of emphasis for nurses, which improves access for users and promotes equity in care.