Introdução

A queda de altura está entre as principais causas de acidentes nas atividades que integram a construção de edificações verticais (Newaz et al., 2022; Zermane et al., 2023; Johansen; Schultz; Teizer, 2024). No contexto brasileiro, para o planejamento das atividades da construção que envolvem o trabalho em altura, a Norma Regulamentadora n° 35 (NR 35) (Brasil, 2023) estabelece a necessidade de adotar medidas que eliminem o risco de queda dos trabalhadores quando não é possível evitar esse tipo de trabalho. Nesse sentido, deve-se implementar prioritariamente sistemas de proteção coletiva contra quedas (SPCQ) (Brasil, 2020, 2023). Dentre os SPCQ usualmente utilizados nas construções brasileiras destacam-se os sistemas de guarda-corpo e rodapés (GcR), plataformas e fechamento de aberturas em pavimentos (Peñaloza; Formoso; Saurin, 2015; Borges; Peinado, 2019), os quais são regulamentados pela Norma Regulamentadora n° 18 (NR 18) (Brasil, 2020).

Apesar da ampla utilização de GcR nos contextos brasileiro e internacional (Peñaloza; Formoso; Saurin, 2015; Kolar; Chen; Luo, 2018; Baruffi; Costella; Pravia, 2021), a inexistência ou inadequação desses sistemas estão entre os principais fatores que resultam em acidentes por queda de altura na construção (Nadhim et al., 2016; Zlatar et al., 2019; Khan et al., 2023). Um sistema construtivo amplamente utilizado na produção de habitação popular em diversos países como Brasil (Araújo; Ferreira; Costa, 2024) e África do Sul (Windapo et al., 2021) consiste em paredes de concreto moldadas no local. Na produção de edificações verticais utilizando esse sistema construtivo, a montagem e a desmontagem do GcR são realizadas com frequência devido à agilidade na execução da estrutura (Peinado et al., 2023), o que pode influenciar no funcionamento do GcR. A partir disso, a literatura destaca a necessidade de abordagens mais eficientes para as inspeções de sistemas e equipamentos de segurança a partir da adoção de tecnologias digitais (Kolar; Chen; Luo, 2018; Newaz et al., 2022; Dobrucali et al., 2024a, 2024b).

Asadzadeh et al. (2020) conduziram ampla sistematização das contribuições de tecnologias digitais (principalmente a base de sensores) e Modelagem da Informação da Construção (Building Information Modelling - BIM) para a segurança no trabalho na construção. Entre as tecnologias digitais mais utilizadas, encontram-se BIM e visão computacional em primeiro e segundo lugar, respectivamente, seguidos por drones (também tratadas como aeronaves remotamente pilotadas – RPA) em quinto lugar. Dobrucali et al. (2024a) realizaram uma análise bibliométrica do uso de tecnologias digitais para a segurança do trabalhador na construção, destacando que tecnologias a base de sensores, inteligência artificial (entre elas, técnicas de visão computacional) e BIM estão entre as tecnologias de maior tendência na pesquisa científica atual.

Apesar do aumento da utilização de tecnologias em canteiros de obras, Sawhney e Odeh (2020) destacam que, de forma geral, um dos desafios para a implementação da transformação digital no setor da construção consiste na ampla adoção da abordagem take-one-at-a-time pelas organizações de construção. Essa abordagem consiste na implementação de uma tecnologia por vez, não aproveitando os benefícios da integração das tecnologias (Sawhney; Odeh, 2020). Wang et al. (2024) também destacam que o foco das organizações na utilização de tecnologias individuais, não em um conjunto de tecnologias, é uma das barreiras para a implementação de tecnologias digitais e, portanto, para a transformação digital do setor rumo à Construção 4.0.

Asadzadeh et al. (2020) e Dobrucali et al. (2024a) ressaltam o avanço de estudos que tratam de tecnologias digitais utilizadas de forma integrada para a segurança na construção, dada a potencial maior eficácia quando comparada ao uso individual das tecnologias. Apesar disso, Asadzadeh et al. (2020) e Dobrucali et al. (2024a) não tratam sobre a integração de drones e visão computacional e sobre as contribuições resultantes dessa integração para as inspeções de segurança em canteiro de obras.

O uso de drones no contexto da segurança na construção é consagrado na literatura científica e algumas das aplicações relativas à etapa de controle da segurança consistem no apoio à inspeção das condições de segurança no canteiro (Irizarry; Costa, 2016; Gheisari; Esmaeili, 2019), identificação de locais de risco (Martinez; Gheisari; Alarcón, 2020), verificação da conformidade do ambiente de trabalho e do comportamento dos trabalhadores em relação às normas e procedimentos de segurança (Melo et al., 2017; Melo; Costa, 2019; Rey; Melo; Costa, 2021), suporte ao planejamento e controle da segurança (Lima; Costa, 2023), além da geração de banco de dados visuais que poderão dar suporte a outras ações no canteiro de obras. Martinez, Gheisari e Alarcón (2020) enfatizam que drones podem dar suporte à identificação de perigos e à avaliação dos riscos relacionados às atividades em altura, especialmente aqueles associados a alturas maiores, como em construções verticais.

Observa-se na literatura científica também o aumento das aplicações de visão computacional em inspeções de segurança em canteiro de obras nos últimos anos (Akinosho et al., 2020; Pham et al., 2021; Ottoni; Novo; Costa, 2023). São identificadas implementações principalmente de técnicas de aprendizado de máquina (AM) e, mais especificamente, de aprendizado profundo (AP) (campos da inteligência artificial) na detecção de equipamentos de proteção individual e de alguns SPCQ, entre outras aplicações (Akinosho et al., 2020; Pham et al., 2021; Ottoni; Novo; Costa, 2023). Conforme destacam Baduge et al. (2022), o monitoramento automatizado da segurança nos canteiros de obras utilizando inteligência artificial alcançará eficiência e acurácia superiores se comparados ao monitoramento realizado de forma manual, o que potencializa a busca por explorar essa área do conhecimento.

Ottoni et al. (2023) pontuam que um desafio para a aplicação de técnicas de AP no setor da construção consiste, muitas vezes, na disponibilidade de pequenos bancos de dados para treinamento desses algoritmos de detecção. Dada a dificuldade de aquisição de imagens, alguns trabalhos relacionados a temáticas da construção têm empregado técnicas de data augmentation (DA) para aumento desses bancos de imagens e posterior treinamento de algoritmos de AP (Kolar; Chen; Luo, 2018; Fang et al., 2020; Chen et al., 2023; Staffa Junior et al., 2023). DA é uma técnica para criação de dados artificiais para treinamento de algoritmos a partir dos dados de treinamento existentes (originais) aplicando, por exemplo, transformações geométricas (Brownlee, 2019; Shorten; Khoshgoftaar, 2019). O uso de técnicas de DA parte do pressuposto de que mais informações poderão ser extraídas do banco de dados original por meio de aumento da quantidade desses dados com a implementação de transformações (Shorten; Khoshgoftaar, 2019).

Em linhas gerais, tem-se que o uso de drones contribui para a inspeção da segurança e para a construção de bancos de imagens de locais de risco de queda de altura em canteiros de obras. O GcR é um SPCQ frequentemente utilizado nesses casos, pois restringe o acesso do trabalhador ao local em que poderá ocorrer a queda. Em construções que adotam o sistema construtivo de paredes de concreto moldadas no local, há a necessidade de otimizar o processo de inspeção desses SPCQ, uma vez que a montagem e desmontagem do GcR é realizada com frequência durante a execução da estrutura da edificação. Nesse sentido, o uso integrado de drones e visão computacional apresenta o potencial de otimizar essas inspeções. Apesar das imagens coletadas por drones poderem ser utilizadas para treinamentos de algoritmos de visão computacional com foco detecção de GcR nessas obras, a pequena quantidade de imagens coletadas (pequenos bancos de imagens) e a falta de padrão na coleta dessas imagens tendem a reduzir o desempenho do sistema de detecção automatizado.

Nesse sentido, o presente trabalho tem como finalidade desenvolver um sistema de detecção automatizada de GcR para suporte à inspeção de segurança em obras de paredes de concreto moldadas no local. Além disso, objetivou-se definir e validar padrões de coleta de imagens com drones visando treinamentos de sistema de detecção automatizada de GcR baseado em visão computacional, bem como analisar as contribuições no desempenho do sistema de detecção a partir da utilização de diferentes técnicas de DA para aumento do banco de imagens de treinamento dos modelos. Os resultados obtidos dão suporte ao avanço do uso integrado de drone e visão computacional em inspeções automatizadas de GcR em obras verticais de paredes de concreto moldadas no local. Estes resultados contribuem ainda com o avanço teórico ao evidenciar padrões de captura de imagens por drones para posterior treinamento de sistemas de detecção de objetos da construção e técnicas mais eficientes de aumento de bancos de imagens para esses treinamentos.

Referencial teórico

Essa seção apresenta o referencial teórico adotado no presente trabalho.

Uso integrado de drones e visão computacional na detecção de equipamentos e sistemas de segurança na construção

Os estudos sistematizados que tratam da integração de drones e visão computacional na detecção de equipamentos de proteção individual e sistemas de proteção coletiva na construção civil utilizam, em geral, dois parâmetros para avaliação do desempenho do algoritmo/sistema de visão computacional, que são: precisão e recall. A precisão é um parâmetro que representa a razão entre o número de detecções corretas e o total de detecções realizadas (Brownlee, 2019). Enquanto o recall se refere à razão entre o número de detecções corretas e o total de elementos que deveriam ter sido detectados (Brownlee, 2019).

Guo, Niu e Li (2018), Sharma et al. (2021) e Yan et al. (2021) desenvolveram sistemas a partir de técnicas de visão computacional e drones para detecção da utilização ou não de capacetes por trabalhadores, atingindo valores de precisão 74,60%, 80,86%, e 91,00% em cada um dos estudos, respectivamente. Shanti et al. (2022) propuseram um sistema que integra drones e AP para a detecção de cinto de segurança, linha de vida para ancoragem do cinto e capacete de segurança, alcançando precisão de 97,20% e recall de 90,20%. Gheisari, Rashidi e Esmaeili (2018) elaboraram um sistema automatizado para identificação de locais com riscos de queda na construção baseado em drones e técnicas de processamento de imagens, entretanto, não apresentaram o desempenho atingido pelo sistema.

Awolusi et al. (2022) e Li et al. (2022) propuseram frameworks baseados na utilização de drones e técnicas de AM/AP para apoio à identificação e avaliação de riscos em canteiros de obras. Entretanto, apenas a proposta de Li et al. (2022) foi aplicada em um estudo de caso em canteiro de obras, concentrando-se exclusivamente na detecção de montantes de GcR (elementos verticais que são suporte às grades de proteção). Os resultados obtidos revelaram baixo desempenho, com precisão de 36,66% e recall de 62,15%.

Os estudos de Shanti et al. (2022), Sharma et al. (2021) e Yan et al. (2021) apresentaram desempenho satisfatório no que se refere à deteção principalmente de equipamentos de proteção individual, como capacetes e cinto de segurança. No entanto, a literatura aponta uma lacuna em relação ao desenvolvimento de sistemas com elevado desempenho para detecção automatizada de SPCQ a partir da integração de drones e visão computacional, especialmente o GcR, dada sua ampla utilização para proteção do trabalhador que realiza o trabalho em altura em construções verticais no contexto brasileiro e internacional.

Aplicações de técnicas de data augmentation no contexto da construção

A eficácia de modelos de AM/AP na detecção de objetos pode ser beneficiada pela expansão dos bancos de imagens a partir da criação de imagens artificiais (Russakovsky et al., 2015). Com base nisso, estudos no âmbito da gestão da construção publicados em periódicos de referência vêm utilizando técnicas de DA para aumento do banco de dados de treinamento dos algoritmos de detecção, sendo alguns apresentados no Quadro 1.

Entre os estudos elencados no Quadro 1, Cha et al. (2017), Kolar, Chen e Luo (2018), Han e Zeng (2022) e Hao et al. (2023) demonstram que é possível desenvolver sistemas de detecção de elementos da construção utilizando técnicas de DA para aumento dos bancos de imagens e atingir desempenhos satisfatórios.

No entanto, apenas Zhao et al. (2021), Han e Zeng (2022) e Chen et al. (2023) demonstram efetivamente que a aplicação das técnicas de DA utilizadas em seus trabalhos resultou em aperfeiçoamento no desempenho do sistema de detecção. Essa constatação foi possível em função dos autores terem realizado dois treinamentos, um com imagens originais e outro com imagens artificiais geradas a partir das imagens originais. Os demais estudos indicados no Quadro 1 não evidenciam o aperfeiçoamento do desempenho na detecção resultante do uso de técnicas de DA, uma vez que fizeram apenas um treinamento utilizando banco de imagens artificiais (Cha et al., 2017; Kolar; Chen; Luo, 2018; Hao et al., 2023) ou fizeram diferentes treinamentos com bancos de imagens originais e artificiais, sem que as imagens artificiais fossem criadas exclusivamente a partir das imagens originais usadas no primeiro treinamento (Staffa Junior et al., 2023). Nesse sentido, há a necessidade de avançar nas pesquisas de modo a atestar as contribuições da utilização de bancos de imagens artificiais gerados a partir de técnicas de DA no aperfeiçoamento de algoritmos de detecção de elementos da construção.

Além disso, nos estudos em que houve a aplicação de mais de uma técnica de DA (Cha et al., 2017; Kolar; Chen; Luo, 2018; Zhao et al., 2021; Staffa Junior et al., 2023), as técnicas foram aplicadas em conjunto, não sendo evidenciada a contribuição individual de cada uma das técnicas para aperfeiçoamento da detecção dos elementos da construção, o que consiste em uma lacuna a ser explorada.

Método de pesquisa

A estratégia metodológica adotada para a condução da pesquisa foi o estudo empírico (Fellows; Liu, 2015), que envolveu a coleta de dados reais em campo, bem como o treinamento e teste de modelos para desenvolvimento do sistema de detecção automatizada de GcR. Essa abordagem possibilitou uma compreensão tangível e aplicável do sistema para inspeções automatizadas de GcR, que se alinha ao caráter empírico da investigação. As etapas de condução da pesquisa são apresentadas na Figura 1 e são detalhadas ao longo desse tópico.

Caracterização dos canteiros de obras e dos GcR utilizados

A coleta de imagens para construção de um banco de dados ocorreu em dois canteiros de obras distintos. No canteiro de obras A (COA), a coleta ocorreu em 12/08/2022, no período da manhã. No canteiro de obras B (COB), a coleta ocorreu em 17/11/2022, no período da tarde.

O COA está localizada em Lauro de Freitas, região metropolitana de Salvador (Bahia – Brasil). O COA possui uma área de 18.758,35 m², com 15.121,54 m² de área construída. Após a conclusão, o empreendimento será composto por quatro torres, cada uma com 10 pavimentos (térreo e nove pavimentos tipo). Cada andar é integrado por 8 apartamentos, totalizando 360 unidades. A área do pavimento (térreo ou tipo) é de 535 m².

A estrutura foi executada utilizando o método construtivo de parede de concreto moldada no local. Para isso, a obra optou pelo uso de formas de alumínio para paredes e laje, além da estrutura de escoramento e sistemas de proteção coletivas também em alumínio. O modelo utilizado é o sistema de moldagem em grupo (Gang) e sistema Treppen (Trepante). A plataforma de trabalho com GcR e o GcR (Figura 2) são compostos por peças pré-montadas, içadas por grua para desmontagem e montagem no pavimento superior.

O sequenciamento das atividades que envolvem a produção da estrutura de parede de concreto do COA é apresentada nas Figuras 3 e 4.

A execução da estrutura de cada pavimento ocorreu em duas etapas, com os lados A e B sendo construídos em momentos distintos. A empresa possuía apenas um conjunto de formas (para metade do pavimento). Assim, após a concretagem das paredes no lado A e o concreto atingir a resistência de projeto necessária (geralmente em torno de 12 horas), as formas foram removidas do lado A e posicionadas no lado B. O lado B já possuía as armaduras das paredes, instalações elétricas e hidráulicas prontas para receber as formas das paredes e lajes e dar continuidade às atividades. Ao remover as formas do Lado B, elas foram levadas para dar continuidade às atividades no lado A do pavimento superior. A execução de um lado completo do pavimento desde a marcação das paredes até a deforma e desmontagem do GcR teve duração de um dia trabalhado.

O COB está localizado em Salvador (Bahia – Brasil), com área de 9.511,23 m², sendo que ao final possuirá 18.585,53m² de área construída. Após a conclusão, o empreendimento será composto por três torres, cada uma com 15 pavimentos (térreo e 14 pavimentos tipo). Cada andar é formado por oito apartamentos, totalizando 360 unidades. O pavimento completo possui 395,63m².

A estrutura de parede de concreto moldada no local foi executada utilizando a forma de alumínio do tipo monoportátil. Os sistemas de plataformas de trabalho e GcR são compostos de peças individuais, cuja montagem e desmontagem são realizadas de forma manual (Figura 5).

A sequência executiva observada na obra do COB foi similar àquela indicada na Figura 3. A diferença observada consistiu em que as plataformas de trabalho com GcR foram montadas no respectivo lado do pavimento antes da marcação da posição das paredes. Essa inversão possibilitou que todas as etapas que envolveram a produção da estrutura tivessem algum GcR disponível para proteção dos trabalhadores. A duração da execução de cada lado do pavimento teve duração de 1,5 dias trabalhados.

Protocolo de coleta de dados com drone

O Protocolo de aquisição de imagens com drone consiste em três etapas, conforme apresentado na Figura 6. Para as coletas foram usadas as aeronaves DJI Mavic Air 2S e DJI Phantom 4. O DJI Phantom 4 possui autonomia de 22 minutos de voo, tendo à disposição um conjunto de três baterias para a coleta de dados. Sua câmera tem resolução de 20 MP, possibilitando a coleta de imagens nos formatos JPEG/DNG (RAW). O Mavic Air 2S possui uma autonomia de voo de 30 minutos, além de possibilitar um armazenamento interno de 8GB sem uso de cartão de memória. Sua câmera possui sensor CMOS de 1” com resolução de 20 MP nos formatos JPEG/DNG (RAW).

A primeira etapa compreende a análise dos requisitos necessários para o voo segundo o Regulamento Brasileiro da Aviação Civil Especial nº 94 da Agência Nacional de Aviação Civil (AGÊNCIA..., 2021), bem como permissão para voo e a documentação da aeronave. Quanto à permissão de voo, identificou-se previamente se era possível realizar o voo com drone na área em que os canteiros de obras estavam situados.

A segunda etapa consiste no planejamento da missão e definição da trajetória de voo. Nessa etapa, o piloto deve definir os pontos para pouso e decolagem da aeronave, avaliar se as condições climáticas são propícias para voo e verificar quais as possíveis interferências físicas em canteiro. Para isso, antes do voo, o piloto realizou uma curta caminhada no entorno das edificações em construção em que seriam realizadas as aquisições de imagens visando a mapear a existência de obstáculos físicos, equipamentos de içamento de materiais e os locais de execução das atividades. Com isso, foi possível que o piloto tivesse melhor percepção espacial, favorecendo a definição do plano de voo, os melhores pontos de pouso e decolagem e a altitude para um voo seguro.

Com os pontos de decolagem e pouso definidos, optou-se por realizar o voo em formato ‘L’ (Figura 7), percorrendo as duas faces adjacentes da fachada, de modo que o drone estivesse sempre em linha de visada visual (VLOS), conforme recomenda a Agência Nacional de Aviação Civil (AGÊNCIA..., 2021). A altitude de voo variou em função do pavimento em que se estava sendo executada a parede de concreto e, consequentemente, estão posicionados os GcR e as plataformas de trabalho com GcR.

A terceira etapa consiste na preparação da aeronave utilizando o checklist proposto por Melo (2016) e execução do voo com drone. Foram realizados voos sucessivos com duração de 15 minutos por voo utilizando os aplicativos DJI Fly (Mavic Air 2S) e DJI Go4 (Phantom 4), permitindo que operador tivesse o total domínio da aeronave. A aquisição de imagens foi realizada de forma manual, sendo o piloto o responsável pela captura seguindo o plano de voo. As imagens foram coletadas a 0° e a 20° em relação à horizontal de modo a garantir ortogonalidade do GcR nas imagens. Já em relação a distância, os voos foram realizados entre 6,0 e 9,0 metros de distância entre e o drone o GcR. A Figura 7 apresenta a execução do plano de voo realizado para aquisição de imagens de GcR.

Após os voos, o piloto realizou o download das imagens e o armazenamento em banco de dados para posterior análise.

Bancos de imagens, criação dos modelos baseados em visão computacional, treinamento e teste

A coleta de imagens com uso de drones nos dois canteiros de obras resultou em um total de 150 imagens, 71 delas a partir do COA e 64 do COB. Para a etapa de treinamento do sistema de detecção do GcR, foram utilizadas 90% das imagens coletadas. Para a etapa de teste do sistema, foram utilizadas 10% das imagens. Silva, Spatti e Flauzino (2016) descrevem que o subconjunto de treinamento, utilizado para o processo de aprendizado, deve ser composto por 60% a 90% das amostras dos dados originais. Por outro lado, o subconjunto de teste, adotado para verificar a capacidade de generalização do modelo de inteligência artificial, é composto de 40% a 10% do conjunto total de amostras. Nesse sentido, a proporção adotada na presente pesquisa é usual na literatura científica.

Os bancos de imagens para treinamento foram estruturados conforme segue:

1. B1 - Banco original: 135 imagens;

2. B2 - Banco com DA de zoom: 405 imagens, com zoom in e zoom out de até 15% atribuídos de forma aleatória;

3. B3 - Banco com DA de rotação: 405 imagens, com pequena rotação atribuída de forma aleatória nas imagens (chegando a 15°); e

4. B4 - Banco com DA de cisalhamento: 405 imagens, com distorção da imagem ao longo de um eixo com o uso de cisalhamento pi radianos.

Foram implementadas técnicas de DA nas imagens de treinamento que resultassem em pequenas transformações geométricas, de modo que as novas imagens se assemelhassem àquelas capturadas com uso de drones em canteiros de obras. Nesse sentido, não foram adotadas rotações de 90°, por exemplo, pois as novas imagens não representariam a realidade de imagens potencialmente capturadas utilizando drones. Para aplicação das técnicas de transformação geométrica nas imagens, foi utilizada a biblioteca Keras no Software R (Chollet; Allaire, 2018) e o algoritmo apresentado em Staffa et al. (2022). A Figura 8(a) a 8(d) mostra exemplo de imagem original coletada no COA e de imagens com as transformações geométricas aplicadas no presente estudo.

Para o desenvolvimento do sistema de detecção automatizada de GcR, foi utilizado o software Custom Vision^® da Microsoft Azure^®. O Custom Vision^® é um serviço de inteligência artificial que permite a criação de modelos customizados com a finalidade de classificação ou detecção de objetos em imagens (Pejčinović, 2019; Staffa et al., 2022; Staffa Junior et al., 2023). Essa interface de programação de aplicação (API) tem sido utilizada por diversos segmentos na literatura científica com desempenho satisfatório na classificação ou detecção de objetos, incluindo a construção civil (Staffa et al., 2022; Staffa Junior et al., 2023).

Para cada banco de imagens (B1 a B4), foi criado um modelo específico no Custom Vision^® (modelos M1 a M4). Criados os modelos e realizado o upload das imagens de cada modelo, procedeu-se à marcação das imagens (labels). Essa etapa teve como objetivo indicar à API todos os segmentos de GcR de todas as imagens, para que posteriormente fosse realizado o treinamento de cada modelo. A marcação das imagens em todos os modelos foi realizada por apenas uma pesquisadora, de modo a assegurar a padronização das marcações. Houve também a conferência das marcações por um dos pesquisadores do estudo. Em seguida, foram realizados os treinamentos dos modelos M1 a M4 no Custom Vision^®. As principais etapas realizadas são expressas na Figura 9.

Após cada treinamento, a API retornava os valores dos parâmetros de desempenho precisão e recall de cada modelo. Com base nesses dois parâmetros, foi também calculado o parâmetro F1. O parâmetro precisão indica a probabilidade de um resultado positivo ser de fato positivo (Brownlee, 2019). O recall descreve quão bom o modelo é em predizer uma classe positiva quando a saída é positiva (Brownlee, 2019). O F1 (ou F-Score) representa a média harmônica entre Precisão e Recall (Brownlee, 2019). As Equações 1 a 3 expressam a forma de cálculo dessas métricas.

Em que:

VP é o verdadeiro positivo – quando o algoritmo detecta um segmento do GcR e de fato é um GcR;

FP é o falso positivo – quando o algoritmo detectou um segmento de GcR em um determinado local, mas não havia GcR naquele local; e

FN é o falso negativo – quando o algoritmo não detectou um segmento de GcR, mas havia um GcR naquele local.

Na sequência, foram realizados os testes em 15 imagens originais (10% das imagens coletadas nas obras) individualmente para cada modelo (M1 a M4). Uma das imagens foi uma foto panorâmica da edificação do COA (‘imagem 2’), enquanto as demais imagens atenderam às diretrizes especificadas de inclinação da câmera e distância previstas no protocolo de coleta (Figura 6). O processamento das imagens de teste nos modelos foi de aproximadamente dez segundos por imagem. Considerando que cada imagem possui um valor possível de VP, um dos pesquisadores do estudo delimitou manualmente nas imagens de teste quais seriam as faces (segmentos) do GcR a serem detectadas pelo sistema, o que resultou em um gabarito para conferência. A partir disso, obteve-se o valor de verdadeiros positivos máximos possíveis (VPmáx) em uma imagem, conforme se observa na Figura 10. Foram adotados retângulos vermelhos para a marcação manual dos segmentos de GcR nas imagens do gabarito, já que esse é o recurso visual utilizado pelo Custom Vision^® para apresentar os objetos detectados na etapa de teste.

A partir das marcações feitas pelo Custom Vision^® nas imagens de teste (detecção dos segmentos de GcR) para cada modelo e com base no gabarito, foram identificados os parâmetros VP, FP e FN. A identificação desses parâmetros foi feita por dois pesquisadores de forma individual, para posterior comparação, discussão dos resultados e obtenção de consenso. Em seguida, foram calculados os parâmetros de precisão, recall e F1 para identificar o desempenho dos modelos na etapa de teste. Por fim, procedeu-se à análise dos resultados de desempenho obtidos nas etapas de treinamento e teste.

Resultados e análises

Os dados de desempenho referentes à etapa de treinamento dos quatro modelos de detecção de GcR utilizado o Custom Vision^® são indicados na Tabela 1.

Com base na Tabela 1, observa-se que o modelo que apresentou melhores métricas foi o M2 (com imagens artificias geradas a partir do uso de zoom), seguido dos modelos M4 (com cisalhamento), M1 (imagens originais) e M3 (com rotação), respectivamente. Assim, constatou-se aperfeiçoamento no desempenho no treinamento dos modelos com banco de imagens artificiais com zoom (M2) e cisalhamento (M4) em relação ao modelo treinado com banco de imagens original (M1). Apenas o modelo que fez uso de imagens com rotação (M3) apresentou precisão inferior ao modelo M1.

Apesar dos valores observados indicarem menor precisão quando comparados aos de recall, observa-se que para a aplicação utilizada, ter valores mais altos de recall é um aspecto importante, isso quando não for possível que os dois parâmetros de desempenho tenham valores elevados. O recall será menor conforme aumenta-se o número de falsos negativos (quando o algoritmo não detectou um GcR, mas havia um GcR naquele local), enquanto a precisão será menor com o aumento de falsos positivos (quando o algoritmo detectou um GcR em um determinado local, mas não havia GcR naquele local). Assim, não detectar um segmento de GcR onde há esse SPCQ é mais prejudicial para as análises futuras que detectar um GcR inexistente.

Na sequência, para cada modelo treinado no Custom Vision^®, foram realizados os testes com imagens não utilizadas no treinamento. Os dados referentes aos testes são apresentados na Tabela 2.

A partir dos dados apresentados na Tabela 2, observa-se que do total de 62 VP possíveis no conjunto das 15 imagens de teste, todos os modelos apresentaram elevado desempenho da detecção desses VP, além de terem detectado poucos FN. Esses resultados satisfatórios são também evidenciados no recall, que depende objetivamente dos parâmetros de VP e FN. A detecção dos segmentos de GcR na ‘imagem 4’ e na ‘imagem 9’ geradas em cada modelo na etapa de teste a partir do Custom Vision^® são apresentados nas Figuras 11 e 12. A Figura 10 apresentou previamente o gabarito referente a essas duas imagens.

Os modelos M3 e M4 detectaram número menor de FP quando comparado aos demais. Entre os modelos treinados com bancos de imagens artificiais, o modelo M2 apresentou o maior número de FP. Destaca-se principalmente a ‘imagem 7’ do teste (Figura 13), em que o modelo M2 detectou cinco FP, indicando a tela de armação das paredes de concreto como segmentos de GcR nesses cinco pontos.

Ainda assim, o modelo que apresentou maior número de FP e, portanto, menor precisão, foi o M1. Nas imagens do teste de M1 houve 17 FP, no qual o modelo confundiu o GcR com telas de proteção em aberturas das paredes de pavimentos já concretados, janelas, motor do elevador cremalheira, carros, trabalhadores, entre outros elementos da construção. Exemplifica-se com a ‘imagem 15’ do modelo M1, que apresentou 6 FP (Figura 14).

Entre as quinze imagens utilizadas para teste dos modelos, no teste da ‘imagem 2’ (Foto panorâmica da fachada da edificação do COA) realizado no modelo M1, observou-se que três segmentos previstos no gabarito foram identificados como apenas um segmento de GcR pelo modelo de detecção (Figura 15).

Outro aspecto constatado em imagens de teste em todos os modelos se referiu à marcação realizada pelo sistema de detecção não envolver todo o segmento do GcR quando esses segmentos estavam mais ao fundo da imagem (em segundo plano). A Figura 16 apresenta um exemplo referente ao teste da ‘imagem 15’ no modelo M2, em que parte do segmento de GcR ao fundo não foi considerado na marcação pela API.

A partir das Figuras 15 e 16, verifica-se que a eficácia das técnicas de detecção de objetos aplicadas à identificação de GcR por meio de imagens de drone são diretamente influenciadas pela forma definida para captura dessas imagens.

Discussões

Os indicadores de desempenho das etapas de treinamento e teste mostram, em linhas gerais, que o uso de técnicas de DA em um pequeno banco de imagens de treinamento para criação de imagens artificiais contribuiu significativamente para o aperfeiçoamento do desempenho dos modelos na detecção de GcR. Apesar do desempenho de M3 (com imagens rotacionadas) ter sido inferior ao desempenho de M1 (com imagens originais) na etapa de treinamento, todos os modelos treinados com imagens artificiais (com zoom, rotação ou cisalhamento) apresentaram desempenho superior ao de M1 na etapa de teste. Resultados similares foram identificados por Han e Zeng (2022) e Chen et al. (2023), que observaram a melhoria do desempenho de algoritmo de AM/AP utilizado na detecção de elementos de segurança na construção a partir do uso de técnicas de DA (Quadro 1). Esses resultados convergem com a premissa apresentada por Fang et al. (2020), que destaca a importância da utilização de técnicas de DA na ampliação de pequenos bancos de imagens originais para melhoria do desempenho de sistemas de detecção baseados em visão computacional.

Entre os modelos treinados com imagens artificiais, observou-se melhor desempenho na etapa de testes dos modelos M4 (imagens com cisalhamento) e M3 (imagens com rotação), com precisão de 96,83% e 95,31%, recall de 98,39% e 98,39% e F1 de 97,60% e 96,83%, respectivamente. O modelo M2 (com zoom), apesar de ter apresentado menor precisão que os demais modelos treinados a partir de bancos de imagens artificiais, ainda demonstrou resultados satisfatórios na detecção de GcR, com 85,92% de precisão, 98,39% de recall e 91,73% de F1. O modelo M1 (com imagens originais) foi o que apresentou o menor desempenho na etapa de teste, com precisão de 77,92%, recall de 96,77 e F1 de 86,33%. O desempenho dos modelos M3 e M4 são similares ao obtido por Kolar, Chen e Luo (2018), que atingiu F1 equivalente a 97,10% na etapa de teste do algoritmo de detecção, apesar de os autores terem utilizado banco de dados significativamente maior para treinamento do algoritmo (4.000 imagens) em comparação ao utilizado na presente pesquisa (405 imagens por modelo com técnicas de DA).

Silva, Peres e Boscarioli (2017) destacam que o melhor caso seria obter apenas verdadeiros positivos e não obter falsos positivos e falsos negativos, o que resultaria em precisão, recall e, portanto, F1 de 100,00%. No entanto, os autores ressaltam que, em situações reais, esse cenário é improvável de ser alcançado. Nesse sentido, observa-se na presente pesquisa que, a partir da adoção de técnicas de DA, houve um aperfeiçoamento significativo nas métricas dos modelos M4, M3 e M2 quando comparadas às métricas do M1. Assim, com a implementação de técnicas de DA, os valores de precisão, recall e F1 ficaram mais próximos do cenário ideal.

Ainda, observa-se que M1 foi o modelo que apresentou o maior número de detecções de falsos positivos na etapa de teste (totalizando 17 FP), além desses FP terem sido de diversos itens que não compartilham características com o GcR, como carros, trabalhadores, entre outros. O mesmo não ocorreu com os demais modelos, que além de apresentarem menor número de FP, os itens identificados incorretamente tinham características em comum com as telas do GcR. Nesse sentido, tem-se que o aumento do banco de imagens com transformações geométricas resultou em mais informações sendo extraídas do banco de dados original, como discutido por Shorten e Khoshgoftaar (2019) e, portanto, no melhor desempenho do sistema em diferenciar o que é um segmento de GcR de outros elementos da construção.

A partir da análise do desempenho de cada modelo com sua respectiva técnica de DA, conforme apresentado na Tabela 2, observa-se que cisalhamento e rotação foram as técnicas que resultaram em modelos com melhores métricas de desempenho. Esse resultado pode ser justificado pelo fato de ter sido adotado um protocolo de captura de imagens que estabelece limites mínimo e máximo de distanciamento entre o drone e o GcR. Nesse sentido, constata-se que os treinamentos com imagens artificiais utilizando zoom (M2) apresentariam naturalmente um impacto menor em comparação com as demais técnicas. Considerando que a literatura não compara as contribuições individuais de diferentes técnicas de DA para a aperfeiçoamento de sistemas de detecção de elementos na construção (Cha et al., 2017; Kolar; Chen; Luo, 2018; Zhao et al., 2021; Staffa Junior et al., 2023), os resultados apresentados no presente estudo contribuem com esse campo do conhecimento ao gerar evidências que podem respaldar a decisão sobre potenciais técnicas de DA a serem utilizadas em estudos futuros.

Os valores de desempenho observados nas etapas de treinamento (Tabela 1) e teste (Tabela 2) dos quatro modelos contribuem com a validação do uso do Custom Vision^® como uma API que pode dar suporte ao desenvolvimento de sistema de detecção de objetos da construção utilizando imagens coletadas por drones. Essa validação é também corroborada pelo estudo de Staffa Junior et al. (2023), que desenvolveram uma plataforma web para detecção de manifestações patológicas em coberturas de edificações utilizando essa API e obtiveram bom desempenho (Quadro 1).

A detecção de diferentes segmentos de GcR como apenas um segmento na imagem panorâmica (Figura 15) e a detecção parcial de segmentos de GcR apresentadas em segundo plano nas imagens (Figura 16) são evidências que respaldam a necessidade de estabelecer padrões de coleta de imagens de GcR em canteiros de obras. Observou-se que os segmentos que estavam mais próximos do drone durante a coleta e, portanto, mais evidentes na imagem (no primeiro plano da imagem), puderam ser mais facilmente identificados pelo sistema baseado em visão computacional. Além disso, esses segmentos de GcR foram identificados integralmente pelo sistema de detecção. O estudo de Yang et al. (2022) contribui com essa observação, pois, se por um lado, constataram que a identificação de locais de risco pelo sistema de visão computacional era mais assertiva quando os locais de risco estavam mais próximos da câmera fixa. Por outro lado, os locais mais afastados da área de visualização da câmera resultaram em análises incoerentes pelo algoritmo de visão computacional, indicando locais de risco inexistentes ou não detectando locais de risco existentes.

O elevado desempenho apresentado nos treinamentos e nos testes dos modelos do presente estudo indicam que os parâmetros utilizados para coleta das imagens com drone, como apresentados no protocolo (Figura 6), foram adequados e possibilitaram melhor visualização dos segmentos de GcR pelo sistema de visão computacional. Esses parâmetros incluíram a inclinação da câmera em 0° ou 20° e distância entre GcR e o drone entre 6 e 9 metros. Estabelecer um padrão para a distância de captura das imagens com drone permitiu limitar a área de interesse, proporcionando uma perspectiva mais homogênea e facilitando a detecção pelo sistema. Essa medida assegurou que os GcR permanecessem dentro de uma faixa visual mais previsível, minimizando possíveis desafios na identificação dos segmentos do GcR em relação a outros elementos da construção. Além disso, a padronização da angulação da câmera do drone mais próxima da horizontal evitou a obtenção de imagens com vista superior, que poderiam comprometer a capacidade do sistema em discernir detalhes relevantes do GcR.

Assim, observa-se que a padronização estabelecida no estudo pode ser aplicada para coleta das imagens de treinamento do sistema de detecção de GcR e das imagens a serem analisadas por esse sistema posteriormente, que integrarão relatórios ou outros documentos.

Essa pesquisa mostrou que a detecção do GcR em sistemas de paredes de concreto moldadas no local por meio de imagens coletadas por drone e processadas com o uso de visão computacional tem o potencial de auxiliar gestores de segurança na inspeção visual desses sistemas, de modo a identificar se os GcR estão corretamente posicionados e se apresentam as condições de segurança requeridas pela NR-18 (Brasil, 2020) e NR-35 (Brasil, 2023). Considerando a não exigência de conhecimento técnico aprofundado sobre visão computacional para operar o sistema de detecção de GcR, profissionais presentes no canteiro, como técnicos de segurança, técnicos de edificações, auxiliares de engenharia, entre outros, poderão ser treinados para aquisição de imagens utilizando drones e processamento dessas imagens no sistema baseado em visão computacional proposto no presente estudo, sem que haja a necessidade de contratação de profissionais específicos para essa finalidade. Essa perspectiva se fundamenta nos conceitos de Operador 4.0 (Romero et al., 2016) e smart working (Dornelles; Ayala; Frank, 2022), que preveem a necessidade de aperfeiçoamento de diferentes habilidades e conhecimento dos trabalhadores de campo a partir da adoção das tecnologias digitais associadas ao paradigma da Indústria 4.0/ Construção 4.0.

Em contraposição à prática frequente de adoção de apenas uma tecnologia digital isolada (abordagem take-one-at-a-time) por empresas de construção (Sawhney; Odeh, 2020), observou-se que a integração entre drone e visão computacional foi satisfatória na presente pesquisa. Esse resultado está alinhado às constatações obtidas nos estudos de Sharma et al. (2021), Yan et al. (2021) e Shanti et al. (2022) no que se refere à detecção de equipamentos de proteção individual utilizando drones e técnicas de visão computacional. A inspeção automatizada de GcR em edificações verticais ao longo de todo o perímetro da edificação somente é possível a partir da integração de drone e visão computacional, uma vez que câmeras convencionais como aquelas utilizadas por Kolar, Chen e Luo (2018) ou câmeras fixas como as utilizadas por Yang et al. (2022) não apresentam o potencial necessário para coleta das imagens de treinamento de modelos de detecção e para inspeções rotineiras do GcR em locais de difícil acesso.

Além disso, considerando a agilidade na produção das estruturas em paredes de concreto moldadas no local analisadas nos estudos no COA e no COB (1 dia e 1,5 dias para cada meio pavimento da edificação, respectivamente), observa-se a necessidade de desenvolvimento de técnicas mais eficazes para inspeção de GcR, uma vez que eles são montados e desmontados em períodos curtos. A etapa de aquisição das imagens do GcR teve duração média de 15 minutos (tempos observados no presente estudo) e, logo após o voo, essas imagens podem ser imediatamente descarregadas e processadas nos modelos de detecção do Custom Vision^® treinados a partir dos bancos de dados. Assim, torna-se possível dar feedback em tempo hábil visando a tomada de decisão relativo aos GcR ainda durante a execução das atividades de montagem das formas da parede de concreto inspecionadas. Portanto, o sistema que integra drones e visão computacional demonstrou elevado potencial para suprir essa lacuna, dando suporte à inspeção ágil desses SPCQ.

Conclusões

A presente pesquisa explorou a potencial integração entre drones e visão computacional para detecção automatizada de GcR em obras verticais de paredes de concreto moldadas no local. Em linhas gerais, foram definidos e validados padrões de coleta de imagens com uso de drones para treinamentos de sistema de detecção de GcR baseado em visão computacional. Além disso, foram analisadas as contribuições da utilização de diferentes técnicas de DA para aumento do banco de imagens de treinamento no desempenho do sistema de detecção automatizada.

O banco de imagens originais foi coletado em dois canteiros de obras com uso de drones atendendo às especificações do protocolo de coleta de imagens estabelecido, que considerou inclinação da câmera em 0° ou 20° e distância entre GcR e o drone entre 6 e 9 metros. A partir disso, foram gerados três bancos de imagens artificiais com uso de técnicas de DA (zoom, rotação e cisalhamento). O desempenho do sistema de detecção automatizado de GcR com diferentes bancos de imagens artificiais foi superior àquele treinado com o banco de imagens originais, indicando que a utilização de técnicas de DA contribuiu substancialmente para o aperfeiçoamento do desempenho do sistema. Os resultados apontaram que as técnicas de cisalhamento e rotação apresentaram os melhores desempenhos em termos de precisão, recall e F1 na etapa de teste dos modelos.

Com base nos resultados observados, verificou-se que o uso de técnicas de DA tem grande potencial de contribuição para a melhoria do desempenho na detecção de sistemas de visão computacional treinados com pequenos bancos de imagens. Além disso, a geração de imagens artificiais pode contribuir com a diminuição do número de visitas para coleta de imagens de treinamento em canteiros de obras, uma vez que parte dessas imagens podem ser geradas artificialmente. O elevado desempenho do sistema na detecção de GcR também possibilitou a validação do protocolo de coleta de imagens com drone definido no presente estudo e do Custom Vision^® enquanto API que dá suporte ao desenvolvimento desse sistema.

Enquanto limitações do presente estudo, tem-se o tamanho dos bancos de imagens de treinamento, que foi restrito à coleta em dois canteiros de obras. Nesse sentido, sugere-se para trabalhos futuros a ampliação do banco de imagens, incorporando novos tipos de GcR metálicos com diferentes cores e configurações. Além disso, recomenda-se a inclusão de imagens de GcR metálicos empregados em obras que utilizam outros sistemas construtivos. Por fim, os resultados promissores na detecção automatizada de GcR em canteiro de obras observados neste estudo respaldam a possibilidade de avanço no desenvolvimento de sistema de detecção de problemas em GcR que comprometam a segurança do trabalhador, como a ausência de GcR e espaçamento entre as grades, entre outros elencados na literatura.

Agradecimentos

Ao Ministério da Educação por meio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) e à Fundação de Amparo à Pesquisa do Estado da Bahia (FABESB) pela concessão de bolsas de pesquisa. Ao Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) pela concessão de recursos financeiro (Projeto 402380/2021-5). À empresa MRV Engenharia pelo apoio no estudo.

Referências

Editado por

Datas de Publicação

Histórico