An efficient model for identifying firearm threats in videos

Abstract

Para que uma sociedade prospere, seus membros devem se sentir seguros em suas vidas cotidianas; caso contrário, o medo começaria a tomar conta da população, causando estresse e pânico e, consequentemente, reduzindo a qualidade de vida. Diversas políticas e medidas costumam a ser adotadas para preservar a segurança das pessoas, mas a medida que a população cresce e armas de fogo se tornam mais acessíveis, a segurança da sociedade fica mais ameaçada. Preocupados com isso, diversos trabalhos buscaram explorar o uso de câmeras de segurança, uma das medidas de segurança mais utilizadas, e identificar um evento de ameaça. No entanto, esses trabalhos não possuem práticas comuns de comparação, conjuntos de dados padrão ou restrições para os conjuntos de dados usados. O principal objetivo deste trabalho é explorar métodos e estratégias para enfrentar o desafio da detecção de ameaça à mão armada, assumindo um cenário de sistema de vigilância com hardware limitado. Para atingir esse objetivo, buscamos redes neurais eficientes do estado da arte e técnicas de compressão de modelos para termos uma base sólida e estratégias bem desenvolvidas que pudessem melhorar ainda mais seu desempenho. Também propomos um novo conjunto de dados desafiador para identificar ameaças à mão armada que segue critérios rigorosos para garantir a qualidade dos dados utilizados. Até onde sabemos, o nosso é o maior conjunto de dados disponível na área com anotações para detecção de objetos e que usa apenas dados de mundo real. Nosso conjunto de dados está disponível online, juntamente com as ferramentas usadas para criá-lo, facilitando sua capacidade de expansão. Além disso, avaliamos o desempenho de alguns métodos do estado da arte nele, e os resultados obtidos corroboram sua dificuldade.Fornecemos um conjunto extenso de experimentos para demonstrar os pontos fortes e fracos de cada abordagem e seu impacto nas detecções. Também realizamos experimentos em diferentes ambientes para avaliar como essas abordagens se comportavam em diferentes condições de hardware. Também evidenciamos quais são mais vantajosas ou mais versáteis e que melhor funcionam em nossos cenários. .

For a society to prosper, its members must feel safe in their everyday lives; otherwise, fear would start to take over the population, causing stress and panic and, consequently, reducing the quality of life. Several policies and measures are usually adopted to preserve people’s security, but as the population grows and firearms become more accessible, society’s security becomes more threatened. Concerned with this, several works sought to explore the use of security cameras, one of the most commonly used security measures, and identify when a threatening event occurs. However, these works do not have common comparison practices, standard datasets, or constraints for the datasets used. The main goal of this work is to explore methods and strategies to address the challenge of firearm threat detection while assuming a scenario of a surveillance system with limited hardware. To achieve this goal, we sought well-known efficient neural networks from the state-of-the-art and model-compression techniques to have a solid basis to start from and well-developed strategies that could further improve their performance. We also propose a new challenging dataset for identifying firearm threats that follows rigorous controls to ensure the quality of the data used. To the best of our best knowledge, ours is the largest dataset available in the area based on frame-level annotations and that uses only real-world data. Our dataset is available online, alongside the tools used to create it, making it easier to expand it further. Moreover, we evaluated the performance of some state-of-the-art methods on it, and the obtained results corroborate with its difficulty. We provide an extensive set of experiments to present clearly each approach’s strengths and weaknesses and their impact on the detection performance.For a society to prosper, its members must feel safe in their everyday lives; otherwise, fear would start to take over the population, causing stress and panic and, consequently, reducing the quality of life. Several policies and measures are usually adopted to preserve people’s security, but as the population grows and firearms become more accessible, society’s security becomes more threatened. Concerned with this, several works sought to explore the use of security cameras, one of the most commonly used security measures, and identify when a threatening event occurs. However, these works do not have common comparison practices, standard datasets, or constraints for the datasets used. The main goal of this work is to explore methods and strategies to address the challenge of firearm threat detection while assuming a scenario of a surveillance system with limited hardware. To achieve this goal, we sought well-known efficient neural networks from the state-of-the-art and model-compression techniques to have a solid basis to start from and well-developed strategies that could further improve their performance. We also propose a new challenging dataset for identifying firearm threats that follows rigorous controls to ensure the quality of the data used. To the best of our best knowledge, ours is the largest dataset available in the area based on frame-level annotations and that uses only real-world data. Our dataset is available online, alongside the tools used to create it, making it easier to expand it further. Moreover, we evaluated the performance of some state-of-the-art methods on it, and the obtained results corroborate with its difficulty. We provide an extensive set of experiments to present clearly each approach’s strengths and weaknesses and their impact on the detection p.