0
Visualização
Acesso aberto Revisado por Pares
ARTIGO ORIGINAL

Bullying em profissionais de enfermagem no Brasil: validade e confiabilidade do Negative Acts Questionnaire-Revised

Bullying among nursing professionals in Brazil: validity and reliability of the Negative Acts Questionnaire-Revised

Roberta Nazario Aoki1; Dirceu da Silva2; Edinêis de Brito Guirardello1

DOI: 10.47626/1679-4435-2023-1219

RESUMO

INTRODUÇÃO: O bullying no ambiente de trabalho da enfermagem acarreta consequências negativas para o profissional e para a instituição. A identificação precoce desse comportamento pode contribuir com um clima organizacional positivo e a qualidade de vida do profissional.
OBJETIVOS: Analisar a validade e confiabilidade do Negative Acts Questionnaire-Revised com profissionais de enfermagem.
MÉTODOS: Estudo metodológico com 350 profissionais de enfermagem. Para a análise, foi utilizada a técnica multivariada de análise fatorial confirmatória a partir de quatro dimensões, de acordo com a versão portuguesa do Negative Acts Questionnaire-Revised. O instrumento é composto por 22 itens que abordam atos negativos praticados no ambiente de trabalho sem menção direta ao bullying. Os profissionais são convidados a assinalar, em uma escala tipo Likert, com qual frequência vivenciam esses atos em sua rotina de trabalho.
RESULTADOS: O modelo ajustado do Negative Acts Questionnaire-Revised – versão brasileira resultou em instrumento composto de 20 itens e com quatro domínios distintos, que apresentaram validade e confiabilidade satisfatórias para a identificação de comportamentos de bullying em profissionais de enfermagem.
CONCLUSÕES: O Negative Acts Questionnaire-Revised – versão brasileira é um instrumento válido para a identificação de atos de bullying entre profissionais de enfermagem e pode tornar-se uma ferramenta para a prevenção desse comportamento nos serviços de saúde.

Palavras-chave: enfermagem; bullying; estudos de validação; psicometria; análise fatorial.

ABSTRACT

INTRODUCTION: Bullying in the nursing work environment has negative consequences for both professionals and institutions. The early identification of this behavior can contribute to a positive organizational climate and better quality of life.
OBJECTIVES: This study analyzed the validity and reliability of the Negative Acts Questionnaire-Revised with nursing professionals.
METHODS: A total of 350 nursing professionals were included in this methodological study. Multivariate confirmatory factor analysis was based on 4 domains, as in the Portuguese version of the Negative Acts Questionnaire-Revised. The instrument consists of 22 items that address negative acts committed in the work environment without directly mentioning bullying. Respondents indicate, on a Likert-type scale, how often they experience these acts in their work routine.
RESULTS: The adjusted model of the Brazilian version of the Negative Acts Questionnaire-Revised resulted in an instrument with 20 items and 4 distinct domains that presented satisfactory validity and reliability for identifying bullying behavior among nursing professionals.
CONCLUSIONS: The Brazilian version of the Negative Acts Questionnaire-Revised is a valid instrument for identifying acts of bullying among nursing professionals and can be used in efforts to prevent such behavior in health services.

Keywords: nursing; bullying; validation study; psychometrics; factor analysis, statistical.

INTRODUÇÃO

O bullying no ambiente de trabalho é caracterizado por um comportamento violento e sistemático de um subordinado, colega ou superior que, de forma persistente e duradoura, pode causar graves problemas sociais, psicológicos e psicossomáticos aos alvos desses atos1. Além de severos danos aos profissionais, a presença do bullying também prejudica a eficácia organizacional, pois está associada a absenteísmo, desengajamento, aumento de rotatividade e queda de produtividade ao longo do tempo2.

A prevalência média de bullying no trabalho em todo o mundo é estimada em 14,6%, variando de 11,3 a 18,1% conforme a abordagem empregada para a identificação dos atos de violência nos ambientes profissionais3. Na área da saúde, a prevalência de bullying foi estimada em 61,9%4 e, entre profissionais de enfermagem, a prevalência do bullying varia consideravelmente entre 2,4 e 81% considerando-se, nesse intervalo, que a prevalência e intensidade do bullying variam significativamente dependendo da localização geográfica5.

Um estudo internacional sobre bullying com 438 enfermeiros russos apontou que 63% dos profissionais relataram ter sofrido bullying em algum momento da sua profissão6. Em um estudo americano, 40% dos enfermeiros também se identificaram como vítimas desses atos7, demonstrando altas taxas desse comportamento nos serviços de saúde. A percepção de bullying relatada por enfermeiros no ambiente de trabalho foi associada a menor qualidade da assistência prestada ao paciente e consequente redução da satisfação e segurança do paciente nos cuidados prestados à saúde8.

A prática desse comportamento entre profissionais da enfermagem resulta em manifestações negativas à saúde mental e física dos profissionais, incluindo ansiedade, depressão, estresse, insônia, problemas gastrointestinais, dor de cabeça e hipertensão2,9. A percepção de bullying relatada por enfermeiros no ambiente de trabalho foi associada a menor qualidade da assistência prestada ao paciente e consequente redução da satisfação e segurança do paciente nos cuidados prestados à saúde8. Além disso, o bullying pode levar à perda de confiança e autoestima, bem como à redução da qualidade do atendimento ao paciente e dificuldade em reter profissionais no emprego10. A falta de interação com os demais membros da equipe de trabalho e o distanciamento das rotinas que estruturam a assistência de enfermagem culminam em sentimentos de incapacidade para enfrentar desafios e podem favorecer a ocorrência de erros na assistência ao paciente, além do abandono do emprego e até mesmo da profissão10.

As consequências negativas que o bullying impõe aos profissionais da enfermagem e aos pacientes desafiam os gestores de serviços de saúde a buscar estratégias efetivas para prevenir e conter esses comportamentos nos ambientes de trabalho. Nesse sentido, merecem destaque as intervenções organizacionais que se concentram no apoio social, na educação de líderes e gestores dos serviços de saúde, bem como na criação e manutenção de uma cultura de segurança positiva no ambiente de trabalho da enfermagem11,12.

Entre os instrumentos para a avaliação do bullying, destaca-se o Negative Acts Questionnaire-Revised (NAQ-R), com o objetivo de identificar a ocorrência de bullying no ambiente de trabalho13. A versão original do NAQ-R contém 22 itens, é apresentada, inicialmente, em modelo unidimensional14 e, posteriormente, em três domínios: bullying pessoal, bullying relacionado ao trabalho e formas físicas de bullying13. Trata-se de um instrumento validado em diferentes culturas e que varia quanto ao número de dimensões, a exemplo dos países europeus e asiáticos, com três dimensões15,16, e Portugal, com quatro dimensões17. Desses estudos, destaca-se a versão validada com enfermeiros portugueses, contendo quatro dimensões17. Todas as classificações propostas foram capazes de identificar o bullying em suas respectivas populações.

O NAQ-R tem sido amplamente utilizado em pesquisas internacionais para avaliar o bullying entre trabalhadores, especialmente profissionais da saúde, que são reconhecidos como alvo de bullying em vários países12,18,19. No Brasil, há uma lacuna de estudos com o uso de medidas específicas para a avaliação do bullying em profissionais de enfermagem. Embora exista uma versão unidimensional do NAQ-R validada para a cultura brasileira20, a mesma não foi validada com profissionais de saúde. Dessa forma, este estudo tem como objetivo avaliar a propriedade de medida do NAQ-R entre profissionais de enfermagem brasileiros.

 

MÉTODOS

Estudo metodológico realizado em uma instituição de ensino com atendimento exclusivo do Sistema Único de Saúde (SUS), no Brasil. A amostra foi composta por 350 indivíduos. Como o instrumento contempla 22 variáveis (itens), o mínimo recomendado seriam 110 sujeitos (pelo menos cinco vezes mais participantes do que o número de variáveis). Portanto, esse requisito foi satisfeito para o conjunto de dados do estudo21.

Foram considerados elegíveis para participar do estudo os profissionais com idade superior ou igual a 18 anos e tempo de atuação na instituição igual ou acima de 6 meses, e foram excluídos os profissionais ausentes por motivo de licenças ou férias.

Para a coleta de dados, foi utilizado o NAQ-R – versão brasileira20, com 22 itens que descrevem determinados comportamentos negativos no ambiente de trabalho13,20. O profissional é solicitado a responder por meio de uma escala tipo Likert, com referência aos últimos 6 meses de trabalho na unidade e com as opções: nunca (1 ponto), de vez em quando (2 pontos), mensalmente (3 pontos), semanalmente (4 pontos) e diariamente (5 pontos)13. A consistência interna avaliada pelo alfa de Cronbach no estudo de validação para a cultura brasileira foi de 0,9020.

A coleta de dados ocorreu no período de abril a junho de 2018. Os profissionais que atenderam aos critérios de inclusão foram convidados a participar do estudo e receberam um envelope contendo o Termo de Consentimento Livre Esclarecido (TCLE), a ficha com dados pessoais e profissionais e o instrumento NAQ-R, que foram devolvidos em envelopes lacrados a uma das pesquisadoras, que codificava os participantes para a transferência dos dados para uma base eletrônica.

Os dados coletados foram codificados, categorizados e digitados em planilha do programa Microsoft Excel® e, posteriormente, exportados e analisados no programa SPSS for Windows (Statistical Package for the Social Sciences), versão 22.0. Foi realizada a análise descritiva das variáveis categóricas com o cálculo dos valores de frequência absoluta e porcentagem e para as variáveis contínuas medidas de posição (média, máximo e mínimo) e medidas de dispersão [desvio-padrão (DP)].

Para avaliação das propriedades de medida do NAQ-R, no que tange às dimensões do NAQ-R – versão brasileira, foi considerada a proposta de quatro dimensões do NAQ-R – versão portuguesa: Exclusão (8 itens), Intimidação (8 itens), Qualidade/Sobrecarga de Trabalho (3 itens) e Intimidação (2 itens)17, a qual foi justificada por o estudo ter sido realizado com enfermeiros e pela semelhança da língua entre Brasil e Portugal.

A avaliação da validade estrutural do NAQ-R foi realizada por meio da análise fatorial confirmatória em duas etapas: análise da validade convergente e discriminante, considerando os quatro domínios do NAQ-R. Foram empregados modelos de equações estruturais com base no método de estimação partial least squares (PLS) ou mínimos quadrados parciais utilizando o software Smart PLS 3.2.122.

Para avaliar a validade convergente dos itens do NAQ-R, foram examinados os resultados da variância média extraída [average variance extracted (AVE)], e valores acima de 0,50 indicam que o modelo está progredindo em direção a um resultado satisfatório. Em seguida, foram analisadas as cargas fatoriais entre os itens e seus respectivos fatores. Itens com cargas inferiores a 0,50 foram excluídos23.

A validade discriminante foi avaliada pelo critério de Fornell & Larcker, que compara as raízes quadradas das AVEs com as correlações entre os fatores24 e quando as raízes quadradas das AVEs forem maiores do que as correlações entre os fatores. Além disso, foram analisadas as cargas cruzadas para observar se a carga fatorial de um item específico era mais alta no fator ao qual foi inicialmente atribuído do que nos outros fatores do modelo.

Após o cálculo do coeficiente de Pearson para analisar a variação das variáveis dependentes, foram avaliados: a validade preditiva (Q2), que mede a precisão do modelo, com valores maiores que 0 indicando relevância preditiva; e o tamanho do efeito (f2 ou indicador de Cohen), que avalia a importância de cada construto no ajuste do modelo, com valores de 0,02, 0,15 e 0,35 considerados pequeno, médio e grande, respectivamente22. Na etapa final do modelo estrutural, interpretaram-se os coeficientes de caminho para revelar a relação de previsão da variável independente sobre as variáveis dependentes.

O estudo foi aprovado pelo Comitê de Ética em Pesquisa da instituição sob o parecer número 2.549.239. Todos os participantes preencheram o TCLE, conforme recomendações da Resolução 466/2012 do Conselho Nacional de Saúde/Ministério da Saúde do Brasil.

 

RESULTADOS

Participaram do estudo 350 profissionais de enfermagem, sendo 118 (34%) enfermeiros e 232 (66%) técnicos de enfermagem. A média de idade foi de 40,2 anos (DP = 8,95), sendo 295 (84,3%) do sexo feminino e 55 (16,7%) do sexo masculino. Quanto ao tempo de experiência na instituição, 273 (78%) relataram uma média de tempo superior a 4 anos.

Após a primeira rodada do modelo, contatou-se que os valores das AVE atendiam o critério de validade convergente (AVE ≥ 0,500)24. Esses valores ficaram entre 0,535 e 0,584. Além desses valores mencionados, outros valores para a avaliação da qualidade do modelo, isto é, confiabilidade composta e alfa de Cronbach, também se mostraram adequados (Tabela 1 – Modelo inicial).

 

 

Porém, quando se procedeu à etapa seguinte, de avaliação da validade discriminante, dois domínios não atenderam ao critério de Fornell & Larcker24, que preconiza que as raízes quadradas das AVE de cada dimensão devem ser superiores às correlações com as demais. Então, para a obtenção de validade discriminante, foram retiradas as variáveis NAQ7 e NAQ10 das dimensões intimidação e exclusão, respectivamente, seguindo as recomendações de Hair Jr et al.23. Dessa forma, os valores da Tabela 1 foram levemente alterados para os dois domínios mencionados, mas continuaram adequados (Tabela 1 – Modelo final). Os valores das validades discriminantes estão apresentados na Tabela 2.

 

 

Na etapa seguinte, com a garantia da validade discriminante, iniciaram-se as análises do modelo e dos valores obtidos com o cálculo do coeficiente de determinação de Pearson (R2), da Q2 e do f2. Para os testes estatísticos, foi considerado um nível de significância de 5%. Os valores obtidos nessa etapa estão representados na Tabela 3.

 

 

Na Tabela 3, constata-se que os valores dos coeficientes de R2 são elevados, conforme os valores propostos por Cohen: R2 = 2% devem ser classificados como pequeno, R2 = 13% como médio e R2 = 26% como grande25.

Na última etapa, verificam-se os valores obtidos na avaliação dos coeficientes de caminho que estão representados na Figura 1.

 


Figura 1. Modelo estrutural final do Negative Acts Questionnaire-Revised (NAQ-R) – versão brasileira, Campinas, SP, Brasil. EXCL = Exclusão; INTM = Intimidação; NAQ = variável do instrumento; QUAL_SO = Qualidade/Sobrecarga; SUBVALOR = Subvalorização.

 

DISCUSSÃO

Este é o primeiro estudo brasileiro que testa as propriedades psicométricas de um instrumento que identifica o bullying entre os profissionais de enfermagem do Brasil. A amostra continha porcentagem desproporcional de mulheres em relação aos homens, perfil já consolidado em estudos com profissionais de enfermagem.

Após a primeira rodada de testes, o Item 7 “Foram feitos comentários ofensivos sobre a sua pessoa, isto é, sobre hábitos seus ou suas origens, suas atitudes ou sobre sua vida privada” e o Item 10 “Recebeu sinais ou dicas de que você deve pedir demissão ou largar o trabalho” foram removidos com o objetivo de alcançar os valores aceitáveis para a validade discriminante. O estudo de validação da versão original do NAQ-R13 mencionou a possibilidade de redução de itens sem comprometer a medição do bullying. Isso se deve à existência de diferenças culturais entre países, que afetam o comportamento dos profissionais e as práticas organizacionais. Essas diferenças têm implicações para o significado dos itens em instrumentos aplicados individualmente, afetando tanto a seleção quanto a redação dos itens utilizados13.

Também se verificou que a confiabilidade do instrumento NAQ-R – versão brasileira foi adequada, uma vez que os valores da confiabilidade composta foram maiores que 0,80 para todos os domínios, e os valores obtidos do alfa de Cronbach foram acima de 0,70 em três dos quatro domínios identificados26.

Seguindo com as análises, constatou-se que os valores dos coeficientes de R2 foram elevados26, indicando que há uma boa adequação dos domínios ao modelo fatorial confirmatório.

A análise da Tabela 3 revela que o modelo tem Q2 e que os domínios Exclusão e Intimidação apresentaram grande importância para o modelo. Já os domínios Qualidade/Sobrecarga e Subvalorização apresentaram importâncias média-alta e média, respectivamente. Essa análise foi fundamentada nos valores do f2 (Tabela 2), confirmando, mais uma vez, o ajuste do modelo.

Em continuidade, as análises do modelo confirmatório do NAQ-R foram determinadas em última etapa com o cálculo dos coeficientes de caminho. Os valores elevados indicam que todos os domínios são aderentes ao modelo fatorial confirmatório e, assim, indicam que a escala tem capacidade de mensurar o bullying no ambiente de trabalho de profissionais de enfermagem.

Estudos realizados na Europa e na Ásia investigaram o grau de evidência do instrumento NAQ-R e encontraram três domínios em seus modelos15,27-29. Essa estrutura é semelhante à versão original do NAQ-R, que tem sua origem na cultura europeia14. No entanto, a versão portuguesa do NAQ-R17 é uma exceção nessa classificação, pois classifica o bullying em quatro domínios, diferenciando-se das outras versões do NAQ-R aplicadas em diferentes países. Apesar disso, os resultados do estudo português são semelhantes aos obtidos no presente estudo, que também confirmou quatro domínios resultantes da validade discriminante. Isso indica que as semelhanças linguísticas e culturais podem facilitar a aplicação de instrumentos de medição em diferentes amostras.

Com exceção às perguntas números 7 e 10 do instrumento, os itens e domínios apresentaram correlações positivas e fortes entre si. A exclusão do Item 7 pode ser justificada pelas características do bullying em ambientes profissionais, uma vez que questões relacionadas ao desempenho e atuação na equipe imperam sobre fatos da vida pessoal do profissional.

A justificativa para a exclusão do Item 10, que trata da pressão para que o profissional deixe o emprego, baseia-se no fato de que cerca de 30% da amostra possuem estabilidade profissional obtida por meio de processos seletivos públicos. Essa estabilidade cria um vínculo mais forte entre o servidor e a instituição, reduzindo a sensação de insegurança em relação ao emprego, o que é conhecido na literatura como um fator relacionado ao bullying30. Além disso, os profissionais contratados por meio de contrato de trabalho, mesmo sem terem estabilidade funcional, encontram, na instituição, benefícios trabalhistas relacionados à jornada de trabalho e remuneração que não são comuns na maioria das instituições de saúde do Brasil.

Assim, a análise fatorial confirmatória neste estudo sustentou os quatro domínios avaliados pela versão portuguesa do NAQ-R, utilizando 20 itens válidos e confiáveis para medir o bullying entre profissionais de enfermagem brasileiros. O modelo ajustado do instrumento proposto é abrangente e tem grande potencial para ser amplamente utilizado na avaliação do bullying nos serviços de saúde brasileiros. Isso permitirá que gestores e profissionais de saúde reconheçam esse comportamento em sua prática profissional de forma mais eficaz.

Embora o estudo tenha incluído um número significativo de profissionais na amostra, existem algumas limitações a serem consideradas. Essas limitações estão relacionadas à falta de variáveis que abordem o clima de segurança da instituição e as particularidades das unidades de trabalho. Recomenda-se que futuras pesquisas utilizem o instrumento de forma mais abrangente, considerando uma visão ampliada dos fatores que podem contribuir para comportamentos de bullying entre os profissionais.

 

CONCLUSÕES

A análise fatorial confirmatória do NAQ-R – versão brasileira evidenciou a validade do instrumento, podendo ser considerado confiável e válido para ser utilizado na avaliação do bullying entre profissionais de enfermagem dos serviços de saúde brasileiros.

Com esse resultado, esperamos disponibilizar aos gestores das instituições de saúde um instrumento confiável para a identificação de atos de bullying entre os profissionais de enfermagem e possibilitar a adoção de medidas de prevenção desse comportamento, contribuindo para a construção da cultura de segurança organizacional positiva nos serviços de saúde.

 

CONTRIBUIÇÕES DOS AUTORES

RNA foi responsável pela concepção do estudo, tratamento de dados, análise formal, investigação (inclusive coleta de dados), metodologia, administração do projeto, recursos/ materiais, validação, apresentação, redação – esboço original, Redação – revisão & edição. DS participou da concepção do estudo, tratamento de dados, análise formal, metodologia, administração do projeto, validação, apresentação, redação – esboço original, redação – revisão & edição. EBG contribuiu na concepção do estudo, tratamento de dados, análise formal, investigação (inclusive coleta de dados), metodologia, administração do projeto, recursos/materiais, validação, apresentação, redação – esboço original, redação – revisão & edição. Todos os autores aprovaram a versão final submetida e assumem responsabilidade pública por todos os aspectos do trabalho.

 

REFERÊNCIAS

1. Einarsen SV, Hoel H, Zapf D, Cooper CL. Bullying and harassment in the workplace: theory, research and practice. New York: CRC Press; 2020.

2. Boudrias V, Trépanier SG, Salin D. A systematic review of research on the longitudinal consequences of workplace bullying and the mechanisms involved. Aggress Violent Behav. 2021;56:101508.

3. Conway PM, Erlangsen A, Grynderup MB, Clausen T, Rugulies R, Bjorner JB, et al. Workplace bullying and risk of suicide and suicide attempts: a register-based prospective cohort study of 98 330 participants in Denmark. Scand J Work Environ Health. 2022;48(6):425-34.

4. Liu J, Gan Y, Jiang H, Li L, Dwyer R, Lu K, et al. Prevalence of workplace violence against healthcare workers: a systematic review and meta-analysis. Occup Environ Med. 2019;76(12):927-37.

5. Al Muharraq EH, Baker OG, Alallah SM. The prevalence and the relationship of workplace bullying and nurses turnover intentions: a cross sectional study. SAGE Open Nurs. 2022;8:23779608221074655.

6. Difazio RL, Vessey JA, Buchko OA, Chetverikov DV, Sarkisova VA, Serebrennikova NV. The incidence and outcomes of nurse bullying in the Russian Federation. Int Nurs Rev. 2019;66(1):94-103.

7. Wunnenberg M. Psychosocial bullying among nurse educators: exploring coping strategies and intent to leave. J Nurs Scholarsh. 2020;52(5):574-82.

8. Pogue CA, Li P, Swiger P, Gillespie G, Ivankova N, Patrician PA. Associations among the nursing work environment, nurse-reported workplace bullying, and patient outcomes. Nurs Forum. 2022;57(6):1059-68.

9. Karatuna I, Jönsson S, Muhonen T. Workplace bullying in the nursing profession: a cross-cultural scoping review. Int J Nurs Stud. 2020;111:103628.

10. Johnson AH, Benham-Hutchins M. The influence of bullying on nursing practice errors: a systematic review. AORN J. 2020;111(2):199-210.

11. Anusiewicz CV, Ivankova NV, Swiger PA, Gillespie GL, Li P, Patrician PA. How does workplace bullying influence nurses’ abilities to provide patient care? A nurse perspective. J Clin Nurs. 2020;29(21-22):4148-60.

12. Hawkins N, Jeong S, Smith T. Negative workplace behavior and coping strategies among nurses: A cross-sectional study. Nurs Health Sci. 2021;23(1):123-35.

13. Einarsen S, Hoel H, Notelaers G. Measuring exposure to bullying and harassment at work: Validity, factor structure and psychometric properties of the Negative Acts Questionnaire-Revised. 2009;23(1):24-44.

14. Einarsen S, Raknes BI. Harassment in the workplace and the victimization of men. Violence Vict. 1997;12(3):247-63.

15. Makarem NN, Tavitian-Elmadjian LR, Brome D, Hamadeh GN, Einarsen S. Assessment of workplace bullying: reliability and validity of an Arabic version of the Negative Acts Questionnaire-Revised (NAQ-R). BMJ Open. 2018;8(12):e024009.

16. Dujo-López V, González-Trijueque D, Graña-Gómez JL, Andreu-Rodríguez JM. A psychometric study of a Spanish version of the Negative Acts Questionnaire-Revised: confirmatory factor analysis. Front Psychol. 2020;11:1856.

17. Borges E, Ferreira T. Bullying no trabalho: adaptação do Negative Acts Questionnaire-Revised (NAQ-R) em enfermeiros. Rev Port Enferm Saude Mental. 2015;(13):25-33.

18. Kumari U, Muneer MZ, Murtaza MA, Abbas F, Sahito AM, Hassan Z, et al. Prevalence of workplace bullying among healthcare professionals in tertiary care hospitals in Pakistan. Eval Health Prof. 2023;46(1):54-6.

19. Tsai JC, Chang WP. The mediating effect of job satisfaction on the relationship between workplace bullying and organizational citizenship behavior in nurses. Work. 2022;72(3):1099-108.

20. Maciel RH, Gonçalves RC. Pesquisando o assédio moral: a questão do método do Negative Acts Questionnaire (NAQ) para o Brasil. In: Soboll LAP, editora. Violência psicológica e assédio moral no trabalho. São Paulo: Casa do Psicólogo; 2008. p. 167-85.

21. Matos DAS, Rodrigues EC. Análise fatorial. Brasília: Enap; 2019.

22. Ringle CM, Silva D, Bido DS. Modelagem de equações estruturais com utilização do Smartpls. REMark, Rev Bras Mark. 2014;13(2):56-73.

23. Hair Jr JF, Hult GTM, Ringle CM, Sarstedt M. A primer on partial least squares structural equation modeling (PLS-SEM). Thousand Oaks: SAGE; 2014.

24. Fornell C, Larcker DF. Evaluating structural equation models with unobservable variables and measurement error. J Mark Res. 1981;18(1):39-50.

25. Cohen J. Statistical power analysis for the behavioral sciences. New Jersey: Lawrence Erlbaum Associates; 1988.

26. Hair Jr JF, Black WC, Babin BJ, Anderson RE. Multivariate data analysis. Boston: Cengage Learning; 2019.

27. Kakoulakis C, Galanakis M, Bakoula-Tzoumaka C, Darvyri P, Chrousos PG, Darviri C. Validation of the Negative Acts Questionnaire (NAQ) in a sample of Greek teachers. Psychology. 2015;6(1):63-74.

28. Erwandi D, Kadir A, Lestari F. Identification of workplace bullying: reliability and validity of Indonesian version of the Negative Acts Questionnaire-Revised (NAQ-R). Int J Environ Res Public Health. 2021;18(8):3985.

29. Vukelić M, Čizmić S, Petrović IB, Tenjović L, Giorgi G. Psychometric properties of the Serbian version of the negative acts questionnaire: revised. Psihologija. 2015;48(1):19-33.

30. Bambi S, Guazzini A, De Felippis C, Lucchini A, Rasero L. Preventing workplace incivility, lateral violence and bullying between nurses: a narrative literature review. Acta Biomed. 2017;88(5S):39-47.

Recebido em 13 de Julho de 2023.
Aceito em 21 de Agosto de 2023.

Fonte de financiamento: Nenhuma

Conflitos de interesse: Nenhum


© 2024 Todos os Direitos Reservados