
Recepción: 12 Abril 2021
Aprobación: 29 Septiembre 2021
Resumo: O uso problemático da internet e a saúde psicossocial apresentam diversas associações. O presente estudo visa avaliar a efetividade de uma orientação on- line de pais na redução de padrões de uso problemático na internet pelos seus filhos. O método consiste em um delineamento A-B, com duas replicações. A condição B consiste na aplicação de uma versão on-line e condensada do programa Promove Pais. O programa foi aplicado individualmente em três mães. Elas responderam instrumentos para medidas de habilidades sociais, “vício” na internet, depressão, ansiedade e estresse. Um aplicativo para monitoramento do tempo de uso foi instalado nos aparelhos utilizados pelas crianças. O uso de videogame foi monitorado em plataforma própria. Os resultados indicam redução estatisticamente significativa para o tempo de uso do celular e do computador, havendo indícios de redução do uso do videogame. Recomenda-se que estudos futuros avaliem a generalidade dos dados encontrados por meio de ensaios clínicos randomizados.
Palavras-chave: treino de pais on-line, uso problemático da internet por crianças, vício na internet, monitoramento em tempo real, uso abusivo de tecnologia.
Abstract: Problematic internet use has a strong association with psychosocial health. Studies have reported overuse of technology in different countries. The present study aims to evaluate the effectiveness of an online parenting training in reducing patterns of Problematic internet use by their children from records collected by Qustódio® for three children. For this, an A-B design with two replications was used. The intervention consisted on the application of an online, individual and reduced version of Promove-Pais on three mothers. Before and after the beginning of application and in the follow-up phase, psychological instruments were applied to measure social skills, internet addiction, depression, anxiety and stress. Also, one week before the start of the intervention, Qustódio® was installed on the devices used by the children and monitoring of the video game use started for the children who had this device. All participants were aware of the relevance of this monitoring, so they avoided sharing the devices with other child, during data collection. The intervention consisted of applying a short version of Promove-Pais. In the present study, an on-line and individual version was delivered for the three participants. The version evaluated in the present study lasted 10 hours and it was shortened to five sessions. The original program has fourteen sessions and approximately 14 hours. A closing session was performed after the intervention to repeat the measurements. Then, a four-week follow-up was done. On this occasion, feedback about the entire process was provided and the mothers filled all the instruments once again. Besides, they had their doubts resolved and psychological referral was provided, if necessary. The results indicate a statistically significant reduction in the use of cell phones and computers, and it was also possible to visually verify signs of a reduction in the use of video games. For the three mothers, the psychological instruments showed signs of a better mental health in general, with reduction of stress levels, anxiety, and depression. Furthermore, an improvement in mothers’ social skills and in their children’s skills were observed. The results were discussed in terms of the possibility of applying the Promove-Pais in a virtual environment, for the treatment of problematic internet use in children. It is recommended that future studies carry out a randomized clinical trial to verify the generality of the data.
Keywords: online parent training, problematic use of the internet by children, internet addiction, real-time monitoring, abusive internet use.
O uso problemático da internet e a saúde psicossocial apresentam forte associação (Caplan, 2007). O uso problemático da internet (UPI) foi correlacionado a problemas como o excesso de estresse, a desconexão emocional, a perda de autoestima, a fragmentação da atenção, a inabilidade de estabelecer limites, uma maior necessidade de gratificação imediata, além de erosão da empatia (Scott et al., 2017).
Quanto à população infantil, alguns estudos indicam correlações entre o UPI e maior concentração de queixas clínicas. Os problemas chamados de internalizantes foram positivamente correlacionados com o UPI (Cho & Há, 2019). Nesta categoria de problemas encontram-se a ansiedade, a depressão e o isolamento social (Freitas et al., 2016). Já os problemas externalizantes relacionam-se com impulsividade e agressão, por exemplo (Rescorla et al., 2020). O índice de massa corporal, na população infantil, também foi positivamente correlacionado a escores de uma escala de adição em internet. Altos escores foram correlacionados com maiores índices de massa corporal e baixos, com índices menores (Bozkurt et al., 2018). Em uma amostra de crianças com problemas de enxaqueca e dores de cabeça tensionais, foram identificadas relações entre escores em uma escala de adição em internet e maiores chances de apresentar dores de cabeça (Tepecik et al., 2019).
Quanto aos estilos parentais, observou-se uma correlação entre o estilo autoritário, quando apresentado em resposta aos comportamentos da criança relacionados à internet e o padrão de uso das crianças (Valcke et al., 2010). Há ainda dados que indicam correlação positiva entre estilo parental autoritário, caracterizado pelo alto nível de controle e baixo afeto, com o assim chamado vício em internet (Hsieh et al., 2018). Além disso, o estilo autoritativo, relacionado com um maior nível de controle e de afeto, foi negativamente correlacionado com o vício em internet. No que diz respeito a aspectos do relacionamento entre pais e filhos, características positivas do relacionamento foram negativamente correlacionadas com o vício na internet (Hsieh et al., 2018). Padrões de uso da internet nas crianças apresentaram forte associação com o monitoramento e o manejo que os pais costumavam fazer quanto ao uso (Hsieh et al., 2018; Valcke et al., 2010).
As associações citadas indicam que pode ser importante manejar variáveis em contextos aplicados na orientação a pais. Os dados também encorajam a busca do isolamento de algumas dessas variáveis, já que a maioria dos estudos se dedicaram a examinar suas correlações. O presente estudo adotou a premissa de que a ênfase no tema UPI, em uma intervenção com os pais, poderia melhorar a forma de utilizar a internet, levando a uma diminuição do tempo de uso, quando excessivo.
Dentre os programas de orientação a pais com resultados bem documentados para a população brasileira, o Promove Pais (Bolsoni-Silva & Fogaça, 2018) é um dos que não requer atividades de dinâmica de grupo, permite a inclusão de temáticas no decorrer dos encontros, além de ser uma intervenção cujos resultados no formato individual já haviam sido avaliados. Assim, discussões sobre o UPI poderiam ser incluídas em uma versão on-line do programa, ao que tudo indica (ver Kanamota et al, 2017), sem prejuízo de seus bons resultados. O Promove Pais é fundamentado em dois pilares: o primeiro preconiza que a promoção de práticas parentais positivas pode evitar ou reduzir o surgimento de problemas de comportamento e o segundo sustenta que práticas parentais positivas podem ser estabelecidas, com apoio em conceitos do campo das habilidades sociais (Bolsoni-Silva & Fogaça, 2018). Com isso, depreende-se que certas habilidades sociais parentais, quando ajustadas às necessidades da criança com UPI, podem também produzir os bons resultados obtidos para outros comportamentos problemáticos. Além disso, a literatura sugere associações entre habilidades parentais, depressão, ansiedade e estresse da mãe, com problemas de comportamento da criança (para uma discussão mais detalhada: Bolsoni-Silva & Loureiro, 2020).
O programa Promove Pais é estruturado de modo que cada sessão apresente a discussão de uma tarefa de casa da semana anterior, o tema referente ao encontro, de modo colaborativo e dialogado, o treino de repertórios, a apresentação da próxima tarefa de casa e a avaliação da sessão. A estrutura dos encontros, a quantidade deles e o seu tempo já sofreram adaptações mantendo, aparentemente, sua eficácia (Kanamota et al., 2017).
A inclusão de tecnologias com interações on-line em programas de orientação a pais já foi proposta como alternativa para prevenir problemas de abandono prematuro do tratamento (McGoron & Ondersma, 2015). Juntamente com ela, os autores haviam proposto o aumento de aspectos motivacionais, autoinstruções e integração a acompanhamento pediátrico. Mas, em que medida uma intervenção on-line com pais seria equivalente à presencial? As duas modalidades na orientação a pais já foram comparadas (Du Paul et al., 2018). Participaram do estudo pais de crianças pequenas, com risco de desenvolverem transtorno de déficit de atenção e hiperatividade - TDAH. De modo presencial, participaram 16 famílias ,15 de forma on-line e 16 participaram de um grupo-controle, que recebeu tratamento depois. Os grupos das modalidades on- line e presencial apresentaram melhoras estatisticamente semelhantes e a participação nos dois grupos foi estatisticamente igual (80%). Merece destaque uma observação dos autores quanto a essa semelhança. Eles chamam a atenção para o aspecto de que o grupo presencial recebeu alimentação e de que seus filhos receberam cuidados, enquanto os encontros estavam ocorrendo.
Vantagens do atendimento on-line a pais foram identificadas em uma revisão sistemática, a qual destacou a redução do estigma, o aumento do acesso e a redução de custos. A revisão incluiu estudos randomizados na avaliação do treino on-line de pais para o tratamento de crianças com comportamento disruptivo. Sete estudos, publicados a partir de 2011, foram examinados e todas as intervenções avaliadas utilizaram práticas baseadas em evidência, focando na observação da disciplina e na promoção de práticas parentais positivas. A população atendida nos estudos examinados foi de pais de crianças mais novas, com comportamento disruptivo clínico e pais de crianças mais velhas, abaixo da faixa clínica para transtorno disruptivo. Os resultados dos estudos foram positivos em todos os fatores avaliados: os comportamentos da criança e dos pais e a confiança dos pais em suas práticas (Baumel et al., 2016).
O presente estudo hipotetizou que o comportamento da criança relacionado ao UPI pode ser influenciado indiretamente, por meio da orientação aos pais, assim como observado em outros comportamentos problemáticos internalizantes e externalizantes já estudados (e.g., Orti et al., 2015; Kanamota et al., 2017; Tozze & Bolsoni-Silva,2017). Há, no entanto, um diferencial no UPI. Um aspecto especial na orientação a pais de crianças com UPI é a facilitação de seu monitoramento em tempo real (Bentley et al., 2019). Segundo Bentley et al. (2019) e Hameker e Wichers (2017), esse monitoramento é particularmente útil para os estudos com metodologia de caso único. O monitoramento em tempo real pode diminuir ameaças à validade ecológica do estudo. Além disso, pode aumentar a confiabilidade dos dados, considerando que foram observadas inconsistências entre o relato dos pais e o tempo de uso medido por aplicativos (Bentley et al., 2019). Existem duas formas de monitoramento em tempo real – a ativa e a passiva. A forma de monitoramento ativa mais disseminada é a Ecological Momentary Assessment (EMA). Normalmente, o EMAenvolve a resposta ativa do participante a notificações que o levam a questionários e/ou perguntas estruturadas ou semiestruturadas. Esses registros são coletados por meio de aparelhos eletrônicos pelo participante e isso pode ser feito em intervalos fixos, aleatórios, ou iniciado pelo próprio participante na ocorrência do evento na ocorrência do evento. A segunda forma de monitoramento em tempo real é feita de modo passivo, isto é, os dados são coletados de forma não intrusiva, sem que o participante precise inserir dados ativamente. Os dados que podem ser obtidos variam. Pode-se medir tempo de uso de tela, número de mensagens de texto recebidas, duração de ligações, uso de aplicativos, atividades nas redes sociais, dados geográficos (GPS), duração e qualidade do sono, batimentos cardíacos, entre outros dados (Bentley et al., 2019). Por fim, o monitoramento em tempo real pode beneficiar também a relação terapeuta/cliente, no sentido de melhorar a comunicação da díade (Hsin & Torous, 2018).
No presente estudo, assumiu-se que o tempo de uso de aparelhos poderia constituir uma medida indireta do efeito da intervenção com Promove Pais adaptada ao UPI. Portanto, o objetivo do estudo foi avaliar a efetividade de uma versão resumida e on-line (por meio de videoconferência síncrona) do programa Promove Pais no UPI pelos filhos, especificamente, no tempo de utilização dos aparelhos.
MÉTODO
Participantes
Participaram do estudo três mães que responderam a um recrutamento feito por meio de redes sociais – Whatsapp®, Instagram® e Facebook®. Os critérios de inclusão foram: ter filhos entre 5 e 12 anos; ter disponibilidade em participar da totalidade dos encontros; ter condição de participar dos atendimentos de modo on- line; apresentar queixa de UPI em relação a, pelo menos, um dos filhos. Foi critério de exclusão a criança ter recebido algum diagnóstico psiquiátrico ou o respondente do IAT atingir escore classificado como “alto”. As mães que responderam ao recrutamento foram moradoras de três diferentes estados brasileiros. As idades das mães variaram entre 34 e 38 anos e a idade dos filhos variou entre 6 e 12 anos. Todas as mães tinham dois filhos. As queixas de duas das mães disseram respeito ao primogênito e as da outra, foram relativas ao filho mais novo. Quanto ao grau de formação, ele variou entre ensino fundamental completo e pós-graduação completa. Segue uma breve apresentação das três díades mãe/criança, as quais receberam nomes fictícios (Solange/Cauã; Renata/Gabriel e Juliana/Miguel).
Solange, de 34 anos, com ensino fundamental completo, trabalhava como funcionária doméstica. Era casada e tinha dois filhos – uma menina de quatorze anos e um menino de cinco anos, Cauã. Segundo Solange, Cauã apresentava agressividade em momentos nos quais tinha de desligar o celular ou em que a bateria acabava. Além disso, segundo a mãe, Cauã costumava mentir, dizendo que havia parado de jogar, quando ainda continuava.
Renata, tinha 36 anos, era pós-graduada e vendedora. Era casada e mãe de dois filhos. O mais velho, Gabriel, tinha 10 anos e uma menina de sete. A intervenção focou em Gabriel. Segundo Renata, ele começou a se isolar com o início da pandemia. Desde então, segundo ela, a internet passou a ser cada vez mais usada. De acordo com o relato de Renata, Gabriel ficava agressivo quando a internet caía, quando ela lhe pedia para fazer alguma outra coisa no horário combinado para jogar e quando algo dava errado no jogo. A mãe relatou que Gabriel pedia, com frequência, dinheiro para comprar itens dos jogos e que ficava muito frustrado quando os pais negavam. Então, pedia para os avós, que costumavam dar.
Juliana, tinha 38 anos, com ensino superior completo e trabalhava como autônoma. Era casada e mãe de dois filhos. Um mais novo de dez e um mais velho de doze, Miguel, a quem a intervenção foi dirigida. A queixa da mãe foi de que Miguel negligenciava tarefas da escola e da casa para jogar. Segundo a mãe, ela precisava monitorar constantemente Miguel, pedindo várias vezes para que ele realizasse alguma tarefa. Além disso, segundo Juliana, o videogame sempre foi motivo de brigas entre os irmãos e isso estava cada vez pior.
Colaboradores
Uma terapeuta recém-formada, com experiência em atendimento infantil no estágio profissional da graduação em psicologia, foi convidada para aplicar a intervenção com duas das mães (Solange e Renata). A intervenção com Juliana foi feita pela própria pesquisadora, primeira autora do artigo. Ambas foram treinadas para promover o máximo de privacidade no ambiente virtual. Outras duas colaboradoras, uma psicóloga e uma graduanda em história, julgaram de modo independente entre si, classificando cada encontro quanto ao cumprimento ou não do conteúdo estipulado na versão adaptada do programa, da ordem prevista de discussão do conteúdo e do tempo de execução. O treino dos colaboradores consistiu na leitura do programa descrito no livro instrucional “Promove-Pais Treinamento de habilidades sociais educativas: guia teórico e prático” (Bolsoni- Silva & Fogaça, 2018), da sua forma adaptada para o estudo e de um resumo da intervenção encontro a encontro, descrevendo como cada terapeuta procedeu.
Aspectos éticos
A presente pesquisa foi conduzida com a aprovação pelo Comitê de Ética em Pesquisa do setor de Ciências da Saúde da UFPR, aprovada sob o protocolo CAAE20696719.5.0000.0102.
Local
Todos os encontros de orientação, as entrevistas e a aplicação dos instrumentos foram realizadas em ambiente virtual por videoconferência síncrona, obedecendo às diretrizes do Conselho Federal de Psicologia para atendimentos on-line (Resolução CFP número 004/2020). A aplicação de instrumentos remotamente seguiu as recomendações do GEAPAP (Shneider et al., 2020) de boas práticas para avaliação psicológica on-line. As reuniões de treino das colaboradoras e de supervisão das intervenções seguiram os mesmos procedimentos.
Materiais e instrumentos
Instrumentos para monitoramento do tempo de uso da internet pela criança (considerado uma medida primária): Qustódio® (Cruz, Gaspar, & Gabriel, 2012) – aplicativo desenvolvido para supervisionar, gerenciar e proteger o uso do dispositivo de crianças e adolescentes. O Qustódio® foi usado para monitorar celulares e computadores das crianças. Também foi usado um programa próprio do videogame das crianças, configurado para envio dos registros de uso para e-mails dos responsáveis.
Instrumentos para seleção (considerados parâmetros para evitar indicação imprópria para o tratamento e problemas de teto ou piso das participantes): Entrevista Clínica Inicial, semiestruturada – as mães foram entrevistadas, com uso das técnicas indicadas por Silvares e Gongora (1998). A entrevista teve o objetivo de caracterizar o comportamento da criança, entendendo em que contextos ele aconteceu, frequência e intensidade dos comportamentos, tentativas anteriores de resolver o problema e o repertório global da criança. Internet Addiction Test (IAT, Young, 1998) – instrumento para medida da dependência de internet (Pontes, Patrão, & Griffiths, 2014).
Instrumentos para caracterização do humor, de estresse, ansiedade e habilidades sociais das mães (cujas associações com os problemas da criança são citadas na literatura): Inventário de Fobia Social (SPIN, Angélico et al., 2012) – Avalia sintomas de evitação e medo, tendo sido validado no Brasil por Osório et al. (2005), com indicadores aceitáveis de validade e fidedignidade (Alves et al., 2012), com consistência interna satisfatória - alfa de Cronbach de 0,92 (Burato et al., 2009). SSRS-BR/Pais (Bandeira et al., 2009) - avalia habilidades sociais e problemas de comportamento. Desenvolvido por Gresham e Elliott (1990) e adaptado e validado no Brasil por Bandeira et al (2009), com alfa de Cronbach de 0, 8355 (Gonçalves & Pillon, 2009). Inventário de Habilidades Sociais 2 (IHS-2 - Del Prette & Del Prette, 2018) – caracteriza o desempenho social de adultos em diferentes situações, com alfa de Cronbach de 0,944 (Del Prette & Del Prette, 2018). Inventário de Depressão de Beck 2 (BDI-2, Beck et al, 1961) – avalia a intensidade da depressão. Validado para o Brasil por Gomes-Oliveira et al (2012), com alfa de Cronbach de 0,96 (Anunciação et al., 2019). Inventário de sintomas de stress para adultos de Lipp (ISSL – Lipp & Guevara, 1994), com alfa de Cronbach de 0,91 para a escala geral (Lipp & Tanganelli, 2002).
Programa Promove Pais, adaptado para o presente estudo. O programa original proposto por Bolsoni-Silva e Fogaça (2018) é estruturado em quatorze sessões. Todas as sessões obedecem a uma mesma estrutura, iniciando com a verificação da tarefa de casa, seguido por uma exposição teórica dialogada do conteúdo a ser trabalhado, um treino de habilidades, indicação de uma nova tarefa de casa e avaliação da sessão. Os encontros no programa original contêm os seguintes temas: iniciar e manter conversações; fazer e responder perguntas; expressar sentimentos positivos, elogiar, dar e receber feedback positivo, agradecer; conhecer direitos humanos básicos; expressar e ouvir opiniões; comportamento habilidoso e não habilidoso; expressar sentimentos negativos, solicitar mudança de comportamento, dar e receber feedback negativo; negociar, fazer e recusar pedidos; lidar com críticas, admitir os próprios erros, pedir desculpas; estabelecer limites (consistência na forma como os pais e mães interagem com a criança), estabelecer regras; estabelecer limites (atitudes dos pais que dificultam o estabelecimento de limites aos filhos); estabelecer limites (ignorar comportamentos-problema, dar consequências para comportamentos socialmente habilidosos, dar atenção, expressar afeto); tema livre. O programa Promove Pais pode ser aplicado em grupo ou de modo individual. No presente estudo, as mães foram atendidas em ambiente virtual, individualmente. Foram adicionados temas sobre manejo do comportamento de uso da internet por seus filhos. Essa temática foi incorporada àquela prevista para cada encontro. Por exemplo, ao falar sobre estabelecimento de limites, o tema foi discutido de modo amplo e também específico, quanto ao uso da internet pela criança. O programa original tem em média 14 horas de duração. A versão avaliada no presente estudo conteve aproximadamente 10 horas, havendo um encurtamento do período de aplicação para cinco encontros.
Delineamento e Procedimento
O delineamento consistiu em um A-B aplicado em uma mãe e replicado com outras duas. A condição A consistiu no monitoramento do tempo de uso pelas crianças, por meio do Qustódio® e do programa do videogame, antes da realização de encontros com as mães. Esse monitoramento foi feito uma semana antes do início da intervenção e consistiu em cinco observações (isto é, em cinco dias de monitoramento para cada criança). A condição B consistiu na aplicação das cinco sessões do Promove Pais na versão adaptada. O monitoramento por meio dos programas permaneceu ao longo da condição B (25 dias para dois dos participantes e 30 para um). Os registros dos finais de semana foram excluídos nas duas condições. Tais medidas continuaram quatro semanas após o quinto e último encontro da condição B (25 dias para dois dos participantes e 20 para um). Além disso, as medidas de caracterização das mães foram aferidas antes da intervenção, logo depois do quinto encontro e quatro semanas depois dele.
Quanto ao procedimento, foi realizada a Entrevista Clínica Inicial e para as mães que cumpriram os critérios de inclusão, um novo encontro foi feito, para aplicação dos instrumentos, explicação do funcionamento do aplicativo e assinatura do Termo de Consentimento Livre e Esclarecido. Então, as mães instalaram o Qustódio® nos aparelhos dos filhos, com ciência e concordância da criança. As mães aguardaram uma semana após a instalação do aplicativo para receberem a primeira sessão de orientação. Enquanto isso, os registros foram feitos em tempo real no celular da pesquisadora, primeira autora do artigo. Além disso, as mães configuraram a plataforma de videogame de seus filhos para envio dos registros de uso para os seus e-mails. Estes registros foram repassados semanalmente para a pesquisadora. As mães estavam cientes de que o monitoramento ajudaria a avaliar as orientações durante a intervenção e de que era importante preservar o uso individual dos aparelhos, evitando compartilhamento com irmãos ou amigos da criança participante, durante o período da coleta de dados.
A intervenção consistiu na aplicação da versão adaptada do programa Promove Pais. O link para a realização dos encontros foi repassado para as mães por Whatsapp® antes da primeira sessão de coleta de dados. Todas as mães participaram das cinco sessões previstas. Houve uma situação não prevista com uma das crianças: Gabriel foi atendido em quatro sessões pela pesquisadora, primeira autora do artigo, no mesmo período em que a intervenção com a mãe estava sendo feita pela outra terapeuta colaboradora do estudo. A decisão por oferecer as sessões visou atender as necessidades da criança, que, naquele momento, queixou-se de estar com uma tristeza intensa para a mãe. A mãe relatou sua preocupação com o choro frequente, a ansiedade e o isolamento de Gabriel. Após esse período, Gabriel afirmou que estava se sentindo melhor e que não sentia necessidade de continuar sendo atendido individualmente pela terapeuta/pesquisadora/primeira autora.
Para todas as mães, um novo encontro foi realizado ao final das cinco sessões de orientação, a fim de aplicar novamente os instrumentos. Então, cada mãe aguardou um período de quatro semanas e retornou para mais uma avaliação de seguimento. Nessa ocasião, ela recebeu feedback sobre o processo, respondeu novamente aos instrumentos, pôde esclarecer eventuais dúvidas e, se necessário, recebeu encaminhamento para mais atendimentos psicológicos, a depender da avaliação de cada caso. O encaminhamento foi feito para duas das três mães. Renata pediu para realizar psicoterapia individual. Para Miguel, constatou-se a necessidade de continuidade dos atendimentos, na forma de terapia infantil. Ambos foram encaminhados para atendimento no CPA da Universidade Federal do Paraná.
Análise de dados
No que diz respeito aos registros do Qustódio® (celular e computador) e do programa do videogame, os dados foram examinados a partir de estatística descritiva e analisados estatisticamente por meio de um teste de hipótese, a fim de verificar se houve diferenças significativas antes/depois, antes/durante, e durante/ depois das cinco sessões de orientação com a versão adaptada do Promove Pais para o presente estudo. Para isso, foi conduzido o Teste de Tukey (1953) – teste de Tukey da diferença honestamente significativa (honestly significant difference) (HSD) e teste de Tukey da diferença totalmente significativa (wholly significant difference) (WSD) (Bussab & Morettin, 2002). O teste de hipótese foi conduzido e foi aplicado um procedimento de comparação múltipla, para determinar quais médias foram significativamente diferentes umas das outras. Os escores dos instrumentos de medidas de caracterização das mães obtidos antes, logo após e quatro semanas depois do final da intervenção foram comparados e avaliados em termos de melhora, conforme indicação em seus manuais.
RESULTADOS
O julgamento independente das colaboradoras indicou que os cinco encontros realizados com as três mães respeitaram o conteúdo estipulado e a ordem das discussões. As colaboradoras julgaram independentemente e concordaram que o tempo de duração dos encontros divergiu nos encontros Dois, Três e Cinco para Juliana. Todos os encontros com Renata tiveram aproximadamente duas horas e meia, exceto o Três, que durou três horas.
Os registros do Qustódio (para o celular e computador) e do programa de videogame, feitos diariamente ao longo das condições A e B para as três crianças, resultaram em 25 observações durante a intervenção (para Gabriel e Miguel) e em 30 observações (para Cauã). No período entre o fim da intervenção e o seguimento, foram obtidas mais 25 observações (para Gabriel e Miguel) e 20 (para Cauã). O retardo na condição B para Cauã, por necessidade de reposição de encontros com Solange, estendeu o tempo de observação nessa condição (30 observações), mas encurtou o tempo de observação entre o final da condição B e a finalização, no seguimento.
Quanto à média de tempo de uso dos equipamentos para cada criança, a Figura 1 apresenta uma comparação por aparelhos - antes, durante e depois da intervenção, referindo-se aos três usuários. O cálculo do valor ., para o uso do celular e do computador indicou que houve mudança estatisticamente significativa após a intervenção, para os três participantes conjuntamente. Quanto ao videogame, o cálculo estatístico não sugere mudança significativa entre o número de horas no aparelho antes, durante e após a intervenção.

A Figura 2 indica a comparação da média do tempo de uso do celular, do computador e do videogame, respectivamente, para os três usuários, antes (chamada de fase 1), durante (fase 2) e depois (fase 3. da intervenção.

A média entre as fases 1 e 2, antes e durante a intervenção, para o uso do celular foi de 1,68833, para as fases 1 e 3, antes e no seguimento, foi de 2,52505 e para a fase 2 e 3, durante e no seguimento, foi de 0,836714. As três médias foram significativamente diferentes, ao serem analisadas a partir do nível de confiança de 95,0%. O valor . foi de 0,00000 e, assim, rejeitou-se a hipótese nula. Com isso, o valor . indica diferença significativa entre as três interações para o uso do celular, por parte dos três usuários. Quanto ao uso do computador, o mesmo tratamento foi conduzido, obtendo-se as médias de: 0,0862917 entre as fases 1 e 2; 1,32667 entre as fases 1 e 3 e 0,46375 entre as fases 2 e 3. Apenas o par entre as fases 1 e 3 mostrou diferença estatisticamente significativa no nível de confiança de 95,0%. O valor . nesse caso foi de 0,01510. E, por ser menor do que 0,05, rejeitou-se a hipótese. Por fim, para o uso do videogame, a partir da mesma análise, obteve-se diferença entre as fases 1 e 2 de 1,05667, entre as fases 1 e 3 de 1,3681 e entre as fases 2 e 3 de 0,311429. Nenhum dos pares mostraram diferenças estatisticamente significativas no nível de confiança de 95,0%. O valor . foi de 0,09070. Como foi maior do que 0,05 não se rejeitou a hipótese nula, não havendo diferença significativa entre as interações para os três usuários de videogame.
Quanto às medidas de caracterização das mães e do SSRS-Pais para as crianças, antes, logo após e quatro semanas depois da aplicação do Promove Pais adaptado à queixas de UPI, seguem as descrições dos escores. Renata apresentou a mesma categoria de escores do IAT durante toda a intervenção (“uso médio” - 27 antes, 29 durante e 31 depois). Os escores também se mantiveram estáveis no SPIN (11 antes, 10 depois e 13 no seguimento), na categoria sem fobia social. Já no IHS, houve leve declínio na conversação assertiva (85% antes e depois da intervenção e 80% no seguimento), Autocontrole/Enfrentamento (15% antes e depois da intervenção e 10% no seguimento) e desenvoltura social (100% antes, 97% depois e 85% no seguimento). Quanto à abordagem afetivo-sexual (85% antes e depois da intervenção e 97% no seguimento) e à expressão de sentimento positivo (60% antes, 80% depois e 100% no seguimento), houve um aumento nos escores e o escore geral se manteve o mesmo (95%). No BDI, houve atenuação nos sintomas de depressão, que passaram de moderados para mínimos (21 antes, 10 depois e 9 no seguimento). O ISSL indicou atenuação dos sintomas antes e depois, passando da fase de resistência com predominância dos sintomas psicológicos para a ausência de estresse. No seguimento, entretanto, os valores voltaram para o nível inicial.
Os escores do SSRS-Pais indicaram melhora de Gabriel (filho de Renata) no escore geral (30% antes e 80% depois e no seguimento) e na responsabilidade (40% antes e depois da intervenção e 45% no seguimento), autocontrole (15% antes, 70% depois e 45% no seguimento), afetividade/cooperação (25% antes e 80% depois e no seguimento) e civilidade (25% antes e 100% depois e no seguimento) das habilidades sociais. Houve uma redução na desenvoltura social (100% antes e 85% depois e no seguimento). Além disso, quanto aos problemas de comportamento, houve leve melhora no escore geral (65% antes, 45% depois e 50% no seguimento) e nos problemas internalizantes (80% antes, 25% depois e 45% no seguimento) e uma leve piora nos problemas externalizantes (45% antes e 55% depois e no seguimento).
Solange apresentou a mesma categoria nos escores no IAT durante toda a intervenção, (“uso médio” - 16 antes, 27 depois e 12 no seguimento). Houve também estabilidade nos escores do SPIN (“fobia leve” 29 antes, 26 depois e 25 no seguimento), no BDI com nível mínimo (2 antes, zero depois e quatro no seguimento) e no ISSL, mantendo-se na fase de resistência, com predominância física. Já no IHS, houve aumento no escore geral (20% antes, 45% durante e 40% no seguimento), abordagem afetivo-sexual (10% antes, 20% depois e 50% no seguimento), autocontrole/enfrentamento (10% antes e 15% depois e no seguimento) e a desenvoltura social (3% antes e 5% depois e no seguimento). A conversação assertiva (3% antes, 10% depois e 3% no seguimento) aumentou, retornando aos níveis iniciais. Já a expressão de sentimentos positivos manteve-se na medida após orientação e reduziu no seguimento (20% antes e depois e 10% no seguimento).
Quanto aos escores do SSRS-Pais, eles indicaram melhora para Cauã (filho de Solange) no escore geral (30% antes, 50% depois e 70% no seguimento), autocontrole (15% antes, 70% depois e 85% no seguimento), afetividade/cooperação (50% antes e 80% depois e no seguimento). Houve aumento na civilidade, entre as medidas antes e depois das orientações, havendo redução para o nível inicial no seguimento (70% antes, 100% depois e 70% no seguimento). Houve redução na desenvoltura social (40% e 10% depois e no seguimento). Na responsabilidade, houve redução e posterior aumento (65% antes, 40% depois e 85% no seguimento). Quanto aos problemas de comportamento, observa-se melhora no escore geral (45% antes, 5% depois e 25% no seguimento) e nos problemas de comportamento externalizantes (55% antes, 5% depois e 45% no seguimento) e nos problemas internalizantes (25% antes e 10% depois e no seguimento).
Também para Juliana os escores no IAT mantiveram-se na mesma categoria durante toda a intervenção (“uso médio” - 22 antes, 12 depois e 18 no seguimento). No SPIN, os escores apresentaram melhora entre as medidas feitas antes e depois da orientação e pioraram no seguimento. Os escores iniciais indicaram nível moderado (31), indo para o nível sem fobia (16) e depois para fobia leve (27). Já no IHS, houve aumento do escore geral (45% antes, 55% depois e 60% no seguimento) e na desenvoltura social (5% antes, 15% depois e 30% no seguimento), a conversação assertiva (15% antes e depois da intervenção e 40% no seguimento), abordagem afetivo-sexual (20% antes e depois e 50% no seguimento), autocontrole/ enfrentamento (3% antes e depois e 15% no seguimento) mantiveram-se os mesmos, entre a primeira e a segunda medida e melhoraram no seguimento. Na expressão de sentimentos positivos, houve piora entre a primeira e a segunda medidas e melhora, na terceira (25% antes, 20% depois e 35% no seguimento). No BDI, observa-se atenuação dos sintomas entre a aplicação antes (14) e depois (8), com piora nos sintomas de depressão, que passou de leve para moderada no seguimento (20). No ISSL, houve atenuação dos sintomas entre as medidas de antes das orientações e a do seguimento, passando da fase de resistência antes e depois da intervenção, para a fase de alerta, no seguimento. Quanto ao SSRS-Pais, houve melhora de Miguel (filho de Juliana) no escore geral (15% antes, 30% depois e 20% no seguimento) e no autocontrole (5% antes, 80% depois e 55% no seguimento). Já na civilidade, houve melhora entre as medidas antes e depois, com o retorno no seguimento (10% antes e no seguimento e 25% depois). A responsabilidade (40% antes e 25% depois e no seguimento) e a desenvoltura social (75% antes, 55% depois e 45% no seguimento) indicaram piora ao longo das medidas. Já a afetividade/ cooperação (25% antes e depois e 10% no seguimento) manteve-se igual entre a primeira e a segunda aplicação e piorou no seguimento. Quanto aos problemas de comportamento, houve melhora no escore geral (70% antes, 40% depois e 75% no seguimento) e nos problemas externalizantes (85% antes, 30% depois e 90% no seguimento) e nos problemas internalizantes (20% antes e no seguimento e 5% depois) que não se mantiveram no seguimento.
DISCUSSÃO
O objetivo do presente estudo foi avaliar a efetividade de uma orientação de pais on-line no UPI pelos seus filhos, especificamente no tempo de uso. As medidas foram obtidas a partir de registros feitos pelo aplicativo Qustódio® (celular e computador) e na plataforma de videogame, para três crianças. Quanto aos dados advindos do Qustódio® e da plataforma de videogame, a versão do Promove Pais, reduzida e adaptada para o ambiente virtual, parece ter sido efetiva em promover a redução do tempo de uso, nos três usuários. O programa já havia sido avaliado para outros problemas clínicos: habilidades sociais educativas (Bolsoni-Silva et al., 2008); interações estabelecidas entre pais e filhos (Bolsoni-Silva et al., 2008); práticas positivas na educação dos filhos (Bolsoni-Silva & Marturano, 2010); e problemas de comportamento internalizante e/ou externalizante (Orti, et al., 2015; Kanamota et al., 2017; Tozze & Bolsoni-Silva, 2017). O presente estudo corrobora os dados referentes à efetividade do Promove Pais, quando aplicado a outros problemas.
Observou-se a redução do uso da internet em todos os aparelhos. No entanto, o uso do videogame não diminuiu significativamente, o que pode ser mais detalhadamente examinado por outros estudos. O tempo de uso talvez varie em função do tipo de aparelho, caso viabilize alguma vantagem adicional, como por exemplo, caso seja um meio de interação com os colegas, no jogo on-line. Quanto ao uso do Qustódio® como forma de monitoramento passivo, ele pareceu aumentar a confiabilidade do registro no que se refere ao tempo de uso de internet pela criança. Radesky (2020) observou que o relato dos pais em relação ao uso da internet pelos filhos é impreciso, o que poderia implicar em vieses nos estudos sobre o assunto. Assim, outras pesquisas, que fizerem uso do mesmo aplicativo, poderão contribuir para o estabelecimento de um diálogo embasado em dados mais acurados.
Sabe-se que o alto nível de estresse das mães pode ter diversas consequências indesejadas na educação dos filhos, como menor encorajamento na promoção de habilidades sociais da criança e mais irritabilidade (Zamani et al., 2019). Esses fatores podem influenciar transtornos de conduta pelas crianças, transtorno de déficit de atenção e hiperatividade e transtorno desafiante (Barkley, 2006). No presente estudo, observou-se melhora na saúde mental de duas das três mães participantes, a partir dos escores do BDI-2 e do ISSL, abrindo questionamentos para investigações futuras de programas de orientação de pais on-line, como alternativa para promover saúde mental em condição de distanciamento social, tal como essa em que os dados foram coletados.
O Promove Pais fundamenta-se na noção de que a orientação a pais pode fazer uso do incremento de habilidades sociais (Bolsoni-Silva et al., 2003). Para todas as mães, houve melhora nas habilidades sociais, aferidas pelo IHS-2. Esses dados sugerem que o Promove Pais pode produzir ganhos nas habilidades sociais, mesmo em sua versão resumida, on-line e para mães com queixas de UPI por seus filhos. Corroboram esses dados Bolsoni-Silva et al. (2008) e Bolsoni-Silva e Marturano (2010). Pode-se considerar que os dados obtidos pelo Qustódio® e pelo SSRS-Pais foram consistentes com o outro pilar do programa Promove Pais, o qual foca em evitar ou reduzir o surgimento de problemas de comportamento (Bolsoni-Silva & Fogaça, 2018). Houve redução de problemas de comportamentos para todas as crianças. Isso está de acordo com os estudos de Bolsoni-Silva et al. (2008), Bolsoni-Silva e Marturano (2008), Bolsoni-Silva e Marturano (2010), Bolsoni- Silva e Borelli (2012), Kanamota et al. (2017), Orti et al. (2015) e de Tozze e Bolsoni-Silva (2017). Quanto às mudanças nas habilidades sociais por parte das crianças, todas tiveram algum aumento nos escores do SSRS-Pais. Esses dados corroboram outros da literatura (Bolsoni-Silva & Borelli, 2012; Kanamota et al., 2017; Orti et al. 2015; Tozze & Bolsoni-Silva, 2017).
Algumas limitações do estudo merecem discussão. Aprimeira é a impossibilidade de gerar inferências quanto à generalidade dos dados para outras famílias e outros problemas clínicos. Uma segunda limitação, é a incerteza quanto ao grau de conforto das mães, para relatarem interações de suas famílias, ao realizarem as sessões on-line. Algum desconforto pode ter ocorrido, ainda que observadas todas as condições de sigilo para a realização de atendimentos por videoconferência síncrona. O estudo também não pode controlar, de modo específico, a reatividade das crianças ao monitoramento.
O presente estudo encoraja delineamentos de grupo, como ensaios clínicos randomizados, que verifiquem a efetividade e eficácia do programa Promove Pais, na forma on-line para UPI. Aparentemente, para realização no formato on- line, a condensação dos conteúdos em poucos encontros (cinco) não prejudicou a obtenção de bons resultados. De todo modo, pode ser importante avaliar outras formas de distribuir as orientações no tempo da intervenção. Além disso, é possível que a inclusão das crianças em determinados momentos da intervenção incremente as melhoras observadas. Estudos futuros podem avaliar formas de incluir o atendimento à criança, conciliando-o com as orientações a seus pais.
REFERÊNCIAS
Alves, N. T., Rodrigues, M. R., Souza, I. B. M. B. D., & Sousa, J. P. M. D. (2012). Ansiedade social e atribuição de emoções a faces neutras. Estudos de Psicologia (Natal), 17, 129-134. doi:https://doi.org/10.1590/S1413-294X2012000100016
Angélico, A. P., Crippa, J. A. S., & Loureiro, S. R. (2012). Utilização do Inventário de Habilidades sociais no diagnóstico do transtorno de ansiedade social. Psicologia: Reflexão e Crítica, 25(3), 467-476. doi:https://doi.org/10.1590/ S0102-79722012000300006
Anunciação, L., Caregnato, M., & Silva, F. S. C. D. (2019). Aspectos psicométricos do Inventário Beck de Depressão-II e do Beck Atenção Primária em usuários do Facebook. Jornal Brasileiro de Psiquiatria, 68(2), 83-91.doi: https://doi. org/10.1590/0047-2085000000231
Bandeira, M., Del Prette, Z. A. P., Del Prette, A., & Magalhães, T. (2009). Validação das escalas de habilidades sociais, comportamentos problemáticos e competência acadêmica (SSRS-BR) para o ensino fundamental. Psicologia: teoria e pesquisa, 25(2), 271-282. doi:https://doi.org/10.1590/S0102-37722009000200016
Barkley, R. A. (2006). Attention deficit-hyperactive disorder: a handbook for diagnosis and treatment. a ed. New York: Guildford, 6.
Baumel, A., Pawar, A., Kane, J. M., & Correll, C. U. (2016). Digital parent training for children with disruptive behaviors: Systematic review and meta-analysis of randomized trials. Journal of Child and Adolescent Psychopharmacology, 26(8), 740-749. doi:https://doi.org/10.1089/cap.2016.0048
Beck, A. T., Ward, C. H., Mendelson, M., Mock, J., & Erbaugh, J. (1961). An inventory for measuring depression. Archives of General Psychiatry, 4(6), 561- 571. doi:10.1001/archpsyc.1961.01710120031004
Bentley, K. H., Kleiman, E. M., Elliott, G., Huffman, J. C., & Nock, M. K. (2019). Real-time monitoring technology in single-case experimental design research: Opportunities and challenges. Behaviour Research and Therapy, 117, 87-96. doi:https://doi.org/10.1016/j.brat.2018.11.017
Bolsoni-Silva, A.T., & Loureiro, S.R. (2020). Behavioral problems and their relationship to maternal depression, marital relationships, social skills and parenting. Psicologia: Reflexão e Crítica. 33, 22. https://doi.org/10.1186/ s41155-020-00160-x
Bolsoni-Silva, A. T., Salina-Brandão, A., Versuti-Stoque, F. M., & Rosin-Pinola, A. R. (2008). Avaliação de um programa de intervenção de habilidades sociais educativas parentais: um estudo-piloto. Psicologia: Ciência e Profissão, 28(1), 18-33. doi:https://doi.org/10.1590/S1414-98932008000100003
Bolsoni-Silva, A. T., Silveira, F. F., & Marturano, E. M. (2008). Promovendo habilidades sociais educativas parentais na prevenção de problemas de comportamento. Revista Brasileira de Terapia Comportamental e Cognitiva, 10(2), 125-142. doi:https://doi.org/10.31505/rbtcc.v10i2.182
Bolsoni-Silva, A. T., Marturano, E. M., & Freiria, L. R. B. (2010). Indicativos de problemas de comportamento e de habilidades sociais em crianças: Um estudo longitudinal. Psicologia: Reflexão e Crítica, 23(3), 506-515. doi:https://doi. org/10.1590/S0102-79722010000300011
Bolsoni-Silva, A. T., & Borelli, L. M. (2012). Treinamento de habilidades sociais educativas parentais: comparação de procedimentos a partir do tempo de intervenção. Estudos e Pesquisas em Psicologia, 12(1), 36-58. ISSN:18084281. Disponível em: https://www.redalyc.org/articulo.oa?id=451844637003
Bolsoni-Silva, A. T., & Fogaça, F. F. S. (2018). Promove-Pais. Treinamento de habilidades sociais educativas: guia teórico e prático. São Paulo: Hogrefe.
Bolsoni-Silva, A. T., Del Prette, A., & Oishi, J. (2003). Habilidades sociais de pais e problemas de comportamento de filhos. Revista Psicologia Argumento, 9, 11- 29.
Bozkurt, H., Özer, S., Şahin, S., & Sönmezgöz, E. (2018). Internet use patterns and Internet addiction in children and adolescents with obesity. Pediatric obesity, 13(5), 301-306. doi:https://doi.org/10.1111/ijpo.12216
Burato, K. R. S. D. S., Crippa, J. A. D. S., & Loureiro, S. R. (2009). Validade e fidedignidade da escala de comportamento de segurança na ansiedade social. Archives of Clinical Psychiatry (São Paulo), 36(5), 175-181. doi: https://doi. org/10.1590/S0101-60832009000500001
Bussab, W. D. O, & Morettin, P. A. (2002). Estatística básica. 5a edição. São Paulo: Saraiva.
Caplan, S. E. (2007). Relations Among Loneliness, Social Anxiety, and Problematic Internet Use. CyberPsychology& Behavior, 10(2), 234–242. doi:10.1089/ cpb.2006.9963
Cho, G. Y., & Ha, M. N. (2019). Mediating effects of health belief on the correlations among disease-related knowledge, eHealth literacy, and self-care behaviors in outpatients with Hypertension. Korean Journal of Adult Nursing, 31(6), 638- 649. doi:https://doi.org/10.7475/kjan.2019.31.6.638
Del Prette, Z. A., & Del Prette, A. (2018). Competência social e habilidades sociais: manual teórico-prático. Editora Vozes Limitada.
DuPaul, G. J., Kern, L., Belk, G., Custer, B., Hatfield, A., Daffner, M., & Peek, D. (2018). Promoting parent engagement in behavioral intervention for young children with ADHD: iterative treatment development. Topics in Early Childhood Special Education, 38(1), 42-53. doi: https://doi.org/10.1177/0271121417746220
Freitas, L. C., Bandeira, M., Del Prette, A., & Del Prette, Z. A. P. (2016). Comparing Psychometric Indicators of Two Brazilian Versions of the Social Skills Rating System: A Literature Review. Psico-USF, 21, 25-36. doi:https://doi. org/10.1590/1413-82712016210103
Gomes-Oliveira, M. H., Gorenstein, C., Neto, F. L., Andrade, L. H., & Wang, Y. P. (2012). Validation of the Brazilian Portuguese version of the Beck Depression Inventory-II in a community sample. Revista Brasileira de Psiquiatria, 34(4), 389-394. doi: 10.1016/j.rbp.2012.03.005
Gonçalves, A. M. D. S., & Pillon, S. C. (2009). Adaptação transcultural e avaliação da consistência interna da versão em português da Spirituality Self Rating Scale (SSRS). Archives of Clinical Psychiatry (São Paulo), 36, 10-15. doi:https://doi. org/10.1590/S0101-60832009000100002
Gresham, F. M., Elliott, S. N., Vance, M. J., & Cook, C. R. (2011). Comparability of the Social Skills Rating System to the Social Skills Improvement System: Content and psychometric comparisons across elementary and secondary age levels. School Psychology Quarterly, 26(1), 27. doi: https://doi.org/10.1037/ a0022662
Hamaker, E. L., & Wichers, M. (2017). No time like the present: Discovering the hidden dynamics in intensive longitudinal data. Current Directions in Psychological Science, 26(1), 10-15.doi:https://doi.org/10.1177/0963721416666518
Hsieh, Y. P., Shen, A. C. T., Wei, H. S., Feng, J. Y., Huang, S. C. Y., & Hwa, H. L. (2018). Internet addiction: A closer look at multidimensional parenting practices and child mental health. Cyberpsychology, Behavior, and Social Networking, 21(12), 768-773. doi:https://doi.org/10.1089/cyber.2018.0435
Kanamota, P. F., Bolsoni-Silva, A. T., & Kanamota, J. S. (2017). Efeitos do programa Promove-Pais, uma terapia comportamental aplicada a cuidadoras de adolescentes com problemas de comportamento. Acta Comportamentalia: Revista Latina de Análisis de Comportamiento, 25(2), 197-214. ISSN: 0188- 8145. Disponível em: https://www.redalyc.org/articulo.oa?id=274551146004
Lipp, M. E. N., & Guevara, A. D. H. (1994). Validação empírica do Inventário de Sintomas de Stress (ISS). Estudos de Psicologia, 11(3), 43-49.
Lipp, M. E. N., & Tanganelli, M. (2002). Stress e qualidade de vida em magistrados da justiça do trabalho: diferenças entre homens e mulheres. Psicologia: Reflexão e Crítica, 15(3), 537-548. doi:https://doi.org/10.1590/S0102-
McGoron, L., & Ondersma, S. J. (2015). Reviewing the need for technological and other expansions of evidence-based parent training for young children. Children and Youth Services Review, 59, 71-83. doi:https://doi.org/10.1016/j. childyouth.2015.10.012
Orti, N. P., Bolsoni-Silva, A. T., & Villa, M. B. (2015). Assessment of the effects of a parental intervention with mothers of children with internalizing problems. Advances in Research, 279-292. doi:10.9734/AIR/2015/16181
Osório, F. D. L., Crippa, J. A. D. S., & Loureiro, S. R. (2005). Instrumentos de avaliação do transtorno de ansiedade social. Archives of Clinical Psychiatry (São Paulo), 32(2), 73-83. doi:https://doi.org/10.1590/S0101-60832005000200003
Pontes, H. M., Patrão, I. M., & Griffiths, M. D. (2014). Portuguese validation of the Internet Addiction Test: An empirical study. Journal of Behavioral Addictions, 3(2), 107-114. doi: https://doi.org/10.1556/jba.3.2014.2.4
Radesky, J. S., Weeks, H. M., Ball, R., Schaller, A., Yeo, S., Durnez, J., Tamayo-Rios, M., Epstein, M., Kirkorian, H., Coyne, S., & Barr, R. (2020). Young children’s use of smartphones and tablets. Pediatrics, 146(1). https://doi.org/10.1542/ peds.2019-3518
Rescorla, L. A., Ivanova, M. Y., Achenbach, T. M., Almeida, V., Anafarta-Sendag, M., Bite, I., ... & Zasępa, E. (2020). Older adult psychopathology: international comparisons of self-reports, collateral reports, and cross-informant agreement. International Psychogeriatrics, 1-12. doi:https://doi.org/10.1017/ S1041610220001532
Resolução CFP n.04 de 26 de março de 2020. Dispõe sobre regulamentação de serviços psicológicos prestados por meio de Tecnologia da Informação e da Comunicação durante a pandemia do COVID-19. Recuperado de https:// atosoficiais.com.br
Schneider, A. M. A., Marasca, A. R., Yates, D. B., Feijó, L. P., Rovinski, S. L. R., & Bandeira, D. R. (2020). Boas práticas para a avaliação psicológica online. GEAPAP.
Scott, D. A., Valley, B., & Simecka, B. A. (2017). Mental Health Concerns in the Digital Age. International Journal of Mental Health and Addiction, 15(3), 604– 613. doi:10.1007/s11469-016-9684-0
Silvares, E. F. M. e Gongora, M. A. N. (1998). Psicologia clínica comportamental. A inserção da entrevista com adultos e crianças. São Paulo: Edicon.
Tpecik, I. B., Kurt, A. N. Ç., Hesapçioğlu, S. T., & Uğurlu, M. (2019). Relationship between headache and Internet addiction in children. Turkish Journal of Medical Sciences, 49(5), 1292-1297.
Torous, J., & Hsin, H. (2018). Empowering the digital therapeutic relationship: virtual clinics for digital health interventions. NPJ Digital Medicine, 1(1), 1-3. doi:https://doi.org/10.1038/s41746-018-0028-2
Tozze, K. F., & Bolsoni-Silva, A. T. (2017). Intervenção em grupo com pais de adolescentes com problemas de comportamento internalizantes. Revista Brasileira de Terapia Comportamental e Cognitiva, 19(4), 6-24. doi:https://doi. org/10.31505/rbtcc.v19i4.1091
Valcke, M., Bonte, S., De Wever, B., & Rots, I. (2010). Internet parenting styles and the impact on Internet use of primary school children. Computers & Education, 55(2), 454-464. doi:https://doi.org/10.1016/j.compedu.2010.02.009
Young, K. S. (1998). Internet addiction: The emergence of a new clinical disorder. Cyberpsychology & Behavior, 1(3), 237-244. doi: https://doi. org/10.1089/cpb.1998.1.237
Zamani, N., Zamani, S., & Habibi, M. (2019). A comparison between the effectiveness of dialectical and cognitive behavioral therapy on the mental health of mother. Journal of Research and Health, 9(1), 53-61. doi: 10.29252/jrh.9.1.53