A discussão sobre práticas baseadas

em evidência (PBEs) está presente na literatura de diferentes áreas há anos, inclusive na Psicologia (Forte, Timmer & Urquiza, 2013). Dentre as características definidoras de tais práticas, inclusive na análise do comportamento, está o uso da melhor evidência disponível na literatura científica (Slocum et al., 2014) e a produção de evidências locais para consolidar as PBEs, dado que restrições e contingências locais devem informar o curso de ação de qualquer prática (Rousseau & Gunia, 2016).

Para estudos publicados na perspectiva da Análise do Comportamento, especialmente os estudos aplicados, a qualificação da evidência produzida pode ser dada sob perspectivas diferentes, mas que conservam pontos de análise críticos. Por exemplo, Wong et al. (2015) sugerem que sejam avaliadas as medidas das variáveis dependentes, a presença da concordância entre observadores (IOA, do inglês interobserver agreement), a descrição das variáveis independentes, a forma como a análise de dados foi realizada e o controle experimental com a demonstração dos efeitos da intervenção. Além disso, discutem a necessidade de implemen- tação dos procedimentos com fidelidade para que efeitos possam ser similares aos dos estu- dos originais e atribuídos à intervenção e não a qualquer outra variável. Horner, Carr, Halle, McGee, Odom e Wolery (2005), por sua vez, propõem que os estudos sejam avaliados pelas presença (a) da definição operacional da variável dependente, (b) da descrição do contexto no qual a PBE pode ser utilizada, (c) de medidas que comprovem que a PBE é implementada com fidelidade, (d) de resultados que demonstrem uma relação funcional entre a implemen- tação da intervenção e as mudanças na variável dependente, e (e) de resultados replicados em diversos estudos, por vários pesquisadores, com diversos participantes.

Todas as variáveis acima descritas possuem importância fundamental e deveriam ser explicitamente descritas e investigadas, especialmente em estudos que se dispõem a investigar práticas de intervenção efetivas. Revisões da literatura que investigam a presença e uso de cada uma delas vêm sendo descritas na literatura internacional (p. ex., National Autism Center, 2015; Wong et al. 2015), mas o foco do presente trabalho será em duas destas variáveis, descritas em detalhes a seguir: a concordância entre observadores (IOA) e a fidelidade de implementação (FI). Revisões da literatura têm investigado a presença destas duas variáveis há décadas (Kelly, 1977; Ledford & Wolery, 2013; McIntire, Gresham, DiGennaro, & Reed., 2007; Mudford, Taylor, & Martin 2009). Ambas são fundamentais no estabelecimento da validade interna de estudos, especialmente naqueles em que serem humanos coletam dados e implementam os procedimentos descritos. A seguir segue uma breve descrição de cada uma dessas variáveis e revisões da literatura que as analisaram.

CONCORDÂNCIA ENTRE OBSERVADORES (IOA)

IOA pode ser definida como “o grau com o qual dois ou mais observadores independentes relatam os mesmos valores observados após medirem os mesmos eventos” (Cooper, Heron, & Heward, 2007, p. 698). De acordo com Cooper et al., Hawkins e Fabry (1979), Kazdin (1977), entre outros, a utilização de IOA tem diversos propósitos, dentre os quais os mais importantes são diminuir as possibilidades de erro e de inconsistência durante a coleta, aumentar a confiança e a qualidade dos dados, minimizar possíveis vieses que um dado observador possa ter (ou desenvolver) em relação ao comportamento-alvo, como por exemplo, registrar como respostas corretas aquelas que não se encontram em acordo com as definições operacionais descritas no estudo. Dado o seu papel na construção de PBEs, analistas do comportamento deveriam delinear procedimentos específicos para assegurar um alto grau de IOA (p. ex., Cooper et al., 2007; Hawkins & Fabry, 1979), mas há diversas variáveis que podem dificultar este processo, tais como a transitoriedade do comportamento e o próprio sistema de medidas. Algumas destas variáveis são discutidas a seguir.

A variável que mais comumente influencia a observação direta do comportamento e o registro de dados por humanos é o fato de que o comportamento é transitório (Barlow, Nock, & Hersen, 2009). O comportamento acontece e não há como congelá-lo em suas dimensões temporais e espaciais. A filmagem é um ótimo recurso para se lidar com esta transitoriedade, mas, além de não ser um recurso disponível a todos os pesquisadores, é importante refletir acerca de todos os efeitos que a presença de uma câmera pode gerar no comportamento. Se a câmera resultar em disrupções ou na não ocorrência do comportamento durante as observações, seu uso deveria ser evitado (Kazdin, 1979).

Uma outra variável que pode influenciar a coleta de dados de IOA é o desenho do sistema de medidas. Muitas pessoas criam sistemas de medidas - incluindo os protocolos de observação - que envolvem a observação de diversos comportamentos e/ ou de diversos indivíduos simultaneamente. Às vezes tal observação ocorre durante intervalos de tempo muito curtos e sem pausas agendadas para o registro dos dados. Ter de observar muitos fenômenos simul- taneamente, sem pausas predeterminadas pode resultar em erros de registro (Kazdin, 1979). Além disso, alguns pesquisadores criam folhas de registro cuja organização e formatação di- ficultam a localização de informação acerca de quais comportamentos devem ser registrados, onde e em qual sequência. Conforme discutido por Kazdin (1979), quanto mais complexo e difícil de utilizar forem os sistemas de medidas e os protocolos envolvidos na observação, mais provável será que haja erros e inconsistência na coleta de dados.

Uma outra questão importante diz respeito às habilidades dos observadores. Barlow et al. (2009), Cooper et al. (2007), entre outros, descrevem a importância de que os observadores sejam capazes de manter a atenção por períodos de tempo longos, tomar notas de forma descritiva e objetiva, discriminar comportamentos-alvos de não comportamentos e codificar e registrar diversos comportamentos de uma vez só. Para desempenharem todas estas funções, é preciso treinálos até que seja alcançado um critério de desempenho rigoroso. Para aumentar a probabilidade de que haja consistência na coleta de dados, pesquisadores deveriam programar oportunidades de resposta a múltiplos exemplares e não-exemplares dos comportamentos-al- vo e delinear um treinamento que permita que todos os observadores (a) se familiarizem com as definições operacionais, formulários, e quaisquer outros materiais a serem utilizados; (b) iniciem seu treinamento com o registro de respostas presentes em exemplares mais simples do que aqueles da realidade; e (c) passem para o registro que envolvam role plays ou filmagens mais longos e mais complexos até que, finalmente, cheguem à prática no ambiente natural (Cooper et al., 2007). Ainda em relação ao treinamento de observadores, há autores (p. ex., Kazdin, 1979) que apontam para a necessidade de atenção à questão do desvio da observação em relação ao comportamento-alvo (observer drift). O desvio ocorre quando os observadores expandem ou comprimem as definições operacionais originais do comportamento-alvo e passam a registrar comportamentos que não estão dentro das classes definidas (Kazdin, 1977; Smith, 1986). Barlow et al. (2009) e Cooper et al. (2007) sugerem a realização de retreino sis- temático para proporcionar feedback e manter os observadores em contato com as definições operacionais e os sistemas de registro.

Outra variável que costuma resultar em problemas na coleta de dados de IOA é a reatividade. Esta se refere ao fato que, ao saber que outras pessoas avaliarão os dados coletados, o observador pode realizar registros de comportamentos que ele pensa que os outros observa- dores registrarão, mesmo que tais comportamentos não tenham ocorrido. Um exemplo deste problema é quando um observador presta atenção ao comportamento do outro observador para registrar uma instância do comportamento, ao invés de atentar ao comportamento do par- ticipante. Neste caso é importante organizar o ambiente de forma que aqueles que registram os dados não tenham acesso visual ou auditivo aos outros observadores.

Há ainda as questões relativas a expectativas: observadores registram um comportamento por saberem que é esperado que ele ocorra com uma certa frequência ou após a inserção de uma determinada condição experimental. Observadores ingênuos, alheios aos objetivos das diferentes fases da pesquisa são ideais para evitar este tipo de viés. Outras variáveis podem criar vieses na coleta de dados de IOA, mas estas aqui dispostas são aquelas que a literatura aponta como as mais comumente encontradas.

É importante salientar que há diversas maneiras da IOA ser calculada, a depender do tipo de dado coletado e da confiabilidade que se quer obter com tais dados. Apenas para efeito ilustrativo, segundo Cooper et al. (2007), para dados relativos a registros de eventos há quatro tipos de cálculo de IOA: contagem total, contagem média por intervalo, contagem exata por intervalo e tentativa a tentativa. Para dados relativos ao tempo do comportamento, há duração total e duração média por ocorrência. Para dados obtidos por registro em intervalos ou por amostragem de tempo, há intervalo por intervalo, intervalo com registro e intervalo sem registro. Está além do escopo deste trabalho discutir as vantagens e desvantagens de cada método e referimos o leitor à Cooper et al. (2007) para uma leitura básica acerca do tema.

Duas revisões da literatura podem ilustrar como a presença de medidas de IOA está presente em estudos de Análise do Comportamento em que humanos são responsáveis pela coleta de dados em situações que têm por alvo comportamentos socialmente relevantes.

A primeira revisão da literatura que analisou a presença de medidas de IOA em estudos experimentais foi o artigo de Kelly (1977). Neste artigo, o autor avaliou os procedimentos de coleta de dados e como a IOA era avaliada em cada procedimento, em estudos publicados no Journal of Applied Behavior Analysis (JABA). De forma geral, entre 1968 (fundação do periódico mencionado) e 1975, 76% dos estudos usaram humanos como coletores de dados. Dentre estes estudos, 94% relataram métodos para o cálculo de IOA. O autor discute que, muito provavelmente, como a política de publicação do periódico sempre demandou IOA se humanos coletassem dados, os autores dos estudos revisados, com raras exceções, descreviam não só o método de cálculo, mas também o resultado de IOA.

Uma revisão de literatura mais recente (Mudford et al., 2009), analisou estudos do JABA entre 1995 e 2005, coletando dados acerca do método de coleta de dados utilizado (contínuo versus descontínuo) e métodos de IOA de dados coletados de forma contínua. Dos 256 artigos analisados, 168 estudos coletaram dados por observação direta. Dentre estes, 93 usaram métodos contínuos de coleta. Todos os 93 artigos descreveram dados de IOA e os métodos para a coleta de tais dados. De forma geral os autores discutem que, no contexto da análise do comportamento aplicada, IOA ainda é o método através do qual se julga a qualidade dos dados comportamentais.

A FIDELIDADE DE IMPLEMENTAÇÃO (FI)

Uma questão bastante discutida no campo das PBEs é a FI de intervenções que possuem evidência científica, isto porque, se a implementação não é feita com fidelidade, não é possível afirmar o que foi responsável por qualquer mudança no comportamento observada após a intervenção (McIntyre et al., 2007; Rousseau & Gunia, 2016).

A FI pode ser definida como “o grau com o qual tratamentos são implementados conforme planejado, delineado ou pretendido e se preocupa com a acurácia e a consistência com a qual as intervenções são implementadas” (McIntyre et al., 2007, p. 659).; a FI é “crítica para a tradução de intervenções baseadas em evidência para a prática” (Breitenstein et al., 2010, p. 164). De forma geral pode-se afirmar que a FI se relaciona à demonstração empírica de que mudanças em medidas da variável dependente estão relacionadas à manipulação sistemática da variável independente. Autores como Breitenstein et al. ressaltam que a FI possui diver- sas dimensões, como a adesão ao protocolo de intervenção, ao conteúdo de tal intervenção, ao processo, às competências necessárias, entre outras características que diferentes áreas de atuação vêm procurando medir. Dentro da perspectiva da Análise do Comportamento, a adesão ao protocolo é a dimensão mais presente na literatura, provavelmente, por ser aque- la que diz respeito a aspectos quantificáveis do processo de implementação: quantidade de comportamentos definidos no protocolo da intervenção que foram implementados de acordo. As variáveis que podem influenciar a coleta de dados de FI são similares àquelas já descritas para IOA, sendo a definição operacional das variáveis independentes uma das prin- cipais. Sem uma definição operacional tecnológica (Baer, Wolf, & Risley, 1968), é impossível que uma intervenção seja implementada com fidelidade. Diferente da IOA, a FI, dentro da Análise do Comportamento, não possui muitas variações, sendo comumente calculada em termos de porcentagem de passos do procedimento implementados corretamente, levandos em consideração erros de comissão e de omissão (DiGennaro-Reed, Reed, Baez, & Maguire, 2011). Outras variáveis e métodos de coleta de FI são descritos na revisão de Ledford & Wolery (2013).

Muitas revisões da literatura já foram escritas acerca de FI, mas descreveremos aquela cujo método foi adaptado para a realização do presente trabalho (McIntyre et al., 2007). Neste estudo, foram revisados todos os estudos experimentais realizados em ambientes educacionais (definição não restrita a escolas), com participantes que tinham entre 0 e 18 anos de idade, publicados entre 1991 e 2005. As variáveis analisadas foram a presença de definição operacional da variável independente, monitoramento da integridade de implementação, risco de inexatidão na implementação, quem implementou as intervenções e ano de publicação do estudo. De forma geral, cerca de 30% dos estudos apresentaram dados de FI, tendo havido um leve aumento em relação aos dados encontrados em revisões similares anteriores (p. ex., 16% em Gresham, Gansle, & Noell, 1993).

No Brasil, não há revisões da literatura que tenham investigado a presença destas duas variáveis (IOA e FI). Tendo em vista a importância destas variáveis para a construção de PBEs e como forma de aumentar a confiabilidade (e a validade interna) de estudos em que seres humanos implementam procedimentos e coletam e analisam dados, esta revisão da literatura teve por objetivo analisar artigos que descreveram estudos experimentais, publicados em periódicos brasileiros da Análise do Comportamento entre os anos de 2013 e 2017, e verificar se (a) procedimentos para medir e (b) descrições de resultados de IOA e FI vêm sendo descritos, analisados e publicados.

MÉTODO

Todos os artigos que foram incluídos nesta revisão possuíam determinados critérios para sua seleção e análise. O estudo de McIntyre et al. (2007) baseou não apenas a seleção dos critérios de inclusão, de artigos; a adaptação de seus procedimentos forjou as bases para a análise das variáveis alvo desta revisão: a presença de IOA e da FI.

Neste estudo a análise de IOA e a de FI foram conduzidas por duplas de revisores, alunos de graduação em Pedagogia ou Psicologia, membros de um Grupo de Pesquisa em Análise do Comportamento. Conforme descrito em detalhes abaixo, os revisores foram treinados até alcance de critério, por uma analista do comportamento com Certificação da Behavior Analyst Certification Board, em nível de doutoramento. Esta serviu também como terceira revisora para 23% dos artigos analisados na Fase 1 e 20% dos analisados na Fase 2, para aumentar a confiança ou chegar à concordância acerca dos dados encontrados.

Fase 1: Inclusão de Artigos

Para a análise de IOA e da FI, foram revisados três periódicos brasileiros de Análise do Comportamento (Perspectivas em Análise do Comportamento - PAC, Revista Brasileira de Análi- se do Comportamento - REBAC, Revista Brasileira de Terapia Comportamental e Cognitiva- RBTCC). A base para esta decisão foi o artigo de Strapasson, Zuge e da Cruz (2017), o qual define que estes periódicos anunciam “preferência ou exclusividade na publicação de textos em Análise do Comportamento” (p. 98). Para realizar a análise, foi feito o download de todos os arquivos presentes no sítio da revista. Foram lidos o resumo, a introdução e o método de cada arquivo para a realização da análise de inclusão descrita abaixo.

Os artigos aprovados na Fase 1: (a) eram publicados entre 2013 e 2017 – período de 5 anos, (b) estavam acessíveis online na íntegra, (c) foram publicados em língua portuguesa,

(d) seres humanos eram os únicos participantes da pesquisa, (e) eram de cunho experimental e (f) descreviam uma condição de pré-teste ou de linha de base antes de qualquer intervenção. Especificamente para os itens (e) e (f): para um estudo ser considerado experimental, deveria descrever manipulação específica de uma variável independente com o intuito de gerar mudanças na variável dependente. Estudos que apenas realizaram avaliações foram excluídos. Para ser considerado que houve pré-teste, linha de base ou qualquer condição de controle an- tes da apresentação da intervenção (item f), os estudos tinham de fornecer informações acerca da variável dependente antes da intervenção-alvo. Por exemplo, linhas de base após o ensino de relações de equivalência não foram consideradas medidas de controle do comportamento- alvo antes da intervenção, pois em tais estudos as linhas de base ocorriam após parte do ensi- no já transcorrida. Além disso, se o pré-teste ou linha de base se relacionasse a um comporta- mento que não o comportamento-alvo, não seria considerado como medida pré-intervenção. Entrevistas não foram consideradas linha de base, a não ser que o comportamento-alvo fosse as respostas à entrevista. Se os autores não chamassem suas medidas de pré-teste ou de linha de base, mas demonstrassem que antes da intervenção realizaram medidas diretas do compor- tamento-alvo, consideramos que houve pré-teste.

Foram excluídos editoriais, sumários, revisões bibliográficas e relatos breves de pesquisa que possuíssem três ou menos páginas, pois conforme discutido por McIntyre et al. (2007), artigos com três ou menos páginas costumam não possuir detalhes metodológicos suficientes para análise.

Os artigos aprovados na Fase 1: (a) eram publicados entre 2013 e 2017 – período de 5 anos, (b) estavam acessíveis online na íntegra, (c) foram publicados em língua portuguesa,

(d) seres humanos eram os únicos participantes da pesquisa, (e) eram de cunho experimental e (f) descreviam uma condição de pré-teste ou de linha de base antes de qualquer intervenção. Especificamente para os itens (e) e (f): para um estudo ser considerado experimental, deveria descrever manipulação específica de uma variável independente com o intuito de gerar mudanças na variável dependente. Estudos que apenas realizaram avaliações foram excluídos. Para ser considerado que houve pré-teste, linha de base ou qualquer condição de controle an- tes da apresentação da intervenção (item f), os estudos tinham de fornecer informações acerca da variável dependente antes da intervenção-alvo. Por exemplo, linhas de base após o ensino de relações de equivalência não foram consideradas medidas de controle do comportamento- alvo antes da intervenção, pois em tais estudos as linhas de base ocorriam após parte do ensi- no já transcorrida. Além disso, se o pré-teste ou linha de base se relacionasse a um comporta- mento que não o comportamento-alvo, não seria considerado como medida pré-intervenção. Entrevistas não foram consideradas linha de base, a não ser que o comportamento-alvo fosse as respostas à entrevista. Se os autores não chamassem suas medidas de pré-teste ou de linha de base, mas demonstrassem que antes da intervenção realizaram medidas diretas do compor- tamento-alvo, consideramos que houve pré-teste.

Os artigos aprovados na Fase 1: (a) eram publicados entre 2013 e 2017 – período de 5 anos, (b) estavam acessíveis online na íntegra, (c) foram publicados em língua portuguesa,

(d) seres humanos eram os únicos participantes da pesquisa, (e) eram de cunho experimental e (f) descreviam uma condição de pré-teste ou de linha de base antes de qualquer intervenção. Especificamente para os itens (e) e (f): para um estudo ser considerado experimental, deveria descrever manipulação específica de uma variável independente com o intuito de gerar mudanças na variável dependente. Estudos que apenas realizaram avaliações foram excluídos. Para ser considerado que houve pré-teste, linha de base ou qualquer condição de controle an- tes da apresentação da intervenção (item f), os estudos tinham de fornecer informações acerca da variável dependente antes da intervenção-alvo. Por exemplo, linhas de base após o ensino de relações de equivalência não foram consideradas medidas de controle do comportamento- alvo antes da intervenção, pois em tais estudos as linhas de base ocorriam após parte do ensi- no já transcorrida. Além disso, se o pré-teste ou linha de base se relacionasse a um comporta- mento que não o comportamento-alvo, não seria considerado como medida pré-intervenção. Entrevistas não foram consideradas linha de base, a não ser que o comportamento-alvo fosse as respostas à entrevista. Se os autores não chamassem suas medidas de pré-teste ou de linha de base, mas demonstrassem que antes da intervenção realizaram medidas diretas do compor- tamento-alvo, consideramos que houve pré-teste.

Foram excluídos editoriais, sumários, revisões bibliográficas e relatos breves de pesquisa que possuíssem três ou menos páginas, pois conforme discutido por McIntyre et al. (2007), artigos com três ou menos páginas costumam não possuir detalhes metodológicos suficientes para análise.

Fase 2: Análise dos Artigos Incluídos

IOA. Na Fase 2, em relação à presença de IOA, dois revisores, alunos de Graduação, responderam duas perguntas: (a) houve monitoramento da IOA e (b) qual a referência completa do artigo. Para a primeira pergunta, cada estudo foi codificado como “sim”, “não” ou “indícios de monitoramento”. Para “sim”, cada revisor respondia positivamente à pergunta “ao ler o método, você encontrou uma descrição dos procedimentos de registro e cálculo de IOA que você poderia replicar, ou seja, que você conseguiria fazer igual?”. Este critério foi proposto por Baer et al. (1968) e utilizado por McIntyre et al. (2007). Quando o estudo (a) apenas des- crevia os resultados de IOA (sem mencionar os procedimentos de registro e de cálculo de suas medidas) e havia a presença de câmera, gravador ou segundo observador ou (b) mencionava a concordância entre observadores, mas não a descrevia, ele foi classificado como “indícios de monitoramento”, pois não seria possível a replicação do procedimento adotado. Foram codi- ficados como “não” artigos que não poderiam ser codificados como “sim” ou como “indícios de monitoramento”.

FI. As categorias de análise de McIntyre et al. (2007) resultaram na formulação de três perguntas a serem respondidas acerca da FI. A primeira foi em relação ao monitoramento. Cada estudo (alguns artigos descreviam mais do que um estudo) foi codificado como “sim” ou “não”. Para serem codificados como “sim”, os estudos (a) especificavam um método de mensuração da FI (observador presente, filmagem das sessões, lista de componentes da intervenção e como estes eram utilizados) e (b) relatavam os resultados de tal método, como, por exemplo, a porcentagem de passos implementados com fidelidade durante a intervenção. Estudos em que não mencionaram a FI foram codificados como “não” (McIntyre et al., 2007). No início do estudo a categoria “monitorado” havia sido proposta para estudos que descre- viam ter monitorado a FI do tratamento, mas falharam em descrever seus dados ou para estu- dos que descreveram os dados, mas não relataram o seu procedimento (McIntyre et al., 2007). Todavia, não houve estudos com esta característica.

A segunda pergunta foi em relação ao agente de implementação do tratamento (McIntyre et al., 2007) o qual se refere a quem (ou o que) implementou as variáveis independentes (intervenção). Tais agentes foram classificados de acordo com as seguintes categorias (mutuamente exclusivas): (a) professor de Educação Infantil, Ensino Fundamental ou Ensino Médio, (b) profissional (não-professor), (c) auxiliares, assistentes ou estagiários (não relacio- nados ao projeto de pesquisa), (d) pais ou irmãos, (e) pesquisador ou assistente de pesquisa, (f) par tutor, criança da mesma faixa etária, comumente com desenvolvimento típico, (g) o próprio participante, (h) múltiplos agentes, ou seja, vários dos anteriores, (i) outros, ou seja, nenhum dos descritos acima, ou (j) não especificado. Exemplos da categoria (a) incluíam professores de escolas regulares e de instituições especializadas na prestação de serviços para pessoas com deficiências (excluindo-se as universidades). A categoria (b) incluía profissio- nais não professores (por exemplo, psicólogos, fonoaudiólogos, fisioterapeutas etc). Assis- tentes, auxiliares e estagiários, (c), incluíam equipe de apoio (p. ex., auxiliar de sala de aula, professores assistentes, monitores e estagiários de curso de graduação não relacionados à pes- quisa). A categoria (d) era composta por familiares dos participantes. A (e) eram pessoas que coletavam dados para o propósito do estudo e não estavam envolvidos com outros papéis de prestação de serviços. Um par tutor (f) era uma outra criança, normalmente da sala da criança- alvo, que não era o foco da intervenção. A categoria (g) era quando o próprio participante administrava ou mediava a implementação do tratamento. Múltiplos agentes (h) descrevia o fato de mais de uma categoria anterior ter sido utilizada. Se o agente de implementação descrito no estudo não coubesse em nenhuma das categorias descritas anteriormente, “outros” era utilizado. Houve alguns estudos que não especificaram o agente implementador e foram denominados “não especificados”.

A terceira pergunta foi a referência completa do artigo.

TREINAMENTO DOS REVISORES E CONCORDÂNCIA ENTRE OBSERVADORES

Cinco revisores participaram do processo de revisão dos artigos. Antes do início da análise da Fase 1, todos os revisores passaram por 4 sessões de treinamento nas quais foram analisados e discutidos, em média, 5 artigos por sessão. Estes artigos advinham das próprias revistas analisadas, mas de anos anteriores aos alvos desta pesquisa. Durante as sessões de treinamento os revisores alcançaram 100% de concordância entre si (IOA) através de codificação independente ou, para estudos em que havia discrepância em qualquer variável de análise, discutiuse até consenso (McIntyre et al., 2007). Após alcançar 100% de concordância nos artigos de treino da Fase 1, esta fase foi iniciada. Cada artigo foi distribuído por sorteio para, pelo menos, 2 revisores. Dentre os 35 artigos aprovados na Fase 1, em 8 (23%) foi necessário um terceiro observador e discussão até consenso. A variável que mais necessitou de discus- sões para consenso foi a presença de linha de base, pois muitos estudos de equivalência de estímulos utilizavam esta denominação, mas mediam comportamentos que já haviam passado por intervenção. Em todos os outros artigos houve 100% de concordância entre os revisores. Após a aprovação na Fase 1, o treino da Fase 2 foi iniciado, no qual os revisores alcançaram 100% de concordância na codificação das perguntas-alvo em cinco artigos. Cinco artigos fo- ram necessários para o treino. Após iniciada a Fase 2, na qual dois revisores analisavam cada artigo, uma amostra aleatória de 20% dos artigos analisados foi selecionada para codificação e concordância por um terceiro observador. Na Fase 2, a concordância entre os revisores foi de cerca de 90%, com os estudos em que houve discordância sendo discutidos até consenso. Nas Fases 1 e 2, a porcentagem de concordância entre revisores foi calculada através da codifi- cação de cada um dos itens analisados em cada estudo: primeiramente, para cada um dos itens analisados em um estudo se atribuiu o valor 1 (concordância) ou 0 (discordância). A seguir, se dividiu o número de itens em que houve concordância pelo número total de itens analisados (N= 7, na Fase 1 e N= 2, na Fase 2 de IOA e N = 3, na Fase 2 de FI).

RESULTADOS

Foram analisados, na Fase 1, os 290 artigos disponíveis nos sites das três revistas (foram excluídos sumários, editoriais e artigos duplicados, ou seja, o mesmo artigo publicado em mais do que uma língua). Dentre estes, 35 foram aprovados para a Fase 2 (12%) na qual encontramos 10 artigos (3,4%) que possuíam descrição de IOA, cinco (1,7%) que possuíam indícios de IOA e dois (0,7%) que descreveram medidas de FI e seus resultados. Os 35 artigos aprovados na Fase 1 encontramse na Tabela 1.

Tabela 1
Informações básicas acerca dos artigos e estudos incluídos na Fase 1

Nota * PAC – Perspectivas em Análise do Comportamento. ** REBAC – Revista Brasileira de Análise do Comportamento. *** RBTCC - Revista Brasileira de Terapia Comportamental e Cognitiva.

Na Figura 1 se encontra uma análise que revela o número de artigos publicados por ano, quantos deste foram aprovados na Fase 1 e, dentre estes, quantos tinham medidas e relatos de IOA e FI. Conforme pode ser observado, não há uma tendência geral, nos três periódicos de aumento na presença de IOA e FI com o passar dos anos.

Figura 1
Ilustração dos dados de artigos publicados por ano em cada revista *, artigos aprovados na análise da Fase 1, artigos contendo IOA e artigos contendo FI.

Nota. *Número de artigos excluindose editorias, sumários e repetições de artigos em mais do que uma língua.

Conforme disposto na Tabela 1 e na Figura 2, na maior parte dos estudos, foram os próprios pesquisadores e seus assistentes que implementaram as intervenções (51% dos estudos), seguidos da categoria outros (19,1%). Três categorias não foram pontuadas: professor, par tutor e o próprio participante. Em 10,6% dos estudos não foi possível determinar quem foi o agente de implementação da intervenção com as informações contidas em suas descrições do método e dos resultados.

Figura 2
Porcentagem de agentes implementadores descritos nos estudos analisados na Fase 2. As porcentagens relativas às categorias de agentes se iniciam na parte centro superior do gráfico e prosseguem em sentido horário.

DISCUSSÃO

O presente manuscrito teve por objetivo analisar artigos que descreveram estudos experimentais com humanos, publicados em periódicos brasileiros da Análise do Comportamento entre os anos de 2013 e 2017, e verificar se (a) procedimentos para medir e (b) descrições de resultados de IOA e FI vêm sendo descritos, analisados e publicados.

De forma geral, os resultados obtidos mostram que a literatura publicada em periódicos de Análise do Comportamento brasileiros não traz informações acerca de IOA e FI de forma frequente e sistemática. Nas revisões de literatura que trataram destes tópicos, para IOA, por exemplo, a porcentagem de estudos descrevendo o método de coleta e os resultados foi sempre alta (p. ex., 94% dos estudos revisados por Kelly, 1977, apresentaram dados de IOA). Em nossa revisão, apenas 3,4% dos estudos incluídos relataram tais dados. Em relação à FI, artigos como o de Peterson et al. (1982) e Gresham et al. (1993), demonstram que entre as décadas de 1960 e 1990 o número de estudos descrevendo os procedimentos e relatando os dados de FI era apenas 16% (JABA). Todavia, os artigos mais recentes, como o de McIntyre et al. (2007) - análise de artigos do JABA – e de Ledford & Wolery (2013) - análise de diversos periódicos – já encontraram uma porcentagem maior de estudos relatando FI. Os resultados do presente estudo, tanto em relação à IOA, como em relação à FI, talvez apontem para a necessidade de uma política editorial que demonstre a necessidade de coleta e relato de tais dados, especialmente quando humanos são responsáveis pela implementação e coleta de dados (Ledford & Woley, 2013).

É importante salientar, conforme discutido por McIntyre et al. (2007), que as razões para os resultados obtidos podem ser várias, indo desde o próprio processo editorial (p. ex., espaço disponível para cada publicação) até a falta de conhecimento e de treinamento em relação a estas variáveis e às formas como estas podem ser medidas. Apesar dos resultados, é importante destacar o fato que ambos os estudos que relataram procedimentos e medidas da FI foram publicados em 2017, o que pode sugerir uma melhora no relato de tal variável ao longo do tempo.

Em relação ao processo de análise dos artigos na Fase 1 é importante destacar algumas questões. Uma delas é que, durante a Fase 1, por exemplo, muitos estudos faziam menção à linha de base e a pré-testes, mas não possuíam os critérios desta categoria, conforme definido para este estudo. Esta variável foi a que resultou no maior número de reuniões para se chegar a um consenso a respeito de sua presença ou não. Estudos futuros poderiam analisar as diferentes definições de linha de base e as funções que elas servem nos respectivos estudos nos quais foram citadas, buscando definir as características que efetivamente são definidoras de uma linha de base ou situação controle. Uma outra questão importante é que alguns estudos faziam descrições que pareciam ser as de um experimento, mas quando analisados de acordo com os critérios aqui definidos, eram simplesmente relatos, sem manipulação de variável independente. Seria importante um processo editorial que levasse os autores a deixar mais explícita a informação acerca da presença da manipulação de uma variável independente. Tal clareza poderia auxiliar leitores a definir o tipo e qualidade do estudo lido.

Na Fase 2, durante a análise de IOA, houve alguma dificuldade em classificar estudos como “indícios de IOA” ou “não”. No início, a presença de câmera, gravador ou segundo observador classificava um estudo como “indícios de monitoramento”; todavia, após discordâncias durante a análise de alguns estudos, o grupo constituído pelos cinco revisores chegou ao consenso que a simples presença destes objetos (ou pessoa), comumente destinados a registro de IOA, não poderia ser considerada indício de monitoramento sem a menção, mesmo que breve, de tal intuito.

Ainda na Fase 2, em relação à fidelidade, na maior parte dos estudos analisados, foi bastante difícil identificar os agentes implementadores da intervenção, sendo diversos estudos confusos, inconsistentes ou inespecíficos em relação a esta variável. Poder-se-ia levantar a hipótese que a falha em coletar dados acerca da FI esteja correlacionada com a falta de sistematicidade no relato acerca de agentes implementadores, porém, apesar de no estudo de Bacelar et al. (2017) estar claro quem foi o agente de implementação, no estudo de Silva et al. (2017), as informações estavam bastante confusas, havendo inconsistência no uso de termos para descrever tais agentes.

Além das questões relacionadas ao processo de análise e os seus resultados, há questões teórico-conceituais e procedimentais que precisam ser discutidas. Primeiramente é importante debater sobre a diferença entre um alto nível de IOA versus precisão na coleta de dados. Conforme descrito anteriormente, IOA é avaliada quando dois ou mais observadores registram o comportamento de um mesmo participante, de forma independente, usando o mesmo sistema de medida. A concordância fornece o valor de como os dados dos observadores correspondem uns aos outros. Ter uma alta porcentagem de IOA, porém não significa que os dados são pre- cisos. Dois observadores podem ter um alto grau de concordância porque estão registrando um comportamento que não está de acordo com as definições operacionais. Precisão se refere ao fato de que os dados registrados refletem o desempenho real do participante. Então, pode haver concordância, sem precisão na coleta de dados. Isto ocorre por exemplo, em casos do fenômeno denominado observer drift (Cooper et al., 2007; Smith, 1986). Na Análise do Comportamento Aplicada (ABA), acaba-se utilizando a IOA como medida de confiança de forma frequente devido à dificuldade em se obter os valores acerca do desempenho real do participante (Cooper et al., 2007; Kazdin, 1977).

Uma questão também bastante importante é aquela levantada por autores como Rousseau & Gunia (2016) e Breitenstein et al. (2010) acerca da diferença entre a FI de um deter- minado protocolo e as condições que podem afetar os resultados desta implementação. Um profissional pode até implementar um protocolo com alta fidelidade, pois o controle de tal processo está em suas mãos. Porém, algumas contingências maiores, como por exemplo, o re- pertório educacional de cada participante, a classe socioeconômica, o número de participantes atendidos por vez (grupos versus individual), riscos específicos da população recebendo o tratamento, financiamento para a manutenção de tais práticas etc. podem influenciar o resultado da implementação de determinada PBE.

Para a coleta de dados de ambas as variáveis discutidas no presente manuscrito, IOA e FI, é importante se manter atento a todas as questões que dificultam a coleta destes dados, conforme descrito na introdução. Por exemplo, em relação à complexidade dos protocolos e número de respostas do participante ou número de passos de um procedimento cuja FI será medida, pode de forma geral, haver um esforço para que o mínimo de comportamentos ou passos e o mínimo de indivíduos possível seja observado e que a organização e formatação das folhas de registro seja “intuitiva” (ou seja, fácil de localizar as informações necessárias e registrar os comportamentos-alvo).

Finalmente, é importante salientar a importância da IOA e da FI especialmente em pesquisas nas quais humanos coletam os dados e implementam os procedimentos. Medir estas variáveis aumenta a confiança nos dados e proporciona mais evidências para a prática profissional. Esperase que os resultados encontrados possam servir, de alguma forma, para o aumento de pesquisas que meçam, descrevam e investiguem as variáveis-alvo do presente manuscrito. Em resumo, esperase que este estudo possa contribuir para reflexões iniciais acerca de contingências que ampliem o relato destas variáveis em pesquisas publicadas no contexto brasileiro.

em pesquisas publicadas no contexto brasileiro.

REFERÊNCIAS

Almeida, M. S., Runnacles, A. L. S., & Silveira, J. M. (2016). Treino de comportamentos de intimidade para terapeutas em processo de formação em Psicoterapia Analítica Funcional. Perspectivas em Análise do Comportamento, 7(2), 212-228. http://dx.doi. org/10.18761/pac.2016.020.

Almeida-Verdu, A. C. M., & Gomes, F. P. (2016). Precisão da fala em nomeação de figuras após formação de classes de equivalência em crianças com implante coclear. Perspectivas em Análise do Comportamento, 7(2), 274-287. https://doi.org/10.18761/ pac.2016.010.

Azevedo, F. M. S., & Todorov, J. C. (2016). Controle de estímulos e contraste comportamental em uma tarefa de cooperação. Revista Brasileira de Análise do Comportamento, 12(2), 95-105. http://dx.doi.org/10.18542/rebac.v12i2.4402.

Bacelar, F. T. N. S., Neves, E. B., & Souza, C. B. A. (2017). Relações funcionais entre estímulos condicionais sociais, atenção conjunta, tato e mando em crianças com autismo. Revista Brasileira de Terapia Comportamental e Cognitiva, 19(4), 45-61. https://doi. org/10.31505/rbtcc.v19i4.1093.

Baer, D. M., Wolf, M. M., & Risley, T. R. (1968). Some current dimensions of applied behavior analysis. Journal of Applied Behavior Analysis, 1(1), 91-97. https://doi.org/10.1901/ jaba.1968.1-91.

Balbinot, A. D., Araujo, R. B., & Santos, P. (2014). Variação na frequência cardíaca e intensidade do craving durante a exposição a estímulo em dependentes de crack. Revista Brasileira de Terapia Comportamental e Cognitiva, 16(3), 23-33. https://doi. org/10.31505/rbtcc.v16i3.710.

Barlow, M. D., Nock, M., & Hersen, M. (2009). Single case experimental designs: Strategies for studying behavior for change. New York: Allyn and Bacon.

Borba, M. M. C., Monteiro, P. C. M., Barboza, A. A., Trindade, E. N., & Barros, R. S. (2015). Efeito de intervenção via cuidadores sobre aquisição de tato com autoclítico em crianças com TEA. Revista Brasileira de Análise do Comportamento, 11(1), 15-23. http:// dx.doi.org/10.18542/rebac.v11i1.3768.

Breitenstein, S. M., Gross, D., Garvey, C., Hill, C., Fogg, L., & Resnick, B. (2010). Implementation fidelity in community-based interventions. Research in Nursing & Health, 33(2), 164–173. http://doi.org/10.1002/nur.20373.

Camoleze, M. L., & Silveira, J. M. (2017). Intervenções com análises de contingências e tarefas de casa na FAP. Revista Brasileira de Terapia Comportamental e Cognitiva, 19(3), 92-109. https://doi.org/10.31505/rbtcc.v19i3.1057.

Canato, T., Souza, S. R., & Ximenes, V. S. (2014). Efeito de um programa de orientação de pais sobre comentários feitos por eles em competições. Revista Brasileira de Terapia Comportamental e Cognitiva, 16(2), 4-22. https://doi.org/10.31505/rbtcc.v16i2.704.

Cooper J. O., Heron T. E., & Heward W. L. (2007). Applied behavior analysis. (2ª ed). Upper Saddle River, NJ: Pearson.

Dainez, E. C. L. (2017). Reabilitação neuropsicológica e terapia cognitivo comportamental aplicadas a paciente com doença de Alzheimer. Revista Brasileira de Terapia Comportamental e Cognitiva, 19(1), 146-154. https://doi.org/10.31505/rbtcc.v19i1.957.

Dalto, J. O., & Haydu, V. B. (2015). Equivalência de estímulos no ensino de funções matemáticas de primeiro grau no ensino fundamental. Perspectivas em Análise do Comporta- mento, 6(2), 132-146. https://doi.org/10.18761/pac.2015.022.

Reed, F. D. D., Reed, D. D., Baez, C. N., & Maguire, H. (2011). A parametric analysis of errors of commission during discrete‐trial training. Journal of Applied Behavior Analysis, 44, 611-615.

Ferreira, L. A., Silva, A. L. M., & Barros, R. S. (2016). Ensino de aplicação de tentativas discretas a cuidadores de crianças diagnosticadas com autismo. Perspectivas em Análise do Comportamento, 7(1), 101-113. https://doi.org/10.18761/pac.2015.034.

Fonseca, A. C. G., Assis, G. J. A., & Souza, S. R. (2015). Efeito do ensino de sentenças sobre a leitura recombinativa com compreensão: Procedimento de CRMTS. Revista Brasileira de Terapia Comportamental e Cognitiva, 17(3), 55-69. https://doi.org/10.31505/ rbtcc.v17i3.815.

Forte, L. A., Timmer, S., & Urquiza, A. (2014). A brief history of evidence-based practice. In Evidence-based approaches for the treatment of maltreated children (pp. 13-18). Springer, Dordrecht.

Garcia, V. A., Falcão, A. P., & Almeida-Verdu, A. C. M. (2017). O treino de operantes verbais durante o comportamento de estudar: Relato de um caso. Revista Brasileira de Terapia Comportamental e Cognitiva, 19(1), 31-48. https://doi.org/10.31505/rbtcc.v19i1.948.

Garcia, M. V. F., & Oliveira, T. P. (2016). Redução de comportamento autolesivo em uma criança com diagnóstico de autismo utilizando reforçamento não contingente e treino de mando. Revista Brasileira de Análise do Comportamento, 12(1), 54-64. http:// dx.doi.org/10.18542/rebac.v12i1.3790.

Gomes, C. G. S., Hanna, E. S., & Souza, D. S. (2015). Ensino de relações entre figuras e palavras impressas com emparelhamento multimodelo a crianças com autismo. Revista Brasileira de Análise do Comportamento, 11(1), 24-36. http://dx.doi.org/10.18542/ rebac.v11i1.1975.

Gresham, F. M., Gansle, K. A., & Noell, G. H. (1993). Treatment integrity in applied behavior analysis with children. Journal of Applied Behavior Analysis, 26, 257-263. https://doi. org/10.1901/jaba.1993.26-257

Gris, G., & de Souza, S. R. (2016). Jogos educativos digitais e modelo de rede de relações: Desenvolvimento e avaliação do protótipo físico do jogo Korsan. Perspectivas em Análise do Comportamento, 7(1), 114-132. https://doi.org/10.18761/pac.2016.003.

Guimarães, L. S., & Luna, S. V. (2016). O comportamento do professor sob controle do comportamento do aluno: Uma intervenção em ambiente natural. Perspectivas em Análise do Comportamento, 7(2), 256-273. https://doi.org/10.18761/pac.2016.033.

Haydu, V. B., & Zanluqui, L. V. (2013). Jogo de tabuleiro para ensino de habilidades monetárias: Grau de aprendizagem de diferentes faixas etárias. Perspectivas em Análise do Comportamento, 4(2), 122-135. https://doi.org/10.18761/perspectivas.v4i2.117.

Hawkins, R. P, & Fabry, B. D. (1979). Applied behavior analysis and interobserver reliability: A commentary on two articles by Birkimer and Brown. Journal of Applied Behavior Analysis, 12(4), 545-552. https://doi.org/10.1901/jaba.1979.12-545.

Horner, R. H., Carr, E. G., Halle, J., McGee, G., Odom, S., & Wolery, M. (2005). The use of single-subject research to identify evidence-based practice in special education. Exceptional Children, 71, 165-179. https://doi.org/10.1177/001440290507100203

Kazdin, A. E. (1977). Artifact, bias, and complexity of assessment: The abcs of reliability. Journal of Applied Behavior Analysis, 10(1), 141-150. https://doi.org/10.1901/ jaba.1977.10-141

Kazdin, A. E. (1979). Unobtrusive measures in behavioral assessment. Journal of Applied Behavior Analysis, 12(4), 713-724. https://doi.org/10.1901/jaba.1979.12-713.

Kelly, M. B. (1977). A review of the observational data‐collection and reliability procedures reported in the Journal of Applied Behavior Analysis. Journal of Applied Behavior Analysis, 10, 97-101. https://doi.org/10.1901/jaba.1977.10-97

Lantyer, A. S., Varanda, C. C., Souza, F. G., Padovani, R. C., & Viana, M. B. (2016). Ansiedade e qualidade de vida entre estudantes universitários ingressantes: Avaliação e intervenção. Revista Brasileira de Terapia Comportamental e Cognitiva, 18(2), 4-19. https://doi.org/10.31505/rbtcc.v18i2.880.

Ledford, J. R., & Wolery, M. (2013). Procedural fidelity: An analysis of measurement and reporting practices. Journal of Early Intervention, 35, 173-193. https://doi. org/10.1177/1053815113515908

Magalhães, P. G., Assis, G. A., & Rossit, R. A. (2016). Emergência de relações monetárias por meio do procedimento de ensino de escolha com o modelo com resposta construída para crianças surdas. Revista Brasileira de Terapia Comportamental e Cognitiva, 18(2), 35-55. https://doi.org/10.31505/rbtcc.v18i2.882.

McIntyre, L. L., Gresham, F. M., DiGennaro, F. D., & Reed, D. D. (2007). Treatment integrity of school-based interventions with children in the Journal of Applied Behavior Analysis 1991–2005. Journal of Applied Behavior Analysis, 40(4), 659-672. https:// doi.org/10.1901/jaba.2007.659-672.

Monteiro, B. K., Reis, M. J. D., & Silva, M. F. F. (2017). Saúde mental e qualidade de vida de servidores públicos: Avaliando protocolo de intervenção para dor. Revista Brasileira de Terapia Comportamental e Cognitiva, 19(2), 42-62. https://doi.org/10.31505/rbtcc. v19i2.1032.

Mudford, O. C., Taylor, S. A., & Martin, N. T. (2009). Continuous recording and interobserver agreement algorithms reported in the Journal of Applied Behavior Analysis (1995– 2005). Journal of Applied Behavior Analysis, 42, 165-169. https://doi.org/10.1901/ jaba.2009.42-165

Nóbrega, L. G., & Britto, I. A. G. S. (2017). Avaliação e tratamento de comportamentos problemas de duas pessoas com o diagnóstico de depressão. Revista Brasileira de Terapia Comportamental e Cognitiva, 19(1), 128-145. https://doi.org/10.31505/rbtcc. v19i1.956.

Nogueira, E. E., & Vasconcelos, L. A. (2015). De macrocontingências a metacontingências no jogo dilema dos comuns. Revista Brasileira de Análise do Comportamento, 11(2), 104-116. http://dx.doi.org/10.18542/rebac.v11i2.1941.

Novais, M. R., & Britto, I. A. G. S. (2013). Comportamentos -problema de uma criança vítima de abuso sexual. Revista Brasileira de Terapia Comportamental e Cognitiva, 15(1), 4-19. https://doi.org/10.31505/rbtcc.v15i1.563.

Oliveira, M. A., Cortez, M. D., & de Rose, J. (2016). Efeitos do contexto de grupo no autorre- lato de crianças sobre seus desempenhos em um jogo computadorizado. Perspectivas em Análise do Comportamento, 7(1), 70-85. https://doi.org/10.18761/pac.2015.026.

Paixão, G. M., Assis, G. J. A., & Oliveira, A. I. A. (2014). Emergência de leitura recombinativa em crianças com paralisia cerebral. Revista Brasileira de Terapia Comportamental e Cognitiva, 16(3), 4-22. https://doi.org/10.31505/rbtcc.v16i3.709.

Pereira, F. S., Assis, G. J. A., & Verdu, A. C. M. A. (2016). Integração dos repertórios de falante-ouvinte via instrução com exemplares múltiplos em crianças implantadas cocleares. Revista Brasileira de Análise do Comportamento, 12(1), 23-32. http://dx.doi. org/10.18542/rebac.v12i1.4023.

Peterson, L., Homer, A. L., & Wonderlich, S. A. (1982). The integrity of independent variables in behavior analysis. Journal of Applied Behavior Analysis, 15, 477-492. https:// doi.org/10.1901/jaba.1982.15-477

Rogoski, N. B., Flores, E. P., Gauche, G., Coêlho, R. F., & Souza, C. B. A. (2015). Compreensão após leitura dialógica: Efeitos de dicas, sondas e reforçamento diferencial base- ados em funções narrativas. Perspectivas em Análise do Comportamento, 6(1), 48-59. https://doi.org/10.18761/pac.2015.6.1.a04.

Rousseau, D. M., & Gunia, B. C. (2016). Evidence-based practice: The psychology of EBP implementation. Annual Review of Psychology, 67(1), 667-692. https://doi.org/10.1146/ annurev-psych-122414-033336.

Silva, T. F. (2016). Terapia cognitivo comportamental em pacientes com púrpura idiopática. Revista Brasileira de Terapia Comportamental e Cognitiva, 18(3), 58-69. https://doi. org/10.31505/rbtcc.v18i3.922.

Silva, A. J. M., Amaral, E. V., Barboza, A. A., & Barros, R. S. (2017). Efeitos do número de exemplares sobre aquisição e generalidade de desempenho em crianças diagnosticadas com transtorno do espectro do autismo (TEA). Revista Brasileira de Análise do Comportamento, 13(1), 5-15. http://dx.doi.org/10.18542/rebac.v13i1.5259.

Slocum, T. A., Detrich, R., Wilczynski, S. N., Spencer, T. D., Lewis, T., & Wolfe, K. (2014). The evidence-based practice of applied behavior analysis. The Behavior Analyst, 37(1), 41-56. http://dx.doi.org/10.1007/s40614-014-0005-2.

Smith, G. A. (1986). Observer drift: A drifting definition. The Behavior Analyst, 9(1), 127- 128. http://dx.doi.org/10.1007/BF03391937.

Sousa, N. R., & Britto, I. A. G. S. (2017). Controle do comportamento de uma pessoa com diagnóstico de esquizofrenia em comunidade evangélica. Revista Brasileira de Terapia Comportamental e Cognitiva, 19(2), 6-23. https://doi.org/10.31505/rbtcc.v19i2.1030.

Souza, L. M. R., Sousa, N. M., & Gil, M. S. T. A. (2016). Aprendizagem de relações emergentes por exclusão em crianças de 2 a 3 anos. Revista Brasileira de Análise do Compor tamento, 12(1), 44-53. http://dx.doi.org/10.18542/rebac.v12i1.3788.

Strapasson, B. A., Zuge, P. R., & da Cruz, R. N. (2017). O isolamento da análise do comportamento no Brasil: Uma análise bibliométrica. Revista Brasileira de Terapia Comportamental e Cognitiva, 19(1), 94-114. https://doi.org/10.31505/rbtcc.v19i1.954.

Toledo, T. F. N., & Benvenuti, M. F. L. (2015). Efeitos da exigência de desempenhos entrelaçados sobre linha de base em esquema simples de reforço. Revista Brasileira de Aná- lise do Comportamento, 11(2), 184-194. http://dx.doi.org/10.18542/rebac.v11i2.1971.

Tozze, K. F., & Bolsoni-Silva, A. T. (2017). Intervenção em grupo com pais de adolescentes com problemas de comportamento internalizantes. Revista Brasileira de Terapia Comportamental e Cognitiva, 19(4), 6-24. https://doi.org/10.31505/rbtcc.v19i4.1091.

Vendramine, C. M., & Benvenuti, M. F. L. (2013). Promoção de mudanças de comportamentos em crianças: O papel do automonitoramento do comportamento dos cuidadores. Revista Brasileira de Terapia Comportamental e Cognitiva, 15(3), 5-20. https://doi. org/10.31505/rbtcc.v15i3.627.

Wong, C., Odom, S. L., Hume, K., Cox, A. W., Fettig, A., Kucharczyk, S., … & Schultz, T. R. (2015). Evidence-based practices for children, youth, and adults with autism spectrum disorder: A comprehensive review. Journal of Autism and Developmental Disorders, 45(7), 1951-1966. https://doi.org/10.1007/s10803-014-2351-z.

Notas

Enlace alternativo

http://www.revistas.unam.mx/index.php/acom/article/view/75181 (pdf)