1. INTRODUÇÃO

Este estudo se propõe a apresentar exemplificações práticas do protocolo verbal think aloud, apontando seus conceitos, processamento da informação, tipos de protocolo, análise de protocolo, vantagens e críticas ao uso do mesmo. O protocolo think aloud consiste em solicitar a um indivíduo que pense em voz alta enquanto resolve uma tarefa ou problema (Van Someren, Barnard, & Sandberg, 1994). Esse protocolo tem aplicações sobre processos cognitivos em pesquisas na área da psicologia e da educação e, em muitos casos, é uma fonte única de informação sobre esses processos.

O protocolo verbal think aloud, ou pensar em voz alta, tem sua origem na psicologia, tendo sido desenvolvido a partir do método da introspecção (Van Someren et al., 1994). Segundo esses autores, a introspecção é baseada na ideia de que se pode observar eventos que ocorrem na consciência, mais ou menos como se pode observar eventos no mundo exterior.

Os métodos de pesquisa introspectiva foram amplamente utilizados até o advento do behaviorismo, como instrumentos fundamentais dispostos a descrever os processos mentais do ser humano (Barbosa & Neiva, 1997). Segundo essas autoras, após serem rejeitados pela corrente behaviorista, que proibiu todas as teorias que não poderiam ser observadas a partir do exterior do indivíduo (Van Someren et al., 1994), os métodos introspectivos voltaram a ser considerados como métodos de coleta de dados em estudos realizados na área da psicologia cognitiva experimental, especificamente por meio do modelo de processamento da informação proposto por Ericsson e Simon a partir dos anos 80. Os métodos introspectivos englobam relatórios verbais e escritos, como o protocolo verbal think aloud, registros introspectivo e retrospectivo, diários, anotações de campo, repertório de redes, entrevistas e questionários (Cavalcanti & Zanotto, 1994).

Devido ao aumento da utilização de protocolos verbais no novo paradigma da Psicologia, Ericsson e Simon (1993) salientam para a importância e a necessidade de se investigar essa metodologia de coleta e análise de dados, a fim de fornecer uma análise de protocolo com uma sólida base teórica, capaz de responder aos questionamentos realizados por psicólogos sobre a aceitação de protocolos como fonte de dados científicos (Cavalcanti & Zanotto, 1994). Dessa maneira, a aplicabilidade do protocolo em diferentes áreas de pesquisa é crescente e identificada em estudos recentes, como exemplo os estudos de Thermaenius, Schandl e Sluys (2019), por profissionais da área da saúde; de Zeijlmans, López, Grietens e Knorth (2019), por profissionais do bem-estar infantil; de Lee, Knowles e Whitehead (2019), por profissionais do esporte em alto nível; e de Whitehead, Cropley, Huntley, Miles, Quayle e Knowles (2016), por profissionais de coaching.

No Brasil, observa-se uma carência de estudos teórico-empíricos que aprofundem uma discussão sobre o assunto. Diante deste contexto, este estudo propõe uma discussão sobre os aspectos conceituais do protocolo verbal think aloud utilizando-se de aplicações práticas num processo de decisão individual. Para tal, esse trabalho apoia-se na revisão dos estudos dos principais autores que defendem o uso do protocolo, especialmente o trabalho de Ericsson e Simon (1993), bem como na exemplificação de aplicações práticas do protocolo. Dessa forma, na próxima seção são abordados os pressupostos teóricos sobre o protocolo verbal think aloud. A seção três se refere à metodologia da pesquisa; na seção quatro, são apresentados exemplos de aplicação do protocolo; sendo na sequência elucidada sua análise. A seção cinco traz uma discussão sobre o protocolo think aloud. Por fim, são apresentadas as considerações finais acerca do estudo, limitações e sugestões para pesquisas futuras.

2. REVISÃO DA LITERATURA

2.1 O PROTOCOLO VERBAL THINK ALOUD

O protocolo verbal think aloud, ou pensar em voz alta, é um método em que o sujeito é requisitado a falar em voz alta durante a solução de um problema ou execução de uma tarefa (Jaspers, Steen, Van Den Bos & Geenen, 2004). Segundo Ericsson e Simon (1993), o protocolo consiste em um relatório oral do conteúdo da memória de curto prazo e representa um traçado dos processos cognitivos que as pessoas apresentam ao realizarem uma tarefa.

Dessa forma, o indivíduo verbaliza seus pensamentos sem descrever ou explicar o que está fazendo - ele simplesmente verbaliza as informações que presta atenção ao gerar a resposta (Ericsson & Simon, 1993). Para esses autores, o protocolo think aloud recorre a pensamentos sobre assuntos que estão na memória de curto prazo. Como todos os processos cognitivos passam por meio da memória de curto prazo, o pensamento consciente do sujeito pode ser relatado no momento em que é processado. Os processos cognitivos que geram verbalizações são um subconjunto dos processos cognitivos que geram o comportamento ou ação (Ericsson & Simon, 1993).

Segundo Jaspers et al. (2004), em muitos casos, o protocolo think aloud é uma fonte única de informação sobre os processos cognitivos, ou seja, gera dados diretos sobre os processos de pensamento contínuo durante o desempenho de uma tarefa. Em geral, o protocolo consiste em: a) coletar de uma forma sistemática o protocolo think aloud; b) analisar os protocolos a fim de obter um modelo de processo cognitivo que ocorre na solução de um problema.

Neste contexto, o protocolo think aloud é reconhecido como uma fonte útil de dados, que pode fornecer amplas possibilidades para desvendar mecanismos psicológicos e estruturas de conhecimento subjacente à solução de problemas humanos com atividades específicas à tarefa, ou seja, resolução de problema, leitura, escrita, segunda língua de aprendizagem, aconselhamento, negócios, bem como o estudo de interações indivíduo-computador, etc. (Yang, 2003). Destaca-se a atual utilização do protocolo verbal no estudo de processos cognitivos complexos, tais como a resolução de problemas e a tomada de decisões em diversas áreas (Neves, 2004), incluindo investigações, com objetivo de contribuir na validação de escalas de satisfação de consumidores com serviços de saúde (Thermaenius et al., 2019), visando identificar as heurísticas utilizadas para a tomada de decisão na adoção de crianças (Zeijlmans et al., 2019), buscando analisar o processo de julgamento na ginástica artística feminina (Lee et al., 2019) e a fim de compreender a autoconsciência e a reflexão em ação na prática de coaching (Whitehead et al., 2016), por exemplo.

2.2 NÍVEIS DE VERBALIZAÇÃO DE COLETA DE DADOS

Ericsson e Simon (1993) descreveram níveis em que um sujeito pode verbalizar seus processos de pensamento e de seu conteúdo. Assim, o primeiro nível de verbalização é simplesmente a vocalização da codificação articulatória oral ou dissimulada (Ericsson & Simon, 1993). Para esses autores, nesse nível, não há processo intermediário e o sujeito não precisa despender especial esforço para comunicar seus pensamentos, ou seja, a informação é reproduzida na forma em que o sujeito teve seu foco de atenção. Para Tomitch (2007), no nível 1 de verbalização, a informação já está na forma verbal na memória de curto prazo e pode então ser verbalizada.

O segundo nível de verbalização envolve a descrição, ou melhor, a explicação do conteúdo do pensamento (Ericsson & Simon, 1993). Logo, esse nível de verbalização não traz novas informações para o foco de atenção do sujeito, mas apenas explica ou legenda as informações que estão internamente compactadas ou em uma codificação que não é isomórfica com a linguagem. Assim, quando um ou mais processos de mediação ocorrem entre a informação em que foi prestada atenção e a sua transferência, denomina-se informação codificada ou nível 2 (Ericsson & Simon, 1993). Segundo Tomitch (2007), na verbalização do tipo 2 o conteúdo está na memória de longo prazo, de forma não verbal e precisa ser ‘traduzido’ em palavras durante a verbalização.

O terceiro nível de verbalização requer que o sujeito explique seus processos de pensamentos ou seus pensamentos (Ericsson & Simon, 1993). Uma explicação de pensamentos, ideias ou hipóteses ou seus motivos não são simplesmente uma recodificação da informação já presente na memória de curto prazo, mas sim a exigência de uma ligação dessa informação aos pensamentos anteriores e à informação que foi foco de atenção anteriormente (Ericsson & Simon, 1993) e, portanto, requer processamento cognitivo adicional além do de verbalização (Whitehead, Taylor & Polman, 2015). Assim, esse tipo de verbalização força o sujeito à sequência de seus pensamentos, de maneira a gerar e verbalizar abertamente as informações solicitadas. Segundo esses autores, o nível 2 de verbalização não engloba tais processos interpretativos adicionais.

2.3 CONDIÇÕES PARA O USO DO PROTOCOLO

O uso do protocolo verbal, para coleta dos dados, pressupõe uma série de condições e precauções que o pesquisador deve tomar. Conforme Van Someren et al. (1994), o cenário, ou ambiente em que ocorrerá a aplicação do protocolo, é a primeira precaução que o pesquisador tem de tomar, ou seja, o ambiente para realização da tarefa deverá ser apropriado de forma que o indivíduo sinta-se à vontade, como se estivesse sozinho, sem a presença do pesquisador.

Quanto aos sujeitos, há uma preocupação com a similaridade das características dos mesmos, como nível de conhecimento sobre o objeto da tarefa, a área de atuação e a familiaridade com a metodologia. Ao se envolverem nos relatos verbais, os sujeitos trazem consigo um modo de ser particular, com experiências e conhecimentos diferentes que levam a diversas abordagens de processamento da informação.

No que diz respeito à orientação (instruções) dos sujeitos quanto ao ato de pensar em voz alta, segundo Ericsson e Simon (1993), não é necessário treiná-los no procedimento dos protocolos verbais, pois poderia ser prejudicial induzi-los a um desempenho pretendido pelo pesquisador, no entanto os autores sugerem um aquecimento inicial antes do início da sessão. De acordo com Van Someren et al. (1994), as instruções com relação à tarefa deverão ser entregues em mãos aos sujeitos que participarão da pesquisa, usando uma comunicação clara e simples. A essência da instrução deve estar baseada na solicitação ao indivíduo de desempenhar a tarefa, dizendo em voz alta o que vem em sua mente. Essa instrução, além de ser entregue ao indivíduo, deverá ser lida pelo pesquisador antes do início da tarefa, a fim de assegurar que todos os participantes terão acesso às mesmas instruções.

3 METODOLOGIA

A fim de alcançar ao objetivo proposto neste estudo no que se refere à aplicação prática do protocolo think aloud, tomou-se como exemplo parte dos resultados de duas pesquisas que utilizaram o método experimental. Havia a necessidade de compreender como os indivíduos tomavam decisões sem auxílio de sistemas, inclusive contrastando esse processo ao daquele com o uso de um SAD. Constatou-se que o protocolo think aloud, do tipo verbalização concorrente, em que os relatos do processo cognitivo descritos como estados sucessivos das informações são verbalizados diretamente, ou seja, durante a realização da tarefa (Ericsson & Simon, 1993), que envolve a organização de experimentos, seria o melhor para aquelas situações.

Para a realização dos estudos, foram aplicadas duas tarefas decisórias, uma que simulava a compra de um notebook e a outra a compra de um veículo usado. Em ambas as tarefas as alternativas de escolha eram para uso pessoal. O primeiro passo para aplicação das tarefas foi o convite realizado aos sujeitos experimentais por meio de e-mail ou contato telefônico. Na formalização do convite, era explícito em que consistia a pesquisa e que a mesma poderia ser realizada com ou sem o auxílio de um SAD, ou seja, pelo modelo mental de decisão, no qual eram mapeados o processo e as estratégias de decisão por meio da utilização do protocolo verbal think aloud. Os experimentos foram administrados individualmente com cada sujeito, sendo o da escolha de notebook no local de trabalho do indivíduo e o da escolha de veículo em uma loja de comércio de veículos usados.

Destaca-se que as tarefas experimentais passaram por um processo de refinamento, no qual foram realizados alguns ajustes a fim de permitir mais aproximação do modelo proposto para a aplicação das pesquisas. Os mesmos procedimentos foram adotados com todos os sujeitos experimentais.

3.1 FRAMEWORK DOS EXPERIMENTOS 1 E 2

O desenho e os procedimentos dos Experimentos 1 e 2 (E1 e E2) são descritos de maneira semelhante nessa seção, tendo em vista que eles seguiram o mesmo roteiro de aplicação. Os resultados dos estudos são apresentados na seção quatro. O modelo de pesquisa pode ser visualizado na Figura 1.

Figura 1.
Modelo das pesquisas
Fonte: Adaptada de Reis e Löbler (2012) e Lehnhart e Löbler (2017).

a) Variável independente

Como variável independente, tem-se o modelo de decisão proposto por um dos dois SADs (AHP MAKH-ER e Visual PROMETHEE), desenvolvidos a partir dos Métodos Multicritérios de Apoio à Decisão (MMAD) PROMETHEE e AHP. No que se refere à tomada de decisão sem um modelo propriamente dito, na qual o sujeito desempenhou a tarefa livremente, esta foi realizada com base no protocolo verbal Think Aloud.

b) Variável dependente

Como variável dependente, tem-se a decisão do sujeito experimental ao final de cada tarefa, analisada a partir das escolhas feitas durante o processo de resolução do problema. A estruturação das variáveis deu-se por meio da: a) execução de uma tarefa com um modelo de um SAD – “resultado da decisão 2” e b) execução de uma tarefa sem um modelo de um SAD – “resultado da decisão 1”.

c) Tarefa decisória e hipótese do Experimento 1

A tarefa do experimento 1 constituiu-se na simulação de compra de notebook para uso pessoal, possuindo, como alternativas, três modelos de notebook escolhidos entre os publicados nas revistas Coleção Info e Info Exame (Vaio NW201AE, R480-5000 e Pavilion dv21110br) e, como atributos/critérios, as características dos notebooks, que são a base para a tomada de decisão. Os oito critérios – velocidade do processador, memória RAM, espaço de armazenamento do HD, tamanho da tela, peso, dimensão, marca, assistência técnica autorizada e preço – foram definidos com base em estudos anteriores de McMullen (2000), Vieira e Slongo (2006) e de revistas especializadas. O critério de manutenção foi definido por especialistas da área como determinante para o bom funcionamento do notebook.

Para a execução da tarefa com o auxílio do SAD, foi disponibilizado ao decisor o software AHP MAKH-ER, validado em estudo anterior por Corso e Löbler (2010), baseado no método Processo Analítico Hierárquico (AHP), que permite estruturar uma decisão em níveis hierárquicos, determinando, por meio da síntese de valores dos decisores, uma medida global para cada uma das alternativas, priorizando-as ou classificando-as ao final do método (Saaty, 1991).

Para a execução da tarefa sem o auxílio de um SAD, foi utilizado o protocolo verbal think aloud. As alternativas e os critérios com todas as informações relevantes foram disponibilizados aos indivíduos por meio de três fichas ilustrativas, cada uma contendo as informações relacionadas a uma alternativa/modelo de notebook. Além das fichas ilustrativas, os sujeitos experimentais receberam uma planilha com as descrições dos critérios utilizados na tarefa decisória, bem como lápis e papel, como material de apoio, caso julgassem necessário, para resolução da tarefa.

Quanto aos procedimentos de registro, utilizou-se a técnica de gravação em formato digital de áudio. Após, todas as gravações foram transcritas e divididas em segmentos. Por conseguinte, foram realizadas as codificações dos protocolos de forma aleatória, selecionando um conjunto de dados e categorizando-os um de cada vez, sem um auxílio contextual dos segmentos anterior e posterior (Ericsson & Simon, 1993).

Tendo em vista que as categorias de segmentação devem ser construídas levando-se em consideração o objetivo da investigação de verificar se um SAD representa o processo de decisão humana, tomou-se como base o método AHP para estabelecimento das categorias de análise: OEC, OCA, CPP, VAP, HAA, constantes no modelo de pesquisa. Cabe salientar que ambas as tarefas foram realizadas pelos sujeitos experimentais sem restrição de tempo. Assim, a hipótese do E1 era que o processo de tomada de decisão em uma tarefa, utilizando um SAD, é o mesmo de quando não se utiliza um SAD.

d) Tarefa decisória e hipótese do Experimento 2

A tarefa do experimento 2 constituiu-se na simulação de compra de um veículo usado cujas alternativas foram três modelos de veículos, dois sedans (Focus e Azera GLS) e uma minivan (Idea Adventure). Os critérios ou atributos considerados como relevantes no processo de decisão de escolha dos veículos foram definidos com base em estudos anteriores de Baltas e Saridakis (2013) e Wu, Liao e Chatwuthikrai (2014) e de revistas especializadas. Para o desenvolvimento da tarefa, foram utilizados os dez critérios mais relevantes encontrados nesses estudos: preço, custo de manutenção, consumo de combustível, câmbio automático, banco em couro, desempenho do motor, quilometragem, ano de fabricação e modelo, pintura e lataria. Cabe salientar que os critérios ar-condicionado, direção hidráulica, freios ABS, trava elétrica e alarme não foram considerados para análise na tarefa decisória por não serem critérios diferenciadores na hora da escolha, apenas foi mencionado que todas as alternativas de veículos possuíam essas opcionais.

Para a execução da tarefa com o auxílio do SAD, foi disponibilizado ao decisor o software Visual PROMETHEE, com modelagem e estruturação subjacente ao MMAD PROMETHEE, desenvolvido pela VPSolutions sob a supervisão do professor Bertrand Mareschal. Para a tarefa sem o auxílio de um SAD, foi utilizado o protocolo verbal think aloud. As alternativas e os critérios com todas as informações relevantes foram disponibilizados aos indivíduos por meio de catálogos ilustrativos, contendo as informações relacionadas às alternativas/modelos dos veículos. Nesse experimento os sujeitos experimentais também receberam uma planilha com as descrições dos critérios utilizados na tarefa, bem como lápis e papel, como material de apoio. Quanto aos procedimentos de registro, utilizou-se a mesma técnica do E1.

Considerando o objetivo do estudo (E2) de investigar a relação entre método PROMETHEE e as estratégias de decisão utilizadas pelo indivíduo, sem o auxílio do SAD, no processo de escolha em um contexto específico, as categorias de análise foram originadas a partir das estratégias de decisão propostas por Todd e Benbasat (1991): Compensatória Aditiva, identificada a partir da categoria de análise avaliações independentes; Diferença Aditiva, a partir das categorias avalições dependentes, somatórios e diferenças; Eliminação por Aspecto, a partir de eliminações; e Conjuntiva, a partir de escolhas temporárias. Sendo assim, dado que um SAD facilita o processo de decisão humana, a hipótese do E2 testada foi que as estratégias de decisão utilizadas pelo indivíduo são semelhantes ao MMAD subjacente a esse sistema (Todd & Benbasat, 1991).

3.2 SUJEITOS EXPERIMENTAIS

articiparam da pesquisa como sujeitos experimentais indivíduos que possuem conhecimento sobre o objeto de decisão, ou seja, para o E1, notebook, e para o E2, veículo usado. Assim foram selecionados para essa exemplificação dois indivíduos que participaram dos experimentos e que se enquadram em algumas das seguintes características: atuavam em áreas ligadas à informática, como assistências técnicas, vendedores ou professores de cursos de informática ou que compravam carros com frequência, assinavam revistas de automóveis, ou eram apreciadores de automóveis.

Ressalta-se que as amostras dos dois experimentos totalizavam 41 sujeitos. No entanto, visando apresentar exemplificações práticas do protocolo verbal think aloud, foco deste artigo, foram escolhidos dois sujeitos, um correspondente ao experimento 1 e outro correspondente ao experimento 2. Assim, nos resultados do presente artigo, explorou-se a adoção do protocolo think aloud, objetivando servir de guia para uso em pesquisas futuras.

Com relação ao perfil dos sujeitos, um participante era do sexo masculino com mais de 31 anos de idade, casado e utiliza notebook como instrumento de trabalho há mais de 15 anos. O outro participante era do sexo feminino, com 42 anos, solteira e já havia escolhido mais de 20 carros usados em ocasiões anteriores à pesquisa e considerava-se apreciadora de veículos.

Cabe acrescentar que as tarefas foram aplicadas ao mesmo grupo experimental, ou seja, os mesmos indivíduos participaram das duas condições, executando, primeiramente, a tarefa com o auxílio do SAD e, consequentemente, a tarefa sem o auxílio do sistema, sendo o resultado da decisão apresentado somente no final da resolução das duas tarefas. Neste caso, conforme Cozby (2003), tem-se um delineamento com medidas repetidas, no qual os mesmos indivíduos participam das duas condições, passando por repetidas mensurações da variável dependente após cada condição experimental.

3.3 PROCEDIMENTOS EXPERIMENTAIS

O primeiro procedimento para realização dos experimentos foi a apresentação da pesquisa ao decisor por meio de slides, contendo o objetivo do trabalho e uma breve explicação da metodologia empregada. Após esse procedimento, era informado ao indivíduo que iniciaria a resolução da tarefa com auxílio do SAD para o E1 e sem auxílio do SAD para o E2. Na sequência, eram entregues ao indivíduo as instruções para a realização da tarefa e também era informado que ela poderia ser executada no tempo que o decisor julgasse necessário.

Além da leitura das instruções, para a resolução da tarefa sem o apoio do sistema era realizada uma demonstração de como verbalizar os pensamentos durante o desempenho de uma tarefa, resolvendo-se um problema matemático. Concluída a resolução do problema, o indivíduo era questionado se ainda existiam dúvidas quanto ao protocolo think aloud. Não havendo dúvidas, o sujeito experimental recebia o material ilustrativo contendo os critérios/atributos e as informações relacionadas às alternativas de escolha.

Após, era solicitado ao decisor que pensasse em voz alta durante toda resolução da tarefa, que verbalizasse todos os seus pensamentos, desde o primeiro momento em que observou as fichas ilustrativas. Era enfatizado que não deveria planejar o que dizer ou tentar explicar o que estava falando, mas sim que dissesse tudo o que vinha à sua mente.

Com relação à resolução da tarefa com o apoio do sistema, no E1 o sujeito experimental utilizava o software para simular a compra do notebook, passando por todas as etapas do método AHP. No E2 o pesquisador atuava como facilitador, incluindo as decisões/escolhas do sujeito experimental no SAD, esse procedimento foi adotado tendo em vista a sistematização do software Visual PROMETHEE. Por fim, o decisor avisava ao pesquisador a alternativa escolhida.

4 ANÁLISE E DISCUSSÃO DA APLICAÇÃO DO THINK ALOUD NOS E1 E E2

A apresentação dos resultados contempla duas exemplificações de aplicação do protocolo verbal think aloud, procedentes dos E1 e E2, detalhados na seção de metodologia deste artigo. A primeira exemplificação refere-se à tarefa decisória escolha de um notebook, realizada por um sujeito experimental; e a segunda refere-se à tarefa escolha de um veículo usado, realizada por outro sujeito experimental.

A utilização do protocolo verbal para coleta de dados pressupõe uma série de condições e precauções que o pesquisador deve tomar para o seu uso efetivo. Dentre esses critérios, os procedimentos de registro, gravação e transcrição de protocolos, bem como a identificação das categorias de análise, requerem cuidados de aplicação. De acordo com Ericsson e Simon (1993), os dados brutos no final do esquema de categorização e os critérios devem ser considerados e trabalhados com precisão para proteger a integridade tanto dos dados quanto dos processos que eles representam.

No tocante aos procedimentos de registro, neste estudo utilizou-se a técnica de gravação em formato digital de áudio. Após, todas as gravações foram transcritas e divididas em segmentos. Um segmento corresponde a uma unidade de informação em que foi prestada atenção (Ericsson & Simon, 1993). Por conseguinte, foram realizadas as codificações dos protocolos de forma aleatória, selecionando um conjunto de dados e categorizando-os um de cada vez, sem um auxílio contextual dos segmentos anterior e posterior (Ericsson & Simon, 1993).

4.1 RESULTADOS DO EXPERIMENTO 1

Os resultados do E1 contemplam a análise do processo decisório do decisor, quando submetido à realização da tarefa escolha de notebook, com e sem o auxílio de um SAD. Para tal, foram utilizados como base os elementos fundamentais do método AHP, os quais permitiram constituir as cinco categorias de análise do estudo, apresentadas no modelo da pesquisa. Para a tarefa realizada com auxílio do AHP MAKH-ER, a análise das categorias foi possível por meio dos acessos computacionais (logs), gerados pelo sistema e, para a tarefa realizada sem o auxílio do SAD, mediante as categorias de análise geradas pelo protocolo think aloud.

Com relação ao comportamento do decisor frente às opções de busca de informação, o indivíduo tinha a opção de fazê-la por alternativa ou por critério. Na primeira opção, poderia visualizar as informações de todos os critérios de uma alternativa, por exemplo, o valor da velocidade do processador, da memória RAM, do tamanho do HD, do tamanho da tela, do peso e assim por diante, para uma única alternativa de notebook, ou na segunda opção, poderia visualizar as informações das alternativas para um critério, como visualizar as informações do critério velocidade do processador para as três alternativas.

Os resultados do experimento revelaram que, quando o decisor estava auxiliado pelo AHP MAKH-ER, prevaleceu a opção para busca de informações por critério, em que o indivíduo visualizou primeiro as informações das três alternativas para um critério para depois dar início às suas ponderações. Isso pode ter ocorrido devido ao fato de que o ser humano busca trabalhar com um menor número de variáveis possíveis, como uma forma de alívio do processo mental. Para a tarefa sem o auxílio do AHP MAKH-ER, após a transcrição e a segmentação do protocolo verbal, foi possível verificar que se assemelhou à realizada no sistema, uma vez que o decisor verificou o valor das três alternativas para um determinado critério antes de fazer as ponderações para o atributo em questão. Ainda foi possível perceber, pela análise do protocolo verbal, que houve uma tendência, por parte decisor, em analisar primeiro os critérios do grupo configuração, ou seja, velocidade do processador, memória RAM e tamanho do HD.

No que se refere ao processo decisório ser semelhante ao SAD utilizado no E1, os resultados demostraram que apenas para a categoria de Ordem de Escolha dos Critérios (OEC) o processo foi semelhante, ou seja, para essa categoria, os sujeitos experimentais seguiram os pressupostos normativos do SAD. As demais categorias: Ordem de Comparação das Alternativas (OCA), Comparação Par a Par (CPP), Fornecimento de um Vetor de Pesos para cada Atributo (VPA) e Hierarquia de Atributos para Avaliação (HAA) apresentaram diferença em ambas as tarefas, podendo-se perceber que os decisores não seguiram o modelo prescrito pelo sistema.

A discussão dos resultados apresentados revelou importantes particularidades no processo de tomada de decisão, uma vez que o processo decisório, dentro uma perspectiva normativa, utilizando um SAD, assemelhou-se apenas para a ordem de escolha dos critérios no que tange ao processo de decisão humana. Nesses termos, pode-se deduzir que a intensidade de percepção sobre cada etapa do processo de escolha, sem o auxílio do sistema, não é linear, pois há preponderância do objetivo principal da escolha, notebook para uso pessoal, seguido da análise dos atributos que o decisor julga de maior relevância.

4.2 RESULTADOS DO EXPERIMENTO 2

Os resultados do E2 contemplam a análise da semelhança das estratégias de decisão ao MMAD subjacente ao SAD utilizado pelo indivíduo. Para tal, foram aplicadas como base a modelagem e a estruturação subjacente ao Visual PROMETHEE e as estratégias de decisão propostas por Todd e Benbasat (1991), que permitiram construir as seis categorias de análise, apresentadas na Figura 1. Para a tarefa realizada com auxílio do SAD, a análise das categorias foi possível por meio da modelagem do sistema e, para a tarefa realizada sem o auxílio do SAD, mediante as categorias de segmentação geradas pelo protocolo think aloud.

Os resultados do experimento, quando o indivíduo usou o SAD, permitiram verificar a relação entre duas, Diferença Aditiva e Eliminação por Aspectos, das quatro estratégias de decisão propostas por Todd e Benbasat (1991) utilizadas na pesquisa. A maneira pela qual foi possível identificar essas estratégias foi a partir do número de vezes que o decisor respondeu a todos os elementos do sistema. O SAD permitia até 10 comparações por atributos e apenas a exclusão de uma alternativa, pois para solução de um problema multicritério, são necessárias, no mínimo, duas alternativas.

Por outro lado, para a resolução da tarefa sem o auxílio do SAD, todas as estratégias de decisão foram identificadas. Destaca-se que, neste caso, o número de estratégias surgiu do modelo mental do decisor. A identificação das estratégias foi possível mediante a análise das categorias de segmentação geradas a partir do protocolo verbal. De acordo com Todd e Benbasat (1991), as categorias de análise servem para determinar a classificação das estratégias.

Sendo assim, pode-se deduzir que a intensidade de percepção sobre cada etapa do processo de escolha, a partir das estratégias de decisão utilizadas, sem o auxílio do sistema, não é linear, pois há preponderância do objetivo principal da escolha, veículo usado para uso pessoal, seguido da análise dos atributos que o decisor julga de maior relevância. Percebeu-se também que o SAD, no caso estudado, serviu para fins de confirmação de avaliações de atributos previamente já realizados pelo sistema cognitivo do decisor.

4.3 ANÁLISE DO PROTOCOLO THINK ALOUD

Segundo Van Someren et al. (1994), o objetivo da análise do protocolo é construir um mapeamento entre o modelo psicológico e como o processo cognitivo aparecerá nos protocolos. Este mapeamento irá assumir a forma de um esquema de codificação que é baseado no modelo psicológico e na teoria da verbalização.

Embora o protocolo think aloud seja um tanto trabalhoso, especialmente em tarefas em que o uso é exploratório, é fundamental para o processo de análise (Van Someren et al., 1994). Jaspers et al. (2004) propõem um processo que envolve a gravação, a transcrição/segmentação, os protocolos preestabelecidos e a codificação dos dados.

Com relação aos procedimentos de registro e à transcrição dos dados, Ericsson e Simon (1993) recomendam que os relatos do think aloud sejam gravados. Dessa forma, a coleta de dados, por meio do protocolo verbal, é efetuada com a gravação da verbalização dos sujeitos durante a realização da tarefa. De acordo com Van Someren et al. (1994), a sessão da pesquisa é usualmente gravada em fitas de áudio ou vídeo. Ao final das sessões, as gravações deverão ser transcritas de modo mais autêntico possível, para que se obtenham dados válidos e confiáveis que representem o processo investigado.

Nos E1 e E2, conforme recomendam os autores supracitados, os registros foram realizados por meio da gravação das verbalizações em formato digital de áudio para cada um dos sujeitos experimentais. Após, foram feitas as transcrições de cada um dos áudios, para posteriormente realizar o processo de segmentação dos protocolos.

Posteriormente à transcrição dos dados, é necessário segmentá-los (Ericsson & Simon, 1993). Para esses autores, um dos modos para realizar uma segmentação é o de dividir os protocolos baseados em eventos de verbalizações como informações sintáticas, pausas em articulações e entonações fonéticas.

Conforme Jaspers et al. (2004), cada segmento representará uma frase ou um item de informação. Dessa forma, uma implicação do protocolo, segundo Ericsson e Simon (1993), é que cada segmento é verbalizado independentemente daquele que precede ou sucede, portanto cada um pode ser codificado de forma independente, sem atenção ao contexto. A Figura 2 apresenta parte das evidências das segmentações a partir de extratos dos protocolos verbais obtidos no E1 e E2.

Figura 2.
Exemplo de segmentação do protocolo think aloud
Fonte: Dados da pesquisa E1 e E2

Cabe ressaltar a necessidade do uso de protocolos preestabelecidos. De acordo com Ericsson e Simon (1993), há várias razões para preceder à análise de protocolos com uma descrição explícita de codificações possíveis. Primeiro esse procedimento facilita a avaliação de confiabilidade da codificação, equalizando diferenças de codificadores que codificam a mesma informação de cada protocolo. Em segundo lugar, uma grande quantidade de informações contextuais sobre a tarefa pode ser incorporada nas categorias de codificação, cabendo ao codificador apenas fazer uma escolha entre as categorias bem definidas, não precisando identificar novamente as estruturas que estão sendo usadas (Ericsson & Simon, 1993). Ainda, segundo Neves (2004), a escolha ou pressuposição de categorias a serem observadas em um estudo deve ser feita, considerando o objetivo da investigação. Neste sentido, as Figura 3 e 4 apresentam evidências do processo decisório e uso de múltiplas estratégias de decisão, respectivamente, a partir de extratos dos protocolos verbais obtidos nos E1 e E2.

Figura 3.
Protocolos verbais do processo de escolha de notebook
Fonte: Dados da pesquisa E1.

Quanto à codificação dos protocolos, Ericsson e Simon (1993) sugerem que cada segmento de dados deve ser feito de forma aleatória, selecionando um conjunto de dados e categorizando-os um de cada vez, sem um auxílio contextual dos segmentos anterior e posterior. Isso deve ser feito para garantir que os protocolos codificados sejam um reflexo do que o sujeito realmente tenha dito e não uma hipótese do pesquisador sobre o que o sujeito estava pensando. Conforme Van Someren et al. (1994), para facilitar o processo de codificação, sugere-se projetar uma forma de codificação que consiste em atribuir números para os segmentos.

Figura 4.
Protocolos verbais das estratégias de decisão de escolha veículo usado
Fonte: Dados da pesquisa E2.

4.4 VANTAGENS DO USO DO PROTOCOLO THINK ALOUD

De acordo com Yoshida (2008), uma das principais vantagens do protocolo é que não há efeitos de intervalo no processamento dos relatórios do protocolo think aloud, ou seja, os sujeitos podem relatar seus pensamentos ao mesmo tempo em que estão envolvidos no desempenho de uma tarefa, evitando assim efeitos de latência que permitam lembrar informações enquanto pensam em voz alta. Supõe-se que durante o processo de pensar em voz alta, quando um sujeito está envolvido em uma determinada atividade, há um limite do espaço cognitivo disponível para formalização de pensamentos desejáveis, uma vez que o processo de pensamento é imediato (Young, 2005). Dessa forma, de acordo com Wade (1990), o protocolo envolve amplamente tarefas específicas que produzem resultados mais reais do que hipotéticos.

Para Ericsson e Simon (1993), com a análise do protocolo think aloud é possível descrever de forma ordenada as estratégias que os indivíduos empregam durante o desempenho de uma tarefa. Ainda, o protocolo think aloud proporciona um aumento considerável na quantidade de comportamento que pode ser observado de um sujeito que está realizando uma tarefa e, ao mesmo tempo, pensando em voz alta em comparação com a mesma situação, porém em condições silenciosas (Ericsson & Simon, 1993).

4.5 CRÍTICAS AO USO DO PROTOCOLO THINK ALOUD

Apesar de os pesquisadores terem apontado muitas vantagens no uso do protocolo think aloud, existem algumas preocupações sobre o assunto. Alguns pesquisadores criticam a análise de protocolo em sua forma mais pura por ser demasiada redutora e mecânica em ambientes complexos (Yang, 2003).

Para Bannert e Mengelkamp (2008), as críticas dizem respeito à: questão da reatividade ao protocolo, ou seja, o processo de pensamento pode ser alterado durante o período em que o sujeito está pensando em voz alta, porque o pensamento em voz alta precisa de recursos do sistema cognitivo os quais poderiam ser utilizados na realização da tarefa principal; e integralidade dos protocolos (Jasper, et al., 2004), isto é, os procedimentos obtidos por meio do think aloud podem não ser completos, pode faltar alguma informação sobre o processo cognitivo (Bannert & Mengelkamp, 2008).

Na mesma linha para Young (2005), as limitações residem em questões de reatividade, habilidade verbal e validade dos dados (Jasper et al., 2004). As questões de reatividade se referem a três efeitos: o primeiro diz respeito à capacidade de o indivíduo pensar em voz alta e desempenhar uma tarefa ao mesmo tempo; o segundo considera os efeitos de falar em voz alta durante uma atividade que normalmente seria realizada em silêncio; e o terceiro refere-se ao efeito de chamar a atenção de um sujeito para os processos cognitivos subjacentes à tarefa que está sendo realizada (Young, 2005).

Quanto à habilidade verbal, os sujeitos com alto nível cognitivo têm capacidade mental disponível para informar seus pensamentos, já os sujeitos que são menos capazes de pensar sobre seus próprios pensamentos terão maiores dificuldades de relatá-los e, portanto, os dados do think aloud podem subestimar seus conhecimentos e habilidades (Wade, Buxton & Kelly, 1999). No que concerne à validade, para Wade et al. (1999), se se considerar que apenas um pequeno subconjunto de informações (o conteúdo da memória de trabalho) é acessível e disponível para a consciência do sujeito, então os dados produzidos são necessariamente limitados.

5 DISCUSSÃO DA APLICAÇÃO DO PROTOCOLO THINK ALOUD

É importante mencionar que o presente estudo não pretendeu esgotar a discussão acerca do assunto, mas sim apresentar algumas reflexões a respeito do protocolo think aloud e de como pode ser usado, a fim de ampliar o conhecimento sobre o protocolo como opção de coleta de dados. Nesta pesquisa, a experiência de uso do protocolo think aloud foi positiva no que se refere ao estudo do processo decisório. Embora tenha apresentado algumas limitações, foi por meio do protocolo que se obtiveram compreensões e comparações de como o indivíduo decide livre de um modelo prescritivo, ou seja, pelo seu modelo mental. Isso foi possível porque o indivíduo verbalizava todos os pensamentos que estavam na sua memória de trabalho, permitindo descrever o seu comportamento e as estratégias que usou na resolução da tarefa. Dessa forma, o protocolo think aloud proporciona um aumento considerável na quantidade de comportamento que pode ser observado de um sujeito que está realizando uma tarefa e, ao mesmo tempo, pensando em voz alta em comparação com a mesma situação, porém em condições silenciosas (Ericsson & Simon, 1993).

O uso do protocolo think aloud também permitiu a obtenção de relatos verbais que refletiram as intenções dos decisores com relação à escolha dos critérios e das alternativas na tarefa empregada. Assim, mediante a análise das categorias de segmentação, geradas a partir do protocolo verbal, foi possível descrever e mapear o processo de tomada de decisão de cada indivíduo, bem como identificar as estratégias que ele utilizou durante o processo de escolha, contribuindo para o entendimento de como o indivíduo soluciona problemas que são considerados mais de um critério para avaliação. De acordo com Swain (2006), os protocolos verbais têm o poder de influenciar a cognição, ou seja, não só potencialmente transformam o pensamento em verbalizações, com foco em maneiras muito específicas, mas também são fontes de alterações na cognição. Em outras palavras, são considerados mediadores de fala de aprendizagem e de desenvolvimento.

Embora o protocolo verbal think aloud seja um tanto trabalhoso, por requerer uma série de precauções, é um método possível de ser aplicado e que proporciona resultados consideráveis em estudos sobre o processo decisório. Segundo Van Someren et al. (1994), não é difícil coletar os protocolos, mas pequenos erros no procedimento podem comprometer os dados coletados.

Outra precaução que o pesquisador deve ter é com a análise dos dados do protocolo, uma vez que o objetivo da análise é construir um mapeamento entre o modelo psicológico e como o processo cognitivo aparecerá nos protocolos. Dentre os procedimentos de análise, a gravação, a transcrição/segmentação, os protocolos preestabelecidos e a codificação dos dados deverão receber atenção do pesquisador, a fim de garantir as vantagens do protocolo.

Apesar de o protocolo think aloud proporcionar muitos benefícios com relação ao seu uso, alguns pesquisadores criticam a análise de protocolo em sua forma mais pura por ser demasiada redutora e mecânica em ambientes complexos (Yang, 2003). Talvez uma das principais limitações do uso do protocolo, observada no estudo em questão, seja referente à validade dos dados, uma vez que nos relatos verbais do indivíduo poderia estar faltando alguma informação. Outra dificuldade percebida foi quanto à habilidade verbal do indivíduo, ou seja, nem todos os participantes da pesquisa tinham a mesma facilidade de revelar seus pensamentos em voz alta durante a realização de uma tarefa e na presença de um pesquisador.

Ainda, há que se mencionarem as verbalizações que não são contempladas pelo protocolo preestabelecido, ou seja, relatos que não influenciam no desempenho da tarefa. Para Van Someren et al. (1994), em alguns casos, essas verbalizações poderiam ser ignoradas, tratadas como irrelevantes, tendo em vista que elas não influenciam no desempenho da tarefa. Por outro lado, estas observações podem ser uma indicação do nível de dificuldade da tarefa ou da carga cognitiva do sujeito. Às vezes, o conteúdo dessas verbalizações não é relevante no desempenho da tarefa, mas no momento em que elas ocorrem, o que pode indicar que a pessoa que resolve o problema não consegue progredir e, nesse caso, os códigos especiais devem ser usados para interrupções na tarefa (Van Someren et al., 1994).

6. CONSIDERAÇÕES FINAIS

Considerando a importância dos protocolos verbais no que diz respeito à fonte de modelos de processamento cognitivo humano, este estudo teve como objetivo propor uma discussão sobre os aspectos conceituais do protocolo verbal think aloud utilizando-se de aplicações práticas num processo de decisão individual. O protocolo think aloud consiste em solicitar a um indivíduo que pense em voz alta enquanto resolve uma tarefa ou problema (Van Someren et al., 1994).

As aplicações do protocolo verbal em pesquisas sobre processo decisório exemplificadas neste estudo aconteceram por meio de dois experimentos em laboratório com tarefas que simulavam a escolha de um notebook e de um veículo usado. O objetivo da primeira pesquisa consistia em verificar se um SAD representa o processo de decisão humana e o da segunda de investigar a relação entre método PROMETHEE e as estratégias de decisão utilizadas pelo indivíduo, sem o auxílio do SAD, no processo de escolha em um contexto específico.

Os objetivos dos estudos foram alcançados, uma vez que os resultados do primeiro experimento revelaram que o processo decisório, dentro uma perspectiva normativa, utilizando um SAD, assemelhou-se apenas para a ordem de escolha dos critérios no que tange ao processo de decisão humana e que a busca de informações para resolução da tarefa foi por critério em ambas situações, com e sem o auxílio do SAD. Os resultados do segundo experimento, quando o indivíduo usou o SAD, permitiram verificar a relação entre duas, Diferença Aditiva e Eliminação por Aspectos, das quatro estratégias de decisão propostas por Todd e Benbasat (1991) utilizadas na pesquisa. Já para a resolução da tarefa sem o auxílio do SAD, todas as estratégias de decisão foram identificadas.

Ainda, percebeu-se que os SADs, nos casos estudados, serviram para fins de confirmação de avaliações de atributos previamente já realizados pelo sistema cognitivo do decisor. Ademais, constatou-se que o indivíduo, ao resolver uma tarefa de decisão complexa, faz uma série de conexões que não é extensiva aos sistemas. Esses achados foram perceptíveis por meio das táticas que emergiram durante o processo de verbalização, ou seja, indeterminações consoantes a outros atributos que não estavam sendo considerados na tarefa em questão, compensações, trade-offs, que cada sujeito experimental realizou, que não são permitidos pelos sistemas.

A partir das reflexões apresentadas, acredita-se que esses exemplos possam servir de orientação para futuras pesquisas, não somente no campo de processo decisório, mas em outras áreas que possibilitam o uso do protocolo think aloud. Nesse sentido, conclui-se que o protocolo think aloud pode ser adotado em substituição às entrevistas utilizadas em diferentes métodos aplicados na área de administração, como estudo de caso, pesquisa ação e até mesmo etnografia, quando se objetiva coletar informações sobre o que o indivíduo está pensando livremente, fora do escopo de um roteiro semiestruturado ou estruturado, diante de determinada situação.

Com isso, espera-se contribuir para o desenvolvimento de novos estudos acerca do protocolo verbal think aloud, uma vez que os recursos e as estratégias oferecidas pelo protocolo mostram a sua complexidade, os mecanismos e os fatores que envolvem todo o processo do think aloud. Além disso, a peculiaridade de cada tarefa ou resolução de problema em que são empregados o protocolo think aloud poderia representar o ponto de partida para novos métodos de investigação.

Referências

Baltas, G., & Saridakis, C. (2013). An empirical investigation of the impact of behavioural and psychographic consumer characteristics on car preferences: An integrated model of car type choice. Transportation Research Part A: Policy and Practice, 54, 92-110.

Bannert, M., & Mengelkamp, C. (2008). Assessment of metacognitive skills by means of instruction to think aloud and reflect when prompted. Does the verbalisation method affect learning? Metacognition Learning, 3, 39-58.

Barbosa, H. G., & Neiva, A. M. S. (1997). Investigando o processo tradutório. Cadernos de Tradução, 2, 11-26.

Cavalcanti, M., & Zanotto, M. S. (1994). Introspection in Applied Linguistics: meta-research on verbal protocols. In: BARBARA; SCOTT (Ed.). Reflections on Language Learning. Cleverdon: Multilingual Matters. p. 148-156. Disponível em: < http://books.google.com.br/>. Acesso em: 26. Janeiro. 2019.

Corso, K. B., & Löbler, M. L. (2010). AHP MAKH-ER: validação de um sistema de apoio à decisão para estudar a influência da pressão do tempo e da falta de informação no processo decisório. Produto e Produção, 11(2), 45-58.

Cozby, P. C. (2003). Métodos de pesquisa em ciências do comportamento. São Paulo: Atlas.

Ericsson, K. A., & Simon, H. A. (1993). Protocol analysis: verbal reports as data. MIT Press.

Jaspers, M. W. M., Steen, T., Van Den Bos, C., & Geenen, M. (2004). The think aloud method: a guide to user interface design. International Journal of Medical Informatics, 73, 781-795.

Lee, J., Knowles, Z., & Whitehead, A. E. (2019). Exploring the use of think aloud within Women’s artistic gymnastics judging education. Psychology of Sport & Exercise, 40, 135–142.

Lehnhart, E. R. dos, & Löbler, M. L. (2017). Tomada de Decisão em um Contexto Específico: uma Aplicação com o Método PROMETHEE. In Encontro de Administração da Informação Curitiba, ENADI.

McMullen, P. R. (2000). Selection of notebook personal computers using data envelopment analysis. The Southern Business and Economic Journal, 23(3), 200-214.

Neves, D. A. B. (2004). Aspectos Metacognitivos na Leitura do Indexador. Tese de doutorado, Ciências da Informação, Universidade Federal Minas Gerais, Belo Horizonte.

Reis, E. dos, & Löbler, M. L. (2012). O processo decisório descrito pelo indivíduo e representado nos sistemas de apoio à decisão. Revista de Administração Contemporânea, 16(3), 397-417.

Saaty, T. L. (1991). Método de análise hierárquica. São Paulo: Makron Books.

Swain, M. (2006). Verbal protocols: What does it mean for research to use speaking as a data collection tool? In M. Chalhoub-Deville, C.A. Chapelle, & P. Duff (eds.), Inference and generalizability in applied linguistics: Multiple research perspectives, pp 97-113, Amsterdam: Benjamins.

Thermaenius, J., Schandl, A., & Sluys, K. P. (2019). Development and initial validation of the Swedish Family Satisfaction Intensive Care Questionnaire (SFS-ICQ). Intensive & Critical Care Nursing, 50, 118–124.

Todd, P., & Benbasat, I. (1991). An experimental investigation of the impact of computer based decision aids on decision making strategies. Decision Support System, 87-115.

Tomitch, L. M. B. (2007). Desvelando o Processo de Compreensão Leitora: Protocolos Verbais na Pesquisa em Leitura. Signo, 32(53), 42-53.

Van Someren, M. W., Barnard, Y. F., & Sandberg, J. A. C. (1994). The think aloud method: a practical guide to modelling cognitive processes. London: Academic Press.

Vieira, V. A., & Slongo, L. A. (2006). Uma análise dos atributos importantes no processo de decisão de compra de notebooks utilizando análise fatorial e escalonamento multidimensional. Revista de Administração Mackenzie, 7(4), 35-59.

Wade, S. E. (1990). Using think alouds to assess comprehension. The Reading Teacher, 43(7), 442-451.

Wade, S. E., Buxton, W. M., & Kelly, M. (1999). Using think-alouds to examine reader-text interest. Reading Research Quarterly, 34(2), 194-216.

Whitehead, A. E., Taylor, J. A., & Polman, R. C. (2015). Examination of the suitability of collecting in event cognitive processes using Think Aloud protocol in golf. Frontiers in Psychology, 6, 1083.

Whitehead, A. E., Cropley, B., Huntley, T., Miles, A., Quayle, L., & Knowles, Z. (2016). ‘Think aloud’: Toward a framework to facilitate reflective practice amongst rugby league coaches. International Sport Coaching Journal, 3(3), 269–286.

Wu, W. Y., Liao, Y. K., & Chatwuthikrai, A. (2014). Applying conjoint analysis to evaluate consumer preferences toward subcompact cars. Expert Systems with Applications, 41(6), 2782-2792.

Yang, S. C. (2003). Reconceptualizing think-aloud methodology: refining the encoding and categorizing techniques via contextualized perspectives. Computers in Human Behavior, 19, 95-115.

Yoshida, M. (2008). Think-Aloud Protocols and Type of Reading Task: The Issue of Reactivity in L2 Reading Research. In Selected Proceedings of the 2007 Second Language Research Forum, ed. Melissa Bowles, Rebecca Foote, Silvia Perpiñán, and Rakesh Bhatt, 199-209. Somerville, MA: Cascadilla Proceedings Project.

Young, K. A. (2005). Direct from the source: the value of ‘think-aloud’ data in understanding learning. Journal of Educational Enquiry, 6(1).

Zeijlmans, K., López, M. L., Grietens, H., & Knorth, E. J. (2019). Heuristic decision-making in foster care matching: Evidence from a think-aloud study. Child Abuse & Neglect, 88, 400–411.

Notas

Autor notes