AVALIAÇÃO DA QUALIDADE EM SERVIÇOS NA INDÚSTRIA HOTELEIRA POR MEIO DA APLICAÇÃO DA TEORIA DE RESPOSTA AO ITEM

SERVICE QUALITY EVALUATION IN THE HOTEL INDUSTRY THROUGH THE APPLICATION OF ITEM RESPONSE THEORY

EVALUACIÓN DE LA CUALIDAD EN SERVICIOS EN LA INDUSTRIA HOTELERA POR MEDIO DE LA APLICACIÓN DE LA TEORÍA DE RESPUESTA AL ÍTEM

Eduardo Bridi bridi@mrmystery.com.br

Universidade Federal de Santa Catarina, Brasil

Edson Pacheco Paladini paladini@deps.ufsc.br

Universidade Federal de Santa Catarina, Brasil

Roy Andersson roy.andersson@ju.se

Jönköping University, Suecia

Alex Fabiano Wehrle alex.wehrle@ifc.edu.br

Instituto Federal Catarinense, Brasil

A World Travel & Tourism Council (WTTC) divulgou o desempenho da atividade turística em 2016, em termos absolutos o Brasil é o 11º colocado. O PIB direto do turismo representou 3,2% do total do PIB brasileiro e, em 2017, espera-se um crescimento de 0,5%. Na América Latina, em 2016, esse percentual foi igual, 3,2%, e no mundo foi de 3,1%. O setor também tem papel relevante na geração de empregos, havendo 2 milhões e 500 mil postos de trabalho no Brasil (2,8% do total) e as projeções são de crescimento de 1,6% em 2017 (Abeoc Brasil, 2017).

Há uma perspectiva de crescimento de 13% no parque hoteleiro até 2022, segundo membro da International Society of Hospitality Consultants (TREVISOLI, 2018) e mais hotéis vêm oferecendo um serviço de alta qualidade e personalizado, o que contribui para a imagem e a competitividade de um hotel (Chen, 2013). A qualidade na prestação de serviços vem sendo apontada como fator essencial de competitividade, sendo que empresas ligadas ao setor hoteleiro não escapam a esta realidade (Lickfeld, 2000).

A importância da qualidade do serviço para o desempenho do negócio, inclusive no âmbito da hotelaria (Costa et al., 2017), tem sido reconhecida na literatura (Chen e Chen, 2010) por meio do efeito direto na satisfação do cliente (Wilkins, Merrilees e Herington 2007), que antecede a lealdade à marca (So et al., 2016).

Além disto, há muitas falhas de atendimento aos hóspedes (Wu, Qomariyah & Liao, 2018) e é uma questão difícil estimar a qualidade do serviço, porque os serviços são intangíveis, heterogêneos, perecíveis e inseparáveis (Stefano et al., 2015). Deste modo, desenvolver políticas de avaliação com a finalidade de atingir e manter um elevado padrão de qualidade é relevante para hotelaria. – the quality of service.Porém, para parte dos pesquisadores, a avaliaçãoof da qualidade by em service serviço qualityé subjetiva, complicada e resultante de processos cognitivos complexos, modelos mentais pouco estruturados e comportamentos individuais (Carlucci, Renna & Schiuma, 2013).

Ressaltam ainda Wilkins, Merrilees e Herington (2007) que tem havido algumas pesquisas limitadas sobre a qualidade do serviço em hotéis. Para estes autores, poucos e eficazes métodos estão disponíveis para avaliação da qualidade na indústria hoteleira, além disto, estes métodos falharam em reconhecer quais os fatores que os clientes consideram importante para sua experiência.

Neste sentido, o objetivo deste estudo foi desenvolver e avaliar um formulário inédito de avaliação da qualidade, advindo da prática de redes hoteleiras internacionais, desenvolvido para medir itens que compõem a interação do hotel com o hóspede e fazer uma simulação por meio da aplicação de uma análise baseada em modelos matemáticos que medem características como a qualidade em serviço.

Mais precisamente utilizou-se como método de análise de dados a Teoria de Resposta ao item na avaliação da qualidade dos serviços prestados em hotéis, a fim de se obter dados quantificáveis. Justifica-se a aplicação deste método pelo fato do algoritmo oferecer o valor preciso de cada item/questão, proporcionando uma avaliação clara e objetiva, em que é possível posicionar os itens e os hotéis avaliados em uma mesma escala.

A amostra foi de 191 hotéis espalhados pelo Brasil, os quais foram avaliados pelo método do cliente misterioso. A avaliação se deu por meio de um instrumento de coleta estruturado e dicotômico, conforme será explicado no item 3 (Metodologia).

Por fim, sendo a investigação e a aplicação de novas técnicas e métodos de pesquisas importantes para a evolução do campo de conhecimento em turismo (Costa et al., 2017), o presente estudo é justificado, pois após duas revisões sistemáticas da literatura, uma em 2015 e outra em 2018, verificou-se uma lacuna na teoria referente à aplicação dos modelos matemáticos da TRI em estudo de avaliação da qualidade em hotéis. Além disso, há a possibilidade de aplicação prática em trabalhos desta natureza, uma vez que, para Petry, Pickler e Tomelin (2016), resultados de estudos que avaliam a qualidade do serviço podem auxiliar os hotéis na formulação das suas estratégias, produzindo ações que busquem a melhoria e o diferencial competitivo frente às necessidades dos hóspedes.

O conceito de qualidade atual é caracterizado pela preocupação com os problemas dos consumidores em curso, devendo ser analisados e investigados os resultados da empresa. Com estas ações é possível melhorar o desempenho e a participação no mercado, sendo essencial para as organizações (Marinkovi et al., 2013).

A qualidade na hotelaria é vital para a gerência do hotel ter um bom entendimento sobre o que exatamente os clientes desejam (Brunner-Sperdin, Peters & Strobl, 2012), e a qualidade do serviço impacta positivamente sobre as intenções comportamentais de retorno dos hóspedes (Crick & Spencer, 2011). Portanto, a qualidade do serviço tem diversas maneiras de ser avaliada. A medida mais popular e difundida é a SERVQUAL. Este método desenvolveu a ideia de que as expectativas dos clientes influenciariam na formação da qualidade percebida. Assim, a qualidade do serviço é a diferença entre percepção e expectativa dos clientes sobre os serviços experimentados (Akbaba, 2006; Wilkins, Merrilees & Herington, 2007; Blesic, Tesanovic & Psodorov, 2011; Mauri, Minazzi & Muccio, 2013).

Com uma visão oposta, citada por Abari, Yarmohammadian e Esteki (2011), outra vertente de pesquisadores acredita que a qualidade do serviço deve ser medida pelo desempenho dos serviços, não sendo necessário avaliar as expectativas dos clientes. Ou seja, a qualidade em serviços deve ser medida pela percepção, sem preocupação com as expectativas, variável esta que pode atrapalhar na medição. São mais taxativos Cronin e Taylor (1992) ao afirmarem que a conceitualização e a operacionalização da SERVQUAL são inadequadas.

Modelos de avaliação da qualidade em serviços de hotéis

Serão apresentados a seguir, em ordem cronológica, alguns modelos de avaliação da qualidade em serviços de hotéis.

Quadro 1
LODGSERV de Knutson et al. (1990)

Knutson et al. (1990)

Quadro 2:
Servqual modificada de Saleh e Ryan (1992)

Saleh e Ryan (1992)

Quadro 3
HOLSERV de Mei, Dean e White (1999)

Mei, Dean e White (1999)

Quadro 4
Modelo de Wilkins, Merrilees e Herington (2007)

Wilkins, Merrilees e Herington (2007)

Quadro 5
SERVQUAL ampliada de Blesic, Tesanovic e Psodorov (2011)

Blesic, Tesanovic e Psodorov (2011)

De acordo com Limberger et al. (2016), os modelos LODGSERV; o HOTELSERV e o HOTELQUAL são todos modelos de adaptações do SERVQUAL criados especialmente para a indústria hoteleira, demonstrando que não há muita diferenciação entre os modelos, pois as perguntas não contêm grande variação e utiliza-se a diferença entre qualidade percebida e expectativa para avaliar a qualidade geral.

Mais recentemente, para medir as experiências no consumo de serviços, sendo que se entende por experiência no turismo as transações de serviço em que há consumo envolvendo uma sequência de episódios (Prayag et al., 2017), ferramentas on-line vêm ganhando espaço. Atualmente, os turistas podem consultar sistemas de classificação de hotel baseada nas experiências e na satisfação dos outros clientes. Existem sites de viagem,that tais como TripAdvisor, Expedia, Hotelopia, Orbitz e Travelocity, que desenvolveramseals selosof dequality qualidadebased baseadoson nas classificações ecustomer nos comentários dos consumidoresfeedback, (Carrasco et al., 2012).

Contudo, a informação que os turistas oferecem é ‘geralmente’ considerada imparcial e capaz de fornecer insights e vozes reais a partir das perspectivas internas (Yoo & Gretzel, 2008). Esta ressalva relativa à imparcialidade da fonte dos dados deve ser considerada pelos pesquisadores na definição do método a ser utilizado, pois conforme descrito por Barbetta (2001), o pesquisador deve trabalhar para evitar erros amostrais e não amostrais, tais como: vergonha ou receio de responder francamente por parte dos entrevistados; intenção de querer abandonar rapidamente o entrevistador, por possuir algum vínculo com a empresa ou até mesmo por benevolência para não prejudicar funcionários envolvidos.

O viés de resposta em uma avaliação pode ocorrer consciente ou inconscientemente. As pessoas podem adulterar a verdade de forma intencional ou inadvertidamente, por exemplo, pelo esquecimento dos fatos. Algumas pessoas respondem de forma falsa deliberadamente para parecerem inteligentes, para ocultarem dados pessoais, para evitarem constrangimentos e assim por diante (ZIKMUND, 2006).

Portanto, o presente trabalho buscou um formulário objetivo para coleta de dados por meio da observação durante o processo de execução do serviço, a fim de verificar o que é realmente oferecido ao consumidor para, posteriormente, confrontar dados mensuráveis com os padrões estipulados pela organização, criando um método baseado em dados quantitativos e de modo estruturado.

Ressalta-se que o formulário a ser apresentado adiante, na Tabela 3, é proveniente de rotinas de avaliação de duas grandes redes de hotelaria internacional presentes no Brasil, ou seja, são instrumentos já utilizados na prática. Este formulário foi concebido utilizando o recorte teórico proveniente do modelo SERVPERF, de Cronin e Taylor (1992), uma vez que a medição da qualidade é realizada diretamente pela percepção dos fatos ocorridos sem envolver expectativas (LEE & KIM, 2014).

Além disto, também se justifica a escolha, pois o SERVPERF é o melhor e mais válido modo de mensurar a qualidade de um serviço, medindo as experiências dos clientes relacionadas somente ao serviço. Este modo de avaliar a qualidade percebida é muito mais fácil de gerenciar e os dados são mais simples e diretos de analisar (GRÖNROOS, 2009).

A Teoria da Resposta ao Item (TRI)

Para analisar os dados advindos do formulário desenvolvido, utilizou-se a Teoria da Resposta ao Item (TRI). A TRI faz parte das teorias da modelagem do traço latente, ou seja, é uma teoria para medir características que não podem ser observadas diretamente, como altura, peso, tensão elétrica, luminosidade ou viscosidade, mas sim mediante um conjunto de itens elaborados para esta finalidade (Pasquali & Primi, 2003), tais como personalidade, conhecimento e qualidade. Esta teoria busca expressar relações entre as características dos itens/questões e o traço latente do indivíduo. As características dos itens, estimadas por modelos matemáticos, são conhecidas como parâmetros de discriminação, chamado de parâmetro ‘a’; e dificuldade, denominado de parâmetro ‘b’. Os modelos da TRI procuram representar a probabilidade de um respondente, seja um indivíduo, uma empresa ou uma instituição dar uma resposta a um item em função dos parâmetros do item e da habilidade do respondente (Andrade, Tavares & Valle, 2000).

O modelo logístico de dois parâmetros (ML2) da TRI é utilizado quando as respostas são dicotômicas e envolve uma população com um traço latente dominante. Matematicamente, o modelo logístico de dois parâmetros é dado pela Equação 1 (Pasquali & Primi, 2003):

Equação 1
Representação matemática do modelo logístico de dois parâmetros

em que:

e: constante matemática que equivale a 2,72 (aproximadamente);

Uij: representa a resposta dicotômica, onde 0 não atende ou 1 atende, referente ao avaliado j dada ao item i;

θj: representa o traço latente do j-ésimo avaliado;

P(Uij = 1|θj): a probabilidade do avaliado j com qualidade em serviços θj atender o requisito/serviço questionado pelo item i (representado pelo valor igual a 1);

ai: parâmetro de discriminação do item i;

bi: parâmetro de dificuldade do item i.

A relação existente entre P(Uij = 1| θj) e os parâmetros dos itens do modelo logístico de dois parâmetros (ML2) da Equação (1) é mostrada na Figura 1, que é chamada de Curva Característica do Item (CCI). Para exemplificar, demonstram-se dois itens hipotéticos:

- Item/questão 1: Parâmetro de discriminação a1 = 1,6 e parâmetro de dificuldade b1 = -1 e

- Item/questão 2: Parâmetro de discriminação a2 = 0,9 e parâmetro de dificuldade b2 = 1.

O traço latente (θ) está representado no eixo horizontal e a probabilidade de um hotel j com determinada qualidade em serviços θj atender ao critério do item i, ou seja, P(Uij = 1 | θ) está representado no eixo vertical.

Figura 1
Curva Característica do Item (CCI) na escala (0,1) para dois itens hipotéticos
Elaboração própria (2018)

O nível de qualidade em serviços (θ) é uma medida que teoricamente pode variar no intervalo de -∞ até +∞, porém os valores esperados estão no intervalo de -3 a 3 desvios padrão (99,7% dos valores).

O parâmetro de dificuldade, chamado de ‘b’, é definido como o nível mínimo de qualidade em serviços que uma unidade amostral precisa possuir para se obter uma probabilidade de 50% de responder afirmativamente ao item observado (Rabelo, 2013).

O parâmetro da discriminação, chamado de ‘a’, é expresso pela inclinação da curva característica do item (CCI) no momento da inflexão, isto é, quando a CCI corta a linha que corresponde à probabilidade de 50% em atender ao critério. Este parâmetro informa a qualidade do item, ou seja, o quanto o item consegue discriminar respondentes de diferentes níveis do traço latente (Andrade, Tavares & Valle, 2000).

No exemplo da Figura 1, o item 2 é considerado “mais difícil” comparado ao item 1, pois apresenta o parâmetro de dificuldade b2 maior do que o b1. Mais difícil, no contexto deste trabalho, pode ser interpretado da seguinte maneira: o item 2 exige maior qualidade em serviços para apresentar uma afirmativa quando comparado ao item 1.

Por outro lado, o item 2 é dito menos discriminativo do que o item 1, porque apresenta o parâmetro a2 menor do que o parâmetro a1, sendo a inclinação da curva dele menor do que a do item 1.

Após a revisão sistemática da literatura referente à avaliação da qualidade em serviços e entrevistas com profissionais da área de estatística, optou-se fazer o tratamento de dados utilizando a Teoria de Resposta ao Item, pois é possível desenvolver uma métrica adequada para mensurar o traço latente qualidade em serviços e criar uma escala interpretável dessa medida cujos itens e o traço latente são observados na mesma escala, sendo visual e fácil para o gestor identificar a posição do hotel na régua/escala da qualidade, bem como dos itens que o hotel contempla ou está em conformidade.

A comparabilidade dos itens e do nível de qualidade em serviços do hotel em uma mesma escala é um diferencial da metodologia, fornecendo subsídios para avaliar continuamente a qualidade em serviços e contribuindo para tomada de decisão e melhorias constantes dos processos, por exemplo, a aplicação do PDCA e a construção de um plano de ação para os itens não atingidos pelo hotel na escala.

Como desde o início tinha-se a intenção de utilizar um método onde fosse possível:

Ultrapassar a fronteira dos estudos qualitativos ou quantitativos com superficial análise estatística; Ser prático e com utilização facilitada; Ter uma métrica visual para reconhecer o traço latente; Oferecer subsídio ao melhoramento dos processos de serviços relacionados ao atendimento em diferentes contextos; Ser flexível podendo ser alterados ou inseridos novos critérios/itens,

Optou-se pela TRI, de tal modo a testar e propor novas maneiras de medir a qualidade em serviços em meios de hospedagem. Desta forma, tem-se uma análise de dados para criar uma escala de medição por meio de processos mensuráveis com base técnica, conforme sugerem Erdil e Yildiz (2011).

O referencial teórico utilizado foi definido utilizando algumas diretrizes e passos advindos de Afonso et al. (2011), Lacerda Ensslin e Ensslin (2012) e Marafon et al. (2012) embasados na utilização do ProKnow C (Knowledge Development Process – Constructivist). Após ter selecionado os artigos nas bases de dados internacionais, estes foram importados pelo software Mendeley e separados por pastas de acordo com as bases consultadas. Esta revisão sistemática da literatura foi realizada em dois momentos nos anos de 2015 e 2018.

Quanto à natureza do objetivo, a pesquisa enquadra-se como descritiva, que tem o propósito de descrever os fatos, sendo normalmente com alto grau de estruturação e com questões claramente definidas, facilitando a mensuração e a redução da subjetividade (Triviños apud Gerhardt & Silveira, 2009).

Devido à intenção inicial de imprimir um caráter objetivo e mensurável às avaliações da qualidade em hotéis, optou-se por uma abordagem quantitativa do problema, a qual é indicada para medir relações entre variáveis ou avaliar o resultado de algum sistema ou projeto (Roesch, 2006).

Referente ao resultado da pesquisa, este estudo classifica-se como pesquisa aplicada, pois visa solucionar um problema pragmático ou específico (Mcdaniel & Gates, 2003).

A técnica de coleta foi a observação disfarçada. Esta técnica utiliza os sentidos da audição e visão na obtenção de determinados aspectos da realidade (Marconi & Lakatos, 2012) e, desta maneira, o avaliador não interfere na prestação do serviço, pois não é reconhecido, evitando situações irreais de atendimento por parte dos prestadores de serviço, dedicando-se mais para alguém que ele sabe o que o avaliará. Uma vez que os compradores misteriosos são usados aleatoriamente, os funcionários não podem “adequar” seu desempenho como em um momento de inspeção (Ford & Bach, 1997).

Para este estudo, a amostra foi definida como não probabilística, por conveniência, amostra esta, segundo Mattar (1998), em que são atingidos elementos de forma conveniente em termos de tempo e recursos. Os avaliadores (clientes misteriosos) foram capacitados presencialmente por meio de palestra e visita em hotel para posterior coleta dos dados em 17 estados do Brasil e no Distrito Federal. Os dados levaram 3 anos para serem coletados, sendo a última etapa finalizada em julho de 2018. Conforme destacam Bridi e Paladini (2013), os avaliadores devem ser imparciais, possuir poder de observação, ter boa memória e serem precavidos e discretos. Avaliadores com estas características trabalharam na coleta. Eles foram selecionados de um banco de talentos prévio, em que já se conhecia o perfil dos avaliadores selecionados. No total foram 10 pessoas, de ambos os sexos, pós-graduados em sua maioria na área de hotelaria.

Foram realizadas 191 visitas em hotéis, em sua maioria de grandes redes internacionais, em hotéis econômicos midscale e luxo, sendo quase a totalidade dos hotéis voltados para negócios e eventos. As visitas consistiam em pernoitar no hotel e testar os serviços oferecidos. Em média, cada visita demorava 18 horas.

A observação foi efetuada e lançada em um instrumento on-line, estruturado, com escala dicotômica (ex.: sim, não; contém, não contém; limpo, sujo), para que haja uma redução de viés humano (avaliador) advindo de percepções subjetivas.

Para verificar o instrumento, foi utilizada a análise fatorial. Também foi realizada a validade de conteúdo, que concerne no exame cuidadoso do instrumento por parte de juízes, ou seja, especialistas da área. No presente estudo foram 4 pessoas. Após a validação dos juízes, o instrumento passou pela análise semântica de 5 avaliadores. Após a análise, foi possível verificar o Alfa de Cronbach, a dimensionalidade e os parâmetros dos itens do instrumento aplicado.

Já para fazer a análise dos itens/questões pela TRI no Bilog, executou-se o Modelo Logístico de dois Parâmetros (ML2) devido ao instrumento ter questões dicotômicas e possuir uma dimensão. O BILOG-MG é um software específico para realizar análises de Teoria de Resposta ao Item, sendo a ferramenta computacional mais utilizada em avaliações de larga escala que utilizam a TRI (Barroso & Rodrigues, 2012).

O processo inicia-se pela preparação da base de dados, em que se cria um arquivo texto contendo na primeira linha a chave (gabarito para as questões, ou seja, 1 = atende ao critério) e nas demais linhas as respostas coletadas junto aos hotéis nos 51 itens dicotomizados: 1 = atende, 0 = não ao critério observado e 9 = não apresentado/não coletado.

Em seguida, procede-se às configurações do script no Bilog-MG, que são: ajustes necessários de acordo com o número de casos, número de itens, modelo aplicado (neste caso o ML2), tratamento para dados faltantes, nome do arquivo de dados para leitura e definição do nome do arquivo de saída.

Então, são rodadas três fases no sistema:

Execução da fase 1 do Bilog-MG - Análise Clássica: Nesta etapa são observadas as frequências de respostas e a correlação bisserial para cada item/questão, as quais serão apresentadas no item 4.2.

Execução da fase 2 do Bilog-MG - Estimação dos parâmetros dos itens (calibração):

Foram considerados os 51 itens para o processo de estimação. Nesta etapa é observada a convergência do algoritmo e eliminados itens seguindo critérios de Rabelo (2013) e Baker (2001), ou seja, itens com parâmetro de discriminação menor do que 0,7 (‘a’< 0,7), ou com parâmetro de dificuldade fora do intervalo (-3, 3), ou com erro da estimativa elevado para o parâmetro.

Execução da fase 3 do Bilog-MG® - Estimativas do nível de qualidade em serviços (traço latente) para cada hotel.

Abordaram-se neste trabalho as fases 1 e 2. A avaliação do formulário proposto e a simulação da teoria de resposta ao item serão apresentados no item a seguir.

Na presente seção serão demonstrados os resultados encontrados por meio da análise realizada na base de dados e, em seguida, a discussão dos resultados.

Avaliação do formulário

Foi utilizado o software R (CORE TEAM) na análise da confiabilidade e encontrou-se um Alfa de Cronbach de 0,91 quando considerados os 51 itens do instrumento. O valor obtido indica que o instrumento elaborado apresenta excelente consistência interna. Os valores adotados como referência para alfa são: acima de 0,90, é considerado excelente; entre 0,80 e abaixo de 0,90, é considerado bom; entre 0,70 e abaixo de 0,80, é considerado razoável; entre 0,60 e abaixo de 0,70, fraco; e abaixo de 0,60, inaceitável (HILL & HILL, 2000).

A suposição da unidimensionalidade foi verificada por meio da Análise Fatorial de Informação Completa (Full Information) (WIRTH & EDWARDS, 2007), de acordo com o critério de Reckase (1979). Para este autor, os resultados podem indicar um fator dominante quando o primeiro fator corresponde a pelo menos 20% da variância total. O teste de dimensionalidade também foi realizado pelo software R e os resultados estão na Tabela 1, onde se observa que o 1o autovalor extraído na análise fatorial de informação completa, pelo método de componentes principais, explica 29,76% da variância.

Tabela 1
Extração dos autovalores por meio dos componentes principais

Elaboração própria (2018).* Mais de 20% da variância total = uma dimensão.

Constatada a unidimensionalidade por meio da variância apresentada na Tabela 1, é possível a utilização do modelo logístico de dois parâmetros apresentado na equação 1.

Aplicação da TRI: Fase 1 do Bilog-MG® - Análise Clássica

O primeiro resultado a ser analisado, chamado Fase 1 do Bilog-MG®, baseia-se na Análise Clássica dos Testes (TCT), cujos resultados são apresentados na Tabela 2. Cada um destes itens será descrito na Tabela 3.

Tabela 2
Resultado da fase 1, análise clássica dos 51 itens

Elaboração própria (2018).

Nesta etapa são observadas as frequências de respostas e a correlação bisserial para cada item, ou seja, como é medida a correlação de um item em particular do teste com o resultado do teste na íntegra. Bons itens são aqueles com correlação bisserial alta, apresentando boa discriminação (Ribeiro & Soares, 2008), ou seja, têm a propriedade de diferenciar hotéis nos níveis de qualidade em serviços. Por outro lado, itens com correlação bisserial negativa são indicativo que hotéis com escores mais altos de qualidade em serviços não estão atendendo ao critério examinado naquele item. Isto sugere um possível problema com o item, e assim deverá ser eliminado.

Na Tabela 2, destacam-se dois itens que apresentaram correlação bisserial negativa: 02 (-0,08) e 31 (-0,14). Também se observam itens com correlação bisserial muito próximo a zero, como o caso dos itens 32 (0,08) e 37 (0,16).

Alguns itens apresentaram número reduzido de respostas, como pode ser constatado nos itens 05, 06, 16, 28, 31, 33, 35, 36, 37, 40 e 51, fator que pode causar dificuldade na calibração destes itens, sugerindo a necessidade de ampliação da coleta de dados.

Aplicação da TRI: Fase 2 do Bilog-MG® - Estimação dos Parâmetros

Nesta etapa são apresentados os resultados do processo de estimação dos parâmetros ou calibração. A primeira calibração foi realizada em 51 itens do formulário. Os 51 itens são questões relativas à interação da organização produtiva com o hóspede, abrangendo em sua maioria a dimensão da qualidade em que estão contidos critérios de cordialidade, presteza e empatia. Itens relativos aos aspectos tangíveis não fizeram parte da análise.

Os itens focados neste estudo podem ser classificados como questões para avaliar os “momentos da verdade”, que resultam em experiência de consumo. Momento da verdade, hora da verdade ou encontros de serviço foi um conceito descrito por Jan Carlzon, que significa o período de interação dos funcionários com seus clientes. Os momentos da verdade são decisivos para a percepção da qualidade dos serviços (Caon & Corrêa, 2002; Carlzon, 2005; Lovelock & Wright, 2006; Zeithaml, Bitner & Gremler, 2014). Assim, esta dimensão da qualidade é chamada pelos autores deste estudo como a Dimensão dos Momentos da Verdade. Esta dimensão foi subdividida em categorias ou setores de: reserva, recepção, check in, check out, serviço de quarto, alimentos e bebidas e serviços em geral.

O processo de calibração observa se o critério de convergência do algoritmo de estimação foi alcançado, uma análise criteriosa nesta etapa é importante, a fim de verificar se os parâmetros ('a' e 'b') foram bem estimados e se o erro padrão dos parâmetros é baixo quando comparado aos demais itens. Na calibração, observou-se a convergência bem-sucedida do algoritmo. Os itens e os parâmetros estimados são apresentados na Tabela 3.

Tabela 3
Itens da escala da qualidade em serviços com o ML2 da TRI na escala (0,1)

Elaboração própria (2018).Obs.: ‘a’ é o parâmetro de discriminação, ‘b’ é o parâmetro de dificuldade.

Os itens marcados com asterisco (*) apresentaram problemas na estimação. Assim, foram eliminados, seguindo os critérios de Rabelo (2013) e Baker (2001):

i) itens com parâmetro de discriminação menor do que 0,7 (‘a’ < 0,7);

ii) ou com parâmetro de dificuldade fora do intervalo (-3, 3);

iii) ou com erro elevado da estimativa do parâmetro.

Considerando-se os critérios anteriores, 18 itens foram excluídos e com os 33 itens remanescentes, uma segunda calibração foi realizada. Importante ressaltar que o modelo matemático descarta os itens porque: (1) estes não conseguem medir, ou seja, conferir dificuldade ou facilidade; (2) por ter um erro elevado; ou (3) por ser extremante fácil, sendo contemplado por praticamente todos; ou extremamente difícil, em que quase nenhum hotel contemple.

Para uma avaliação consistente dos itens, deve-se ter em mente a classificação dos parâmetros discriminação ‘a’ e dificuldade ‘b’ (Rabelo, 2013).

Tabela 4
Classificação dos itens quanto à discriminação na TRI (parâmetro ‘a’)

Rabelo (2013, p. 134)

Na análise dos valores dos parâmetros apresentados na Tabela 3, observa-se, por exemplo, que o Item 29 (A equipe atendeu as suas solicitações de forma educada e eficaz?) teve como parâmetro de discriminação a = 1,36 e parâmetro de dificuldade b = -2,51. Já o Item 39 (Existe acompanhamento de satisfação do hóspede durante o café da manhã?) teve como parâmetro de discriminação a = 1,48 e parâmetro de dificuldade b = 0,58. Ambos os itens têm alta discriminação (ver Tabela 4). Conforme apresentado na Tabela 4, um poder de discriminação alto é uma característica desejável para bons itens, pois isto implicará que esses itens conseguiram diferenciar os hotéis que cumprem daqueles que não cumprem os critérios observados na questão.

Por outro lado, itens com baixa discriminação, valores entre 0,35 < a ≤ 0,65, como o Item 02, a = 0,45, não têm a propriedade de distinguir hotéis que cumprem dos que não cumprem os critérios, pois nos diferentes níveis do traço latente, a probabilidade de atender ao critério é muito próxima. Em outras palavras, se hotéis com diferentes níveis de qualidade em serviços têm probabilidade parecidas de atender a um determinado item (ou critério), este item não contribui para diferenciar hotéis de maior e menor nível, implicando em um item ineficiente para mensuração.

Em relação ao parâmetro de dificuldade, parâmetro “b”, de acordo com a classificação apresentada na Tabela 5, o item 39 é classificado como “difícil”, e o item 29 como “muito fácil”. Outra forma de interpretação dessa classificação seria dizer que o item 39 exige que o hotel tenha maior nível de qualidade em serviços para atender ao critério observado quando comparado ao item 29.

Esta mensuração dos itens e, posteriormente do escore dos hotéis, confere um caráter quantitativo ao estudo. Abordagens quantitativas permitem identificar tendências, melhorando as decisões gerenciais (Silva, Lopes & Junior, 2014).

Dentre as vantagens de usar esta metodologia está o fato que ela possibilita adicionar ao instrumento novos itens para que sejam calibrados na mesma escala, permitindo a criação de um banco de itens para avaliar a qualidade em serviços (Andrade, Tavares & Valle, 2000). Assim, mesmo que um item se torne obsoleto com o passar do tempo, é possível trocá-lo sem afetar o formulário e a medida original, evitando a perda de comparação em séries históricas.

Outra vantagem desta avaliação é que a atribuição da dificuldade (peso das questões) não é estipulada pelo criador do formulário, mas sim pelas amostras/dados reais do mercado analisado. E ainda, quando novas medidas estão sendo criadas ou mesmo nas medidas existentes que estão sendo modificadas, o uso da TRI é recomendável, principalmente se for necessária uma compreensão mais profunda desta medida (Bortolotti, 2010).

A avaliação da qualidade em serviços possui papel preponderante nas atividades do gestor, pois ela alimentará e retroalimentará planos de ações para ajustar os padrões dos serviços e para que não haja um descolamento da realidade almejada pelo mercado. Desta maneira, o hotel estaria mais próximo de oferecer um serviço desejado pelo hóspede, além de avaliar se está conseguindo fazer esta oferta conforme o padrão de qualidade estipulado, evitando os gaps entre o que se quer oferecer e o que na realidade é entregue ao consumidor.

Em face desta premissa, desenvolveu-se um formulário classificado com excelente consistência interna (alfa de Cronbach de 0,91) e analisaram-se os dados dos hotéis simulando a aplicação da teoria de resposta ao item. Esta abordagem pode ser considerada como inovadora, pois não foi encontrada nos estudos realizados em hotelaria. A análise realizada oferece um método consistente e robusto em termos de estatística, pois demonstra os parâmetros de discriminação e de dificuldade de cada questão. Isto possibilita conhecer quais questões de fato são úteis em instrumento de coleta, pois a TRI demonstra se as questões estão distribuídas corretamente em termos de dificuldade, além de apresentar quais questões conseguem de fato discriminar a qualidade junto aos hotéis avaliados, em outras palavras, verifica se os itens conseguem diferenciar os hotéis que cumprem daqueles que não cumprem o critério observado na questão.

O fator mais relevante ao se optar pela TRI, além das vantagens já mencionadas, reside no fato de ser o próprio “mercado” quem dará o peso às questões devido sua dificuldade ou facilidade de ser contemplada na avaliação, e não o pesquisador, pois a dificuldade é derivada da amostra utilizada para calibrar os itens.

Os resultados demonstram que parte do instrumento precisa ser adequada, elaborando-se mais questões para cobrir os assuntos que ficaram descobertos com a retirada dos itens que não calibraram. Tal fato pode ser resultado da uniformidade de respostas, da correlação bisserial negativa ou muito próxima de zero, ou ainda do baixo número de respostas a um determinado item.

Apesar desta necessidade de melhoria do formulário, percebe-se que uma das grandes contribuições do estudo é verificar que simulação inicial da TRI funciona e é um método promissor para avalição da qualidade em serviços na hotelaria, oferecendo a possibilidade da utilização de estatística robusta para problemas com características subjetiva, normalmente abordados sob o enfoque exploratório/qualitativo.

Desta forma, verifica-se uma promissora forma de analisar o serviço em hotéis devido à sua mensurabilidade, reduzindo aspectos subjetivos da avaliação, com escores precisos para comparar hotéis em caso de benchmarking.

Como proposta para estudos futuros, devido a alguns itens apresentarem número reduzido de respostas, fato que pode dificultar a calibração destes itens, sugere-se a ampliação da coleta de dados para nova calibração.

Agradecemos o apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) para a realização deste trabalho.