Investigación
Textismos y ortografía en español, italiano y portugués
Spelling and textisms in Spanish, Italian and Portuguese
Textismos y ortografía en español, italiano y portugués
REXE. Revista de Estudios y Experiencias en Educación, vol. 2, núm. Esp.2, pp. 125-133, 2018
Universidad Católica de la Santísima Concepción
Recepción: 19 Junio 2017
Aprobación: 14 Julio 2017
Resumen: Este trabajo analiza la percepción de futuros profesores sobre la relación entre la adquisición de la competencia ortográfica en lengua española, italiana y portuguesa, y la utilización de textismos en mensajes de texto que se envían a través de los teléfonos inteligentes. A partir de los resultados de investigaciones previas, el objetivo de la investigación es determinar qué textismos se valoran negativamente en los mensajes de texto de adolescentes que todavía trabajan en su currículo la ortografía de la lengua de escolarización. Los participantes fueron un total de 580 estudiantes de la Facultad de Ciencias de la Educación de la Universidad de Sevilla (España), de la Escola Superior de Educação e Comunicação de la Universidade do Algarve (Portugal) y de diversas universidades italianas. El análisis cualitativo mostró un alto grado de rechazo de los textismos en un contexto educativo por los perjuicios que ocasionarían a la adquisición de la norma culta de escritura. Este rechazo se matiza en los textismos que pertenecen al plano léxico semántico y en la inserción en los textos digitales de elementos multimodales. En conclusión, este tipo de textismos constituyen un recurso didáctico muy prometedor para la integración de la norma digital de escritura en las aulas de secundaria.
Palabras clave: Textismos, ortografía, español, italiano, portugués.
Abstract: The present study examines how textisms used in text messages sent by smartphones and their relationship to the Spanish, Portuguese and Italian spelling learning process are perceived by future teachers. Taking into account previous research projects, this study aims to establish which textisms usage is perceived as a negative inluence for teenagers who still have orthography in their school used language included in their curriculum. A total of 580 students participated in the study. They come from the Faculty of Education Science at the University of Seville (Spain), from the Escola Superior de Educação e Comunicação de la Universidade do Algarve (Portugal) and from several Italian universities. Results from the qualitative analysis showed a high rejection degree towards textisms in the educative context, as they were thought to put the standard norm acquisition in jeopardy. Those textisms belonging to the lexical-sematic sphere and those that incorporated multimodal elements presented a lower degree of rejection. It can be stated that this kind of textisms is a promising didactic resource for integrating the digital norm in Secondary Education writing classes.
Keywords: Textisms, spelling, Italian, Spanish, Portuguese.
1. INTRODUCCIÓN
1.1 Problema/cuestión
Los mensajes de texto que envían jóvenes y adolescentes a través de aplicaciones de mensajería instantánea de los teléfonos inteligentes se redactan con una norma de escritura diferente a la ortografía formal que se imparte en el ámbito académico. Esta norma digital de escritura se caracteriza por el uso de textismos o discrepancias intencionadas con la norma ortográfica, que en ocasiones coinciden con las faltas de ortografía que se cometen por desconocimiento en los textos académicos formales.
Paradójicamente, las conversaciones sincrónicas a través de teléfonos inteligentes se han convertido en un medio habitual de la comunicación digital en Internet en los países de los participantes en el estudio. Se trata de determinar si este auge de la comunicación escrita digital se percibe como una amenaza o como una oportunidad por los futuros profesores en el contexto de la alfabetización académica de los adolescentes.
1.2 Revisión de la literatura
La escritura de textos en los nuevos géneros electrónicos de comunicación se caracteriza por el empleo de una norma de escritura que discrepa intencionadamente con la ortografía estándar de la escritura académica. Cada uno de los rasgos distintivos de esta norma digital de escritura se ha denominado textism para el inglés y para el francés (Lanchantin, Simoës-Perlant y Largy , 2014, Wood, Kemp, Waldron y Hart, 2014). Los textismos serían en consecuencia símbolos y grafemas que solo existen en determinados géneros y comunicación digital, singularmente los mensajes de texto.
A partir de los estudios de Plester y Joshi (2009), De Jonge y Kemp (2012), Lyddy, Farina, Hanney, FarrelL y O’Neill (2014), y Wood et al. (2014), entre otros, se ha establecido una clasificación de textismos muy detallada para la lengua inglesa, ampliamente refrendada por la bibliografía. Con respecto a la lengua francesa, los estudios de Bouillaud, Chanquoy y Gombert (2007) y de Bernicot, Goumi, Bert-Erboul y Volckaert-Legrier (2014) recoge en una clasificación de textismos en francés ampliamente aceptada en la bibliografía especializada.
Para este estudio, partimos de la clasificación de textismos que hemos diseñado en artículos anteriores para la lengua española (Gómez-Camacho et al., 2017), la lengua italiana (Gómez-Camacho, Hunt-Gómez y Valverde-Macías , 2016) y la lengua portuguesa (Gómez-Camacho y Lopes, 2017).
| Textisms | Keys | Examples |
| Emphatic repetitions - Inverted closing marks, repetition of one or more letters, emoticons emphatic repetition, interjection or onomatopoeia emphatic repetitions. | (Rep) | ????, !!!!!, vaaaale, amiiiiiigo, ahhhh |
| Omissions - One or more letters by shortening, contraction, apocopation, syncope, aphaeresis, word reduction into consonant groups, joining two words -Punctuation marks total/partial omission - Tildes total/partial omission | (Short/ Clipp) (PunOmi) (AccOmi) | toy, te visto, tngo, nmbre |
| Non-normative graphemes - Non-normative use of k/ x/ sh/ w/ y/ i/ z, digraphs simplification, intentional mistakes - Homophone use of letters, numbers and mathematical signs - Capital omission | (NonstS- pell) (Symb/ Numb) (CapOmi) | kien, shao, weno, p´ayá, txica, x fa- vor, + cosas, da2, t veo, d nada |
| Lexical textisms - Dialectisms, regional varieties transcription, transcription of social and register varieties - Creation of new words, non-standard onomatopoeia or interjections, amalgams or conglomerations, foreign words, acronyms, non-standard initials or abbreviations | (AccSty) (NewWor) | asta, e pelao, ce- ñío, improvisao, toas, torayá, pegá, ziii, dise, pff, pirii, sip, |
| Multimodal elements - Emoticons, stickers - Images - Audios - Videos | (Mult) |
| Textismos | Keys | Ejemplos | |||
| Utilização de abreviaturas e acrónimos | AbbAcr | TB, SQN, FDS, +/-, +trd, = mente, = , 1 mnt , 1mmt , 2 , $ | |||
| Mistura de números e letras | Numb | 7D (semana), 6nema (cinema), 4té dps (até depois). | |||
| Substituição do s, ss, ch, c, ç, por x | NonstSpellx | Tô xim..." | |||
| Substituição do c, q por k | NonstSpellk | k fzes? Kres dar o EM* e o TLM? | |||
| Ausência de acentos gráicos | AccOmi | Kres tmr 1 kafe? | |||
| Desaparecimento das maiúsculas | CapOmi | fui a faro e n vi o pedro | |||
| Eliminação de vogais | ShortVoc | eliminação de vogais | |||
| Desaparecimento de conectores e artigos | OmiCon | "O João saiu [e] eu iquei em casa." "Vais sair [ou] icas?" "É Natal, [mas] estou triste." | |||
| Emoticons | Emo | (^_^)/ | B-) | (^_^,) | :-)) |
| Elementos multimédia | Mult | áudio, vídeo, imagens. | |||
Con respecto a la relación entre los textismos y las faltas de ortografía en adolescentes y jóvenes, la bibliografía especializada ofrece resultados discrepantes; en general no encuentra relación entre ambos fenómenos, o los relaciona positivamente en el contexto de las lenguas inglesa, francesa y española. Excepcionalmente se establece una relación negativa entre los textismos y las faltas de ortografía (Bouillaud et al., 2007; Plester, Wood y Bell, , 2008; Durkin, Conti-Ramsden y Walker, 2011; Kemp y Bushnell, 2011; Bernicot et al., 2014; Lanchantin et al., 2014; Turner, Abrams, Katíc y Donovan , 2014; Wood et al., 2014; Saavedra, Crespo y Peralbo, 2014; Gómez-Camacho y Gómez, 2015; Gómez-Camacho, Núñez-Román y Perera-Rodríguez , 2016; Gómez-Camacho et al., 2017; Gómez-Camacho y Gómez, 2017; Gómez-Camacho y Lopes, 2017).
| Testismi | Esempi |
| Soppressioni e omissioni - Omissione totale o parziale degli accenti - Omissione della h - Omissione degli apostroi - Omissione degli spazi fra le parole - Omissione totale o parziale della punteggiatura - Sempliicazione delle doppie | perche anche noi stiamo un po' pensando cosi adesso l hanno portato in radiologia SONOarrivatoAginevraTUTTOok ti volevo dire che andavo a fare un salto a rimini se volevi venire che veniva anche la Giulia partiamo alle 14:30! Tuto ben oggi?,dimi un quel |
| Riduzioni e sostituzioni - Riduzioni e sostituzioni fonetiche: troncamenti e accorciamenti; sostituzione di un suono con una lettera che ha lo stesso suono. - Riduzioni e sostituzioni graiche: univerbazioni; sostituzioni da segni diacritici, matematici o ico- nici. - Creazione di sigle, acronimi | Iersera sn and al concerto, ho il cell scarico per cui nn posso risp ora; cm t dicevo, peca' ke non eri dei nostri, anch'io volevo fare lo stesso identiko viag- gio con Bertibus Chefiko, Vabbè, OMMIODDIOOOOOOO; Noi siamo andate xk adesso lo terranno la […], x favore TVB ‘ti voglio bene’; |
| Ripetizioni - Ripetizioni del punto esclamativo, interrogativo, puntini di sospensione, ecc. - Iterazione vocalica o consonantica | Grazie per l'aiuto!!!! com'è la vita da mamma??, non posso prendere l'autobus..aiutooo!!!!!, amm- mmore! |
| Graia non normativa - Uso delle maiuscole per enfatizzare - Mancanza delle maiuscole dopo punteggiatura, in nomi propri, ecc. | Per gli altri studiosi invece OGNI pagina che mi hai invito, no? Ti posso chiedere il favore di venire da me?poi ti spiego |
| Testismi lessicali - Uso di dialettalismi e regionalismi - Creazione di nuove parole, interiezioni e onoma- topee non normative - Uso di anglicismi o forestierismi | Adesso che sei arrivato a casa… datti na’ mossa ca te stongaspettann! bho,mha, Holachico cm stai? |
| Elementi multimediali | |
| - Uso di emoticon, immagini, audio e video |
La identificación entre textismos y faltas de ortografía hace que con frecuencia se acepte la idea de que la escritura digital es un obstáculo para la alfabetización académica de jóvenes y adolescentes, y para el aprendizaje de las reglas de ortografía de las lenguas de este estudio. Sin embargo, esta percepción no se vea refrendada en absoluto por la bibliografía.
1.3 Propósito
El objetivo de este estudio es determinar la percepción de los futuros profesores de lengua española, lengua portuguesa y lengua italiana sobre la influencia que tiene la norma digital de los mensajes de texto en la adquisición de la competencia ortográfica de los adolescentes.
En concreto, se pretende analizar si hay diferencias entre los diferentes textismos, singularmente entre los textismos que pertenecen al plano fonético-fonológico, los textismos léxicos y los elementos multimodales.
2. METODOLOGÍA
La metodología del estudio empleó un diseño no experimental, de tipo descriptivo basado en encuestas de opinión. Participaron en el mismo un total de 580 sujetos: 85 estudiantes de la Universidade do Algarve, 388 de la de la Universidad de Sevilla y 107 de diversas universidades italianas.
Se utilizaron tres escalas con dos dimensiones establecidas a priori. Se analizó la percepción de los participantes sobre la norma digital y sus implicaciones educativas del uso de textismos por parte de hablantes adolescentes de Educación Secundaria.
Se utilizan en consecuencia los datos ya publicados en revistas de máximo prestigio en su ámbito, que mantuvieron la misma metodología y adaptaron el instrumento a las singularidades de las tres lenguas del estudio (Gómez-Camacho et al., 2016; Gómez-Camacho et al., 2017; Gómez- Camacho y Lopes, 2017).
3. RESULTADOS
El rechazo de los textismos es muy claro cuando se identifican con los errores característicos de las ortografías portuguesa, española e italiana. En el caso del portugués (Gómez-Camacho y Lo- pes, 2017) el rechazo más pronunciado se manifestaba hacia la eliminación de vocales (x = 4,17), la sustitución de s, ss, ch, c, ç por x (x= 4,64), la sustitución de c, q por k (x= 4,37), o la omisión de acentos (x= 4,28).
Un resultado similar encontramos en los participantes de lengua italiana (Gómez-Camacho et al., 2016) en la omisión de h (x= 4,79) o la simplificación de las grafías dobles (x= 4,81). En lengua española (Gómez-Camacho y Gómez, 2017): omisión de acentos ( x= 4,12), omisión de h (x = 4,10), etc.
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | |
| 1 TexUse | ||||||||||
| 2 Acr | .403 ** | |||||||||
| 3 Numb | .485 ** | .387 ** | ||||||||
| 4 NonstSpellx | .789 ** | .357 ** | .461 ** | |||||||
| 5 NonstSpellk | .565 ** | .378 ** | .462 ** | .701 ** | ||||||
| 6 AccOmi | .623 ** | .402 ** | .472 ** | .759 ** | .669 ** | |||||
| 7 CapOmi | .471 ** | .371 ** | .300 ** | .448 ** | .462 ** | .484 ** | ||||
| 8 ShortVoc | .539 ** | .572 ** | .457** | .540 ** | .561 ** | .565 ** | .585 ** | |||
| 9 OmiCon | .389 ** | .401 ** | .558 ** | .356 ** | .383 ** | .449 ** | .407** | 468 ** | ||
| 10Emo | .160 | .404 ** | .207 | .011 | .138 | .069 | .147 | .173 | .240 * | |
| 11Mult | .064 | .302 ** | .109 | -.064 | .045 | .008 | .077 | .098 | .181 | .765 ** |
Los textismos que no se asocian a errores ortográficos que se cometen por desconocimiento generan un menor rechazo tanto en el plano normativo como en el plano educativo. En lengua portuguesa (Gómez-Camacho y Lopes, 2017) el uso de acrónimos (x = 2,62), la utilización de números con su valor fonético (x = 3,90) o la omisión de artículos y conectores (x = 3,71). Una tendencia similar se observa en la lengua italiana (Gómez-Camacho et al., 2016) en la repetición de vocales (x= 2,66) o el uso enfático de mayúsculas (x = 2,17) y en la lengua española (Gómez- Camacho y Gómez, 2017) en las repeticiones (x= 3,95) o la utilización de números con su valor fonético (x = 3,97).
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | |
| 1 Punt | ||||||||||||
| 2 Rid | ,600** | |||||||||||
| 3 ManM | ,586** | ,673** | ||||||||||
| 4 Omi | ,370** | ,477** | ,487** | |||||||||
| 5 Dial | ,212* | ,438** | ,252** | ,309** | ||||||||
| 6 Nuov | ,309** | ,412** | ,485** | ,394** | ,285** | |||||||
| 7 Univ | ,230* | ,390** | ,390** | ,339** | ,203* | ,501** | ||||||
| 8 Sig | ,206* | ,278** | ,220* | ,366** | ,206* | ,318** | ,423** | |||||
| 9 Semp | ,446** | ,543** | ,738** | ,508** | ,256** | ,500** | ,407** | ,329** | ||||
| 10 Iter | ,382** | ,572** | ,455** | ,350** | ,642** | ,363** | ,248* | ,117 | ,400** | |||
| 11 Mai | ,335** | ,422** | ,381** | ,495** | ,097 | ,291** | ,395** | ,309** | ,569** | ,245* | ||
| 12 For | ,377** | ,512** | ,533** | ,569** | ,113 | ,464** | ,555** | ,412** | ,653** | ,226* | ,621** | |
| 13 Mult | ,352** | ,386** | ,398** | ,376** | ,172 | ,398** | ,529** | ,371** | ,506** | ,221* | ,411** | ,514** |
La incorporación de emoticonos y elementos multimodales, como imágenes, audios y videos, a los mensajes de texto se percibe como elemento que no amenaza la norma culta de escritura en la educación de los jóvenes adolescentes. Así en lengua portuguesa (x= 1,41) (Gómez-Camacho y Lopes, 2017), italiana (x = 1,33) (Gómez-Camacho et al., 2016) y española (x = 1,70) (Gómez- Camacho y Gómez, 2017).
| Missp/ Text | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | |
| 1 Rep | .294** | |||||||||
| 2 ShortClipp | .313** | .551** | ||||||||
| 3 PunOmi | .221** | .439** | .618** | |||||||
| 4 AccOmi | .269** | .466** | .598** | .719** | ||||||
| 5 CapOmi | .257** | .423** | .622** | .626** | .685** | |||||
| 6 NonstSpell | .264** | .476** | .674** | .579** | .642** | .571** | ||||
| 7 SymbNumb | .293** | .539** | .739** | .638** | .645** | .643** | 719.** |
| 8 AccSty | .251** | .396** | .575** | .635** | .638** | .553** | .720** | .607** | ||
| 9 NewWor | .280** | .485** | .557** | .506** | .513** | .466** | .581** | .641** | .499** | |
| 10 Mult | .157** | .242** | .272** | .216** | .203** | .178** | .226** | .295** | .165** | .360** |
4. DISCUSIÓN Y CONCLUSIONES
Los resultados de este estudio establecen una clara diferencia entre los textismos que se asocian a faltas de ortografía y los que se identifican con la escritura digital en portugués, español e italiano. En consecuencia, los futuros profesores consideran que los textismos que podrían confundirse con faltas de ortografía influyen negativamente en el aprendizaje de la norma estándar de escritura de los adolescentes; por ejemplo, la omisión de tildes y otros signos auxiliares, y la utilización de grafemas que producen errores en los textos académicos del alumnado de secundaria.
No resulta adecuado hablar de textismos en general en el portugués, el español y el italiano digital sino que se establece una clara distinción entre los textismos que afectan al plano fonético-fonológico en la relación entre fonemas y grafemas, y los que se sitúan en el plano léxico-semántico. Los textismos que no corresponden al plano fonético-fonológico; es decir, aquellos que no afectan a la relación tradicional entre fonemas y grafemas gozan de una mayor tolerancia y son susceptibles de incorporarse al aula de secundaria como recursos didácticos. En este contexto, la creación de nuevas palabras, la incorporación de extranjerismos y la formación de palabras mediante procedimientos que no están recogidos en las gramáticas de referencia gozan de una mayor aceptación porque en manera alguna pueden confundirse con faltas de ortografía que se cometen por desconocimiento o por desatención.
Por último, la utilización de elementos multimodales como emoticonos, imágenes, audios y videos, que no existen en la escritura estándar, se identifica como rasgos propios del portugués, español e italiano digital y tienen una elevada aceptación tanto en los mensajes de texto como en el contexto educativo. A pesar de que estos textos suponen una ruptura radical con el sistema de escritura de las lenguas analizadas, de insertan elementos no verbales en el texto, los participantes en el estudio los consideran claramente como una forma de escritura intencionada que nada tiene que ver con los errores en la escritura académica de los adolescentes. En consecuencia, no son considerados como una amenaza para la norma culta de escritura ni como un obstáculo para el aprendizaje de las reglas de ortografía que caracterizan a la lengua estándar.
En conclusión, la multimodalidad sería de los mensajes de texto que los participantes en el estudio identifican como un recurso propio de la alfabetización digital que no se relaciona con la alfabetización académica. La incorporación de la norma digital al aula de secundaria como recurso didáctico para la adquisición de la competencia ortográfica debería partir de los textismos del plano léxico-semántico y de los elementos multimodales como emoticonos, audios, videos y enlaces a otros recursos de Internet.
En los textismos que corresponden al plano fonético-fonológico, que alteran por tanto la relación entre fonemas y grafemas, habría que distinguir aquellos que afectan a la ortografía arbitraria y que son susceptibles de ser confundidos con faltas de ortografía, de aquellos que son claras discrepancias con la norma académica y que en manera alguna podrían relacionarse con los errores de escritura en textos académicos.
Referencias
Bernicot, J., Goumi, A., Bert-Erboul, A., & Volckaert-Legrier, O. (2014). How do skilled and less-skilled spellers write text messages? A longitudinal study. Journal of Computer Assisted Learning, 30, 559-576. Doi: 10.1111/jcal.12064
Bouillaud, C., Chanquoy, L., & Gombert, J. (2007). Cyberlangage et orthographe: Quels efets sur le niveau orthographique des élèves de CM2, 5e et 3e?. Bulletin de Psychologie, 492, 553–565. Doi: 10.3917/bupsy.492.0553
De Jonge, S., & Kemp, N. (2012). Text-message abbreviations and language skills in high school and university students. Journal of Research in Reading, 35(1), 49-68. doi: 10.1111/j.1467- 9817.2010.01466.x
Durkin, K., Conti-Ramsden, G., & Walker, A. J. 2011. Txt lang: Texting, textism use and literacy abilities in adolescents with and without speciic language impairment. Journal of Computer Assisted Learning, 27, 49–57. Doi: 10.1111/j.1365-2729.2010.00397.x
Gómez-Camacho, A. (2017). La norma digital y la enseñanza de la norma lingüística en portugués, español e italiano. En EDUcación y TECnología: una mirada desde la Investigación e Innovación (en prensa).
Gómez-Camacho, A. & Gómez, M.T. (2015). Escritura ortográica y mensajes de texto en estudiantes universitarios. Perfiles Educativos, 150, 91-104.
Gómez-Camacho, A., Núñez-Román, F., & Perera-Rodríguez, V. (2016). Percezioni degli studenti universitari italiani sull’italiano digitato e relative ripercussioni didattiche. Cadmo, 2, 57-74. Doi: 10.3280/CAD2016-002006
Gómez-Camacho, A., & Lopes, A. (2017). Texting, textisms and teaching Portuguese. Porta Linguarum, monográico New Trends in the Teaching of Languages and Literature: Challenges and Prospects, (en prensa).
Gómez-Camacho, A., Hunt-Gómez, C. I., & Valverde-Macías, A. (2017), Textisms, Texting, and Spelling in Spanish, Lingua, (en prensa). Doi:10.1016/j.lingua.2017.09.004
Gómez-Camacho, A., & Gómez, M.T. (2017). La norma escrita en las conversaciones de WhatsApp de estudiantes universitarios de posgrado. Revista Mexicana de Investigación Educativa, XXII(75), (en prensa).
Kemp. N., & Bushnell, C. (2011). Children’s text messaging: abbreviations, input methods and links with literacy. Journal of Computer Assisted Learning, 27, 18-27. Doi:10.1111/j.1365- 2729.2010.00400.x
Lanchantin, T., Simoës-Perlant, A., & Largy, P. (2014). Good Spellers Write more Textism than Bad Spellers in Instant Messaging: The Case of French. PsychNology Journal, 12(1-2), 45 -63.
Lyddy, F., Farina, F., Hanney, J., FarrelL, L., & O’Neill, N. (2014). An Analysis of Language in Uni- versity Students' Text Messages. Journal of Computer-Mediated Communication, 19(3), 546-561. doi: http://dx.doi.org/10.1111/jcc4.12045
Plester, B.,Wood, C., & Bell, V. (2008). Txt Msg n school literacy: Does mobile phone use adversely afect children’s literacy attainment?. Literacy, 42, 137-144.
Plester, B.,Wood, C., & Joshi, P. (2009). Exploring the relationship between children’s knowledge of text message abbreviations and school literacy outcomes. British Journal of Developmental Ps- ychology, 27, 145–161. Doi:10.1348/026151008X320507
Saavedra, I., Crespo, R., & Peralbo, M. (2014). DiFicultades de aprendizaje lector y uso de abreviaturas SMS en 6º curso de Educación Primaria. En Encuentros sobre Psicología, comunicación y lenguaje (pp. 41-59). A Coruña: Universidade da Coruña. Recuperado de http://hdl.handle. net/2183/13540
Turner, K. H., Abrams, S. S., Katíc, E., & Donovan, M. J. (2014). Demystifying Digitalk: The What and Why of the Language Teens Use in Digital Writing. Journal of Literacy Research, 46(2), 157- 193. Doi:10.1177/1086296X14534061
Wood, C., Kemp, N., Waldron, S., & Hart, L. (2014). Grammatical understanding, literacy and text messaging in school children and undergraduate students: a concurrent analysis. Computers & Education, 70, 281–290. Doi:10.1016/j.compedu.2013.09.003