Skinner (1938) definió la ley de condicionamiento operante como “si a la ocurrencia de la respuesta operante le sigue la presentación de un estímulo reforzante, la fuerza de la conducta aumenta” (p. 21). Bruner (1995) analizó dicha descripción y concluyó que se encuentran confundidos tres diferentes elementos de la relación respuesta-reforzador. El primer elemento es el orden de ocurrencia, primero la respuesta y luego el reforzador. El segundo es la dependencia del reforzador respecto de la respuesta antecedente. El tercer elemento es la separación temporal entre la respuesta y el reforzador. Dado que es posible analizar los efectos de los distintos elementos manipulando uno de ellos, manteniendo constantes los demás, podría considerarse a cada elemento como un parámetro que modula a la contingencia operante.

En diversos estudios se ha manipulado el parámetro de dependencia, entregando reforzamiento independiente de la respuesta (e.g., Neuringer, 1970). El procedimiento comúnmente empleado para analizar los efectos del reforzamiento independiente sobre la conducta consiste en presentar inicialmente reforzamiento dependiente de la respuesta en una primera fase experimental y, posteriormente, reemplazarlo por reforzamiento independiente. Consistentemente se ha reportado qué al utilizar este procedimiento, la tasa de respuesta disminuye gradualmente, conforme avanza el entrenamiento con reforzamiento independiente (e.g., Lachter, 1971, 1973; Lachter, Cole & Schoenfeld, 1971).

Lattal (1974) se preguntó si era posible controlar la disminución en la tasa de respuesta al cambiar de reforzamiento dependiente a independiente. Su método consistió en presentar reforzamiento dependiente e independiente de la respuesta en una misma sesión, de acuerdo con distintas proporciones (i.e., 0/100, 10/90, 33/66, 66/33 o 100/0, respectivamente). Encontró que la tasa de respuesta disminuyó gradualmente conforme disminuyó la proporción de reforzamiento dependiente, por lo que concluyó que combinar reforzamiento independiente con una cierta cantidad de reforzamiento dependiente de la respuesta en una misma sesión permite modular el decremento en la tasa de respuesta. Ruiz y Bruner (2012) también encontraron que combinar distintas proporciones de reforzamiento dependiente con reforzamiento independiente en una misma sesión (i.e., 100/0, 75/25, 50/50, 25/75, 0/100, respectivamente), resulta en la disminución gradual de la tasa de respuesta conforme aumenta la proporción de reforzamiento independiente.

Una explicación de la disminución gradual en la tasa de respuesta al cambiar de reforzamiento dependiente a independiente de la respuesta es que resulta del condicionamiento accidental de conductas incompatibles con la respuesta originalmente reforzada (Lachter et al., 1971). Esto se debe a que en los programas que se establece dependencia respuesta-reforzador, únicamente la conducta designada como respuesta puede ocurrir en contigüidad temporal con el reforzador. En cambio, con programas de reforzamiento independiente, cualquier otra conducta puede preceder a la entrega del reforzador. Debido a que no se controla el tiempo mínimo entre la última respuesta y el reforzador, ocurren intervalos variables entre la respuesta y el reforzador (Burgess & Wearden, 1981). Por esta razón, es posible que alargar el intervalo entre reforzadores independientes aumente la probabilidad de que alguna conducta incompatible ocurra en cercanía temporal con el reforzador (Lachter, 1971).

Como se mencionó previamente, establecer una dependencia entre la respuesta y el reforzador permite controlar el tiempo mínimo que ocurre entre ellos. Por esta razón en los estudios en que se analizan los efectos de introducir una demora entre la respuesta y su reforzador, se mantiene constante la dependencia entre estos eventos (e.g., Lattal, 1987, 2010; Schneider, 1990). El procedimiento más común de dichos estudios consiste en presentar inicialmente sólo reforzamiento inmediato y posteriormente introducir una demora que se alarga gradualmente en condiciones sucesivas. Algunas de las variantes de los estudios sobre demora de reforzamiento involucran señalar el periodo de demora (e.g., Ferster, 1953; Richards, 1981; Richards & Hitterdorf, 1978) o bien reiniciar la demora cada vez que ocurre una respuesta durante la demora (e.g., van Haaren, 1992; Williams & Lattal, 1999). Sin embargo, estas manipulaciones confunden respectivamente los efectos de la relación temporal entre la respuesta y el reforzador con los efectos del reforzamiento condicionado (c.f. Schneider, 1990) o bien con el reforzamiento de pausas entre respuestas más largas que la demora programada (c.f. Sizemore & Lattal, 1978). Por lo que la variante que permite analizar directamente la relación temporal entre la respuesta y su reforzador es la demora fija no señalada (c.f. Williams, 1976).

Sin tomar en cuenta la variante utilizada para presentar la demora de reforzamiento, al cambiar de reforzamiento inmediato a demorado consistentemente se ha reportado que demoras de reforzamiento cortas resultan en tasas de respuesta altas y a medida que se alarga la demora la tasa de respuesta disminuye gradualmente, formando una curva decreciente negativamente acelerada o gradiente de demora (e.g., Reilly & Lattal, 2004). El hallazgo del gradiente de demora ha sido ampliamente reportado en la literatura sobre reforzamiento demorado (c.f. Lattal, 2010). Sin embargo, como se señaló anteriormente un resultado muy similar al gradiente de demora también ocurre al cambiar de reforzamiento dependiente a independiente de la respuesta.

Lachter (1973) propuso que es posible que una misma variable controle la disminución en la tasa de respuesta tanto con reforzamiento independiente como con dependiente demorado. Para probar dicha hipótesis, con base en el Sistema T (Schoenfeld & Cole, 1972) se presentó un programa múltiple con un componente Tiempo al Azar (TA) 60 s (T = 6, p = .10) y un segundo componente IA 60 s (T=6, p=.10) en el que solamente la primera respuesta durante tD era reforzada al finalizar T, resultando en demoras variables desde 0 hasta 6 s. Encontró que para ambos componentes del programa múltiple la tasa de respuesta disminuyó de manera similar conforme pasaron las sesiones. A partir de estos resultados, se concluyó que la disminución en la tasa de respuesta dependió del intervalo entre la respuesta y el reforzador.

Es posible que los resultados obtenidos tanto en estudios con reforzamiento independiente como dependiente demorado se deban al tiempo que efectivamente ocurre entre la respuesta y su reforzador, es decir, a la demora de reforzamiento obtenida. A pesar de que esta variable ha sido poco reportada (e.g. Kuroda, et.al., 2013; Sizemore & Lattal, 1977, 1978) y en ocasiones se le atribuye un carácter de variable dependiente (e.g. van Haaren, 1992); se ha encontrado que existe una correlación positiva entre el alargamiento de la demora programada y el alargamiento de la demora obtenida (e.g., Sizemore & Lattal, 1977; Ruiz & Bruner, 2008). También se ha encontrado que existe una relación directa entre el alargamiento de la demora programada y la demora obtenida sobre la tasa de respuesta, por lo que tasas altas de respuestas se relacionan con demoras obtenidas cortas y a medida que se alarga la demora obtenida la tasa de respuesta disminuye (Sizemore & Lattal, 1978). Estos hallazgos apoyan la idea de que es posible que la demora obtenida sea una variable que permite modular la tasa de respuesta. El propósito del presente estudio fue averiguar si es posible modular gradualmente el decremento en la tasa de respuesta mediante combinaciones de reforzamiento dependiente inmediato y demorado en una misma sesión.

Método

Sujetos

Se emplearon 18 ratas macho de la cepa Wistar experimentalmente ingenuas, de tres meses de edad al inicio del experimento. Las ratas se mantuvieron al 80% de su peso ad libitum y fueron alojadas en cajas-habitación individuales donde tuvieron libre acceso al agua

Aparatos

Se utilizaron seis cámaras experimentales MED Associates Inc. ® (Modelo ENV- 001). Al centro del panel operativo y a 2.5 cm del piso de la cámara experimental, se ubicó el comedero (Modelo ENV-200R1M) conectado a través de una manguera de plástico a un dispensador de bolitas de comida (Modelo ENV-203). Como reforzadores se emplearon bolitas de comida de aproximadamente 27 mg, remoldeadas a partir de polvo de pellets Rodent Laboratory Chow ®. Al lado derecho del comedero se encontraba una palanca de metal (Modelo ENV-110RM). La palanca fue operada por una fuerza de aproximadamente 0.15 N y se encontraba a una altura de ocho centímetros por encima del piso de la cámara. Cada una de las seis cámaras se encontraba dentro de un cubículo sono-amortiguado (Modelo ENV-022M), equipado con un generador de ruido blanco (Modelo ENV-225S) a fin de evitar ruidos ajenos al experimento. Los cubículos sono-amortiguados también contaban con un ventilador para permitir el flujo de aire. Un foco de 28 volts (Modelo ENV-215M) sirvió para iluminar la cámara experimental. El foco se colocó en el panel contrario al panel operativo. Los eventos que ocurrieron en cada cámara fueron controlados y registrados mediante una interface MED (Modelo SG-503) conectada a una computadora con el software MED-PC IV ®. La interface se ubicó en un cuarto contiguo al cuarto donde se encontraban las cámaras experimentales.

Procedimiento

Se usó un diseño factorial mixto, con un factor de medidas repetidas con cinco niveles (proporción de reforzamiento inmediato y demorado: 100/0, 75/25, 50/50, 25/75 y 0/100, respectivamente) y un factor de grupos independientes con seis niveles (demora programada t = 1, 2, 4, 8, 16 o 32 s). Se asignaron al azar tres ratas a cada celda del diseño. Con el propósito de generar tasas substanciales de respuesta se usó un programa tándem IA 15 s TF t. La primera respuesta en la palanca al finalizar el IA 15 s (T = 3, p = .2) se sometió a una probabilidad que determinó la entrega del reforzador inmediato o demorado de acuerdo con cada condición en efecto.

Sin entrenamiento preliminar de aproximación al comedero o a la palanca, se expuso a las ratas directamente a la condición 100/0. En condiciones sucesivas, las tres ratas de cada celda del diseño fueron expuestas a las distintas proporciones de reforzamiento inmediato y demorado, en el orden mencionado arriba. Cada condición estuvo en efecto durante 30 sesiones con una duración de 60 minutos cada una. Las sesiones se condujeron siete días a la semana. Concluidas todas las combinaciones de reforzamiento inmediato y demorado, se redeterminó la proporción 100/0.

Resultados

En la Figura 1 se presentan las tasas de respuesta promedio individuales de las ultimas diez sesiones de cada condición de reforzamiento inmediato/demorado, normalizado como porcentaje de la condición 100/0, en función de la proporción de reforzamiento inmediato y demorado. El símbolo gris representa la redeterminación de la condición 100/0. Este dato permite descartar que la tasa de respuesta en dicha condición sea resultado meramente de la adquisición. Los datos individuales muestran que en general la tasa de respuesta disminuyó a medida que disminuyó la proporción de reforzamiento inmediato. Sin embargo, cuando las demoras fueron cortas (i.e. 1, 2 y 4 s) la tasa de respuesta de algunos sujetos aumento ligeramente con altas proporciones de reforzamiento demorado (i.e. S2 y S4). Cabe señalar que a pesar de que la tasa de respuesta del sujeto S8 tuvo un gran aumentó en la condición 75/25, a medida que aumentó la proporción de reforzamiento demorado su tasa de respuesta disminuyó al nivel de los otros dos sujetos del grupo de demora 4 s.

En la Figura 2 se presentan las demoras obtenidas promedio por sujeto en función de la duración de la demora programada para cada proporción de reforzamiento inmediato y demorado. En la Figura 2 y 3 se omitieron los datos de la condición 100/0 debido a que todos los reforzadores entregados fueron inmediatos. La línea gris representa el promedio de los tres sujetos de cada grupo. Se encontró que a medida que se alargó la demora nominal también aumentó la duración de la demora obtenida, pero la demora obtenida fue sistemáticamente más corta que la programada. El aumentó en la demora obtenida difirió entre las proporciones de reforzamiento inmediato/demorado, siendo ligeramente inclinada durante la condición 75/25. A medida que aumentó la proporción de reforzamiento demorado las demoras obtenidas se alargaron gradualmente, siendo más inclinada la curva en la condición 0/100

En la Figura 3 se presentan las tasas de respuesta promedio individuales de las últimas 10 sesiones de cada proporción de reforzamiento inmediato/demorado, en función de la demora obtenida para cada grupo de demora. En general, se encontró que independientemente del grupo de demora al presentar la proporción de 0/100 se observaron demoras obtenidas más largas correlacionadas a tasas de respuesta bajas. En cambio, cuando se presentó alguna proporción de reforzamiento inmediato, las demoras obtenidas fueron más cortas y se relacionaron con tasa de respuesta más altas. Sin embargo, debido a que la demora programada limitó la duración máxima de la demora obtenida, sólo pueden observarse demoras obtenidas largas con demoras programadas igualmente largas

Discusión

El objetivo del presente estudio fue averiguar si es posible modular el decremento en la tasa de respuesta mediante combinaciones de reforzamiento inmediato y demorado. Los resultados de este estudio muestran que a medida que aumentó la proporción de reforzamiento demorado la tasa de respuesta disminuyó gradualmente para todos los grupos. Sin embargo, el decremento en la tasa de respuesta para todos los grupos dependió de la interacción entre la proporción de reforzamiento inmediato/demorado con el intervalo de demora programado. Este resultado es consistente con lo reportado en estudios sobre demora de reforzamiento en que con demoras largas las tasas de respuesta son más bajas que con demoras cortas (e.g., Reilly & Lattal, 2004). Sin embargo, estos hallazgos sugieren que la demora obtenida entre la respuesta y el reforzador fue de mayor importancia que la demora programada. Por esta razón, se discute el papel de la demora obtenida en el control de la respuesta.

Sizemore y Lattal (1977, 1978) reportaron que existe una relación directa entre el alargamiento de la demora programada y el concomitante alargamiento de la demora obtenida. En el presente estudio se encontró que alargar la demora programada resultó en el alargamiento de la demora obtenida. Sin embargo, la proporción de reforzamiento inmediato/demorado moduló la duración promedio de la demora obtenida. De tal forma que los hallazgos del presente estudio demuestran que es posible manipular la demora obtenida mediante la presentación de una cierta proporción de reforzamiento inmediato en una situación de demora de reforzamiento. Cambiando el estatus de la demora obtenida de variable dependiente a variable independiente.

Los efectos de la demora obtenida se explican debió a que la presentación de reforzamiento inmediato redujo el tiempo entre la respuesta y el reforzador causando aumentos en la tasa de respuesta local. Dicho aumento a su vez aumentó la probabilidad de que la respuesta ocurriera en cercanía con el siguiente reforzador. Al disminuir la proporción de reforzamiento inmediato se alargaron las demoras obtenidas y con ello disminuyó la probabilidad de que la respuesta fuera seguida por el reforzador. Lo que permite explicar por qué la disminución en las tasas de respuesta para los sujetos con demoras cortas (i.e. 1 y 2 s) fue menos pronunciada con respecto a demoras largas.

La disminución en la tasa de respuesta al alargar la duración de la demora en estudios sobre demora de reforzamiento se atribuye a que el reforzador pierde efectividad a medida que se aleja de la respuesta (Schneider, 1990). Sin embargo, los presentes hallazgos sugieren que el reforzador no “pierde su eficacia”, sino que, mantiene su efecto sobre respuestas que originalmente no fueron elegidas por el investigador pero que compiten con la respuesta operante (e.g., Lachter et al., 1971; Sizemore & Lattal, 1977). Por esta razón es importante controlar la duración del tiempo que efectivamente ocurre entre la respuesta y el reforzador dado que evita confundir los efectos de la demora de reforzamiento con los efectos del reforzamiento accidental de conductas “supersticiosas” (Skinner, 1948).

Los hallazgos del presente estudio permiten concluir que una forma de controlar la tasa de respuesta es a través de la manipulación de la duración de la demora obtenida y de esta forma poder observar los efectos de la demora obtenida sobre la conducta. Hay que notar que resultados similares han sido reportados en la literatura sobre reforzamiento independiente de la respuesta. En un estudio en el que se compararon los efectos de distintas proporciones de reforzamiento dependiente e independiente, Kuroda et. al. (2013) presentaron distintas proporciones de reforzamiento dependiente (i.e. 0, 10, 30, 70, 100, 70, 30, 10, 0) en ambos componentes de un programa múltiple Intervalo Fijo 30 s- Intervalo Variable 30 s. Encontraron que altos porcentajes de reforzamiento dependiente de la respuesta resultan en demoras obtenidas cortas; mientras que bajos porcentajes de reforzamiento dependiente resultaron en demoras obtenidas largas. En vista de estos resultados, los presentes resultados permiten extender el hallazgo de Lattal (1974) sobre el control de la tasa de respuesta con distintas combinaciones de reforzamiento dependiente e independiente a una situación de reforzamiento demorado. Aportando evidencia que apoya la hipótesis de Lachter (1973) en que se plantea que los efectos del reforzamiento dependiente demorado e independiente de la respuesta están relacionados por variables temporales.

Convencionalmente, los estudios sobre reforzamiento dependiente demorado e independiente de la respuesta se han distinguido en función de las operaciones que conlleva cada uno (Schoenfeld, Cole, Lang & Mankoff, 1973). Es decir, la necesidad de una respuesta para la posterior entrega del reforzador. Sin embargo, los hallazgos de Lachter (1973) son una primera demostración de que estos dos “tipos” de reforzamiento no son tan diferentes como se ha sugerido. Considerando a la conducta como un flujo ininterrumpido de eventos (c.f. Schoenfeld & Farmer, 1970) al establecer una operación de reforzamiento, el investigador elije un segmento de dicho flujo para ser reforzado. Visto de esta manera, el reforzador puede considerarse como la introducción de algún estímulo en cierta relación temporal con tal segmento (o respuesta). Desde esta perspectiva se deduce que, en los estudios con reforzamiento dependiente de la respuesta, se establece el tiempo mínimo entre la respuesta y su reforzador, similar al reforzamiento inmediato (c.f. Sizemore & Lattal, 1977). Por otra parte, con reforzamiento independiente se establece el tiempo máximo entre reforzadores, permitiendo que la demora obtenida varié durante el intervalo entre reforzadores. Por esta razón, se podría considerar que el reforzamiento dependiente demorado e independiente de la respuesta se encuentran dentro de un mismo continuo temporal en el que reforzamiento dependiente e inmediato se encuentran en un extremo, mientras que el reforzamiento dependiente demorado e independiente se encuentran en el otro extremo.

Referencias

Bruner, C. A. (1995). Introducción al problema de la contingencia operante. Revista Mexicana de Análisis de la Conducta, 21, 5-16.

Burgess, I. S., & Wearden, J. H. (1981). Resistance to the response-decrementing effects of response-independent reinforcement produced by delay and non-delay schedules of reinforcement. The Quarterly Journal of Experimental Psychology. Section B. 33, 195-207. DOI: 10.1080/14640748108400822

Ferster, C. B. (1953). Sustained behavior under delayed reinforcement. Journal of Experimental Psychology, 45, 218-224.

Kuroda, T., Cancado, C. R., Lattal, K. A., Elcoro, M., Dickson, C. A. & Cook, J. E. (2013). Combinations of response-reinforcer relations in periodic and aperiodic schedules. Journal of the Experimental Analysis of Behavior. 99, 199-210. DOI: 10.1002/jeab.13

Lachter, G. D. (1971). Some temporal parameters of non-contingent reinforcement. Journal of the Experimental Analysis of Behavior, 16, 207-217. DOI: 10.1901/jeab.1971.16-207

Lachter, G. D. (1973). Response-reinforcer relationship in variable delay and non-contingent schedules of reinforcement. Psychological Reports, 33, 627-631. DOI: 10.2466/jeab.1973.33.2.627

Lachter, G. D., Cole, B. K., & Schoenfeld, W. N. (1971). Response rate under varing frecuency of non-contingent reinforcement. Journal of the Experimental Analysis of Behavior, 13, 233-236. DOI: 10.1901/jeab.1971.15-233

Lattal, K.A. (1974). Combination of response-reinforcer dependence and Independence. Journal of Experimental Analysis of Behavior, 22, 357-362. DOI: 10.1901/jeab.1974.22-357

Lattal, K. A. (1987). Considerations in the experimental analysis of reinforcement delay. En M. L. Commons, J. E. Mazur, J. A. Nevin, & H. Rachlin (Eds). Quantitative analyses of behavior: The effect of delay and of intervening events of reinforcement value (pp. 107-123). New York, E.U.: Psychology Press. Taylor & Francis Group.

Lattal, K. A. (2010). Delayed reinforcement of operant behavior. Journal of the Experimental Analysis of Behavior, 93, 129-139. DOI: 10.1901/jeab.2010.93-129

Neuringer, A. J. (1970). Superstition key pecking after three peck-produced reinforcement. Journal of the Experimental Analysis of Behavior, 13, 127-134. DOI: 10.1901/jeab.1970.13-127

Reilly, M. P., & Lattal, K. A. (2004). Whitin-session delay-of-reinforcement gradients. Journal of the Experimental Analysis of Behavior. 82, 21-35. DOI: 10.1901/jeab.2004.82-21

Richards, R. W. (1981). A comparison of signaled and unsignaled delay of reinforcement. Journal of the Experimental Analysis of Behavior, 35, 145-152. DOI: 10.1901/jeab.1981.35-145

Richards, R. W., & Hittesdorf, W. M. (1978). Inhibitory stimulus control under conditions of signaled and unsignaled delay of reinforcement. The Psychological Record, 28, 615-625.

Ruiz, J. A., & Bruner, C. A. (2008). Demora de reforzamiento con agua en un procedimiento de beber inducido por el programa. Revista Mexicana de Análisis de la Conducta, 34, 97-109. DOI: http://dx.doi.org/10.5514/rmac.v34.i1.16236

Ruiz, J. A., & Bruner, C. A. (2012). El efecto del reforzamiento independiente con agua sobre la respuesta procuradora en la situación de beber inducido por el programa. Revista Mexicana de Análisis de la Conducta, 38, 16-26.

Schneider, S. M. (1990). The role of contiguity in free-operant unsignaled delay of positive reinforcement: A brief review. The Psychological Record, 40, 239-257.

Schoenfeld, W. N., & Cole, B. K. (1972). Stimulus schedules: The t-tau systems. New York: Harper & Row.

Schoenfeld, W. N., Cole, B. K., Lang, J., & Mankoff, R. (1973). “Contingency” in behavior theory. En F. J. McGuigan & D. B. Lumsden (Eds), Contemporary approaches of conditioning and learning (151-172) New York. E.U.A: Wiley & Sons.

Schoenfeld W. N., Farmer J. (1970). Reinforcement schedules and the behavior stream. En Schoenfeld W. N. (Ed.), The theory of reinforcement schedules. 215–245 New York: Appleton-Century-Crofts.

Sizemore, O. J., & Lattal, K. A. (1977). Dependency, temporal contiguity, and response-independent reinforcement. Journal of the Experimental Analysis of Behavior, 25, 119-125. DOI: 10.1901/jeab.1977.27-119

Sizemore, O.J., & Lattal, K. A. (1978). Unsignaled delay of reinforcement in variable-interval schedules. Journal of the Experimental Analysis of Behavior, 30, 169-175. DOI: 10.1901/jeab.1978.30-169

Skinner, B. F. (1938). The behavior of organisms: An experimental analysis. New York, E.U.: Appleton Century Crofts.

Skinner, B. F. (1948). “Superstition” in the pigeon. Journal of Experimental Psychology, 38, 168-172. DOI: http://dx.doi.org/10.1037/0096-3445.121.3.273

van Haaren, F. (1992). Response acquisition with fixed and variable resetting delays of reinforcement in male and female Wistar rats. Physiology & Behavior, 52, 767-772. DOI: doi.org/10.1016/0031-9384(92)90412-U

Williams, B. A. (1976). The effect of unsignaled delayed reinforcement. Journal of the Experimental Analysis of Behavior, 26, 441-449. DOI: 10.1901/jeab.1976.26-441

Williams, A. M., & Lattal, K. A. (1999). The role of the response-reinforcer relation in delay-of-reinforcement effects. Journal of the Experimental Analysis of Behavior, 71, 187-194. DOI: 10.1901/jeab.1999.71-187