Un Estudio de Evaluación Educativa Manipulativos en el Aprendizaje de las Matemáticas con Estudiantes Hispanos Adquiriendo Inglés Académico como Segunda Lengua
Rafael Lara Alecio, Richard Parker, Claudia Aviles, Samantha Mason Texas A&M University
Beverly J. Irby Sam Houston State University
Sumario
| El propósito de este estudio fue examinar el uso de manipulativos de instrucción basado en tareas de matemáticas como una forma alternativa de evaluar la metodología en el proceso de enseñanza y aprendizaje con estudiantes Hispanos en proceso de adquisición del inglés como segunda lengua. Cuarenta y cinco estudiantes del nivel educativo parvulario y de los grados segundo y tercero de educación bilingüe en los Estados Unidos de Norteamérica participaron en este estudio. Se administraron un total de 14 tareas basadas en el empleo de manipulativos para la enseñanza de las matemáticas. Se volvió a examinar cada tarea en un período de 2-3 semanas. Cada tarea se calificó en cuatro escalas: (1) Entendimiento conceptual, (2) uso eficiente en la estrategia a seguir, (3) precisión, y (4) fluidez. La presente investigación estudió los temas siguientes: (a) La confiabilidad en la re-examinación, (b) la dificultad de la tarea y relación entre las sub-escalas, y (c) la relación con el dominio de ambos idiomas. Se presentan posibles respuestas a cada pregunta con la salvedad de que estos resultados provienen de una muestra pequeña diseñada con el propósito de una exploración. Para el propósito de generalizar, se precisa una réplica del presente estudio con la participación de un número significativo de participantes. |
Estudiantes Hispanos con
Bajo Rendimiento en Matemáticas 
De acuerdo a investigaciones llevadas a cabo durante los pasados diez años, los estudiantes hispanos en los Estados Unidos se encuentran por debajo de las normas nacionales en cuanto a su rendimiento en matemáticas y continúan fracasando (Laosa & Henderson, 1991; Orum, 1986; Valencia, 1991). Otros investigadores reportan que para estos estudiantes, el aprendizaje de las matemáticas es realmente problemático (Haycock & Navarro, 1988; MacCorquodale, 1988; Policy Analysis for California Education, 1990). Este bajo rendimiento en matemáticas se identifica en el tercer año del nivel primario. De acuerdo a estudios psicométricos, éste es el grado más apropiado para el uso de instrumentos formales, válidos y confiables (Dossey, Mullis, Lindquist, & Chambers, 1988). Debido a esta situación general, donde las normas indican este bajo rendimiento en matemáticas, un número desproporcionado de estudiantes hispanos son clasificados «en desventaja académica» y se les recomienda para programas suplementarios patrocinados por el gobierno federal (Kennedy, Birman, & Demaline, 1986). La mayoría de los estudiantes hispanos que ingresan al sistema escolar público son clasificados como estudiantes con dominio limitado académico del inglés (ELDAI). De acuerdo a ciertas regulaciones federales y estatales, estos estudiantes asisten a programas bilingües, o a programas de inglés como segunda lengua. De acuerdo a investigaciones realizadas, la mayoría de estos programas son percibidos como programas con deficiencias en su efectividad (Cziko, 1992; Lam, 1992).
Sin embargo, varios estudios citan posibles explicaciones para este bajo rendimiento en matemáticas por parte de los estudiantes hispanos. Estas explicaciones no son mutuamente excluyentes, y más de una es típicamente sostenida por más de un investigador. Un argumento es que el contenido académico que se enseña y se examina no es el apropiado. Esto, según ciertos investigadores, se debe a que tanto la enseñanza como la evaluación del contenido toman lugar fuera del contexto cultural del estudiante hispano.
La solución ofrecida por estos investigadores es precisamente desarrollar competencia y confianza en estos estudiantes usando etnomatemática (D'Ambrosio, 1987; Massey, 1989; Stigler & Barnaces, 1988). El punto de vista de la etnomatemática se enfoca hacia una reconstrucción del curriculum para la enseñanza de las matemáticas a fin de alcanzar lo que se denomina «compatibilidad cultural» (Moll & Díaz, 1987; Trueba, 1988). El término "contextualización curricular" ha sido también empleado para referirse a la instrucción matemática trasladada a la cultura del hogar (Tharp, 1989). En esta reconstrucción, tanto la experiencia como el vocabulario empleado por la familia del estudiante son usados como base para el diseño de problemas matemáticos en el salón de clases (Henderson & Landesman, 1992).
Una segunda explicación del bajo rendimiento en matemáticas se basa en el hecho de que la examinación de problemas matemáticos se presenta en forma abstracta y se sobrecarga de habilidades verbales que incluyen la lectura, y generalmente sigue un razonamiento lineal. Existe evidencia, según lo han reportado varios estudios, de que nuestros estudiantes ELDAI mejoran su rendimiento académico en matemáticas mediante el uso de material concreto tanto en la enseñanza del contenido como en su evaluación o examinación (García, 1991; Tharp, 1989). A través del uso de este material de instrucción, los estudiantes pueden crear conexiones visibles de los principios y procedimientos para el estudio de las matemáticas en forma concreta (Bohan, 1995). Por su parte, otros investigadores han proclamado el potencial del material concreto en la instrucción de las matemáticas; y al mismo tiempo, han advertido que el material de instrucción concreto ha sido con frecuencia utilizado erróneamente (Carpenter, Fennema, Fuson, Heibert, Human, Murray, Olivier, & Wearne, 1994).
Un tercer punto de vista es que nuestros estudiantes ELDAI carecen de una conexión lingüística con su primera lengua_el español_en el área de las matemáticas (Henderson & Landesman, 1992). La falta de dominio en el idioma inglés les obstaculiza una participación dinámica en la abstracción superior del vocabulario empleado, así como también una comprensión de los principios y procedimientos incluidos en el aprendizaje de las matemáticas. Los problemas debidos a la naturaleza del idioma empleado se convierten en un factor más en la identificación de los elementos claves del problema y de su nivel de dificultad en su resolución (Carpenter & Moser, 1984; Carpenter & Moser, 1983; Carpenter & Moser, 1982; Riley & Greeno, 1988; Riley & Greeno, 1983). Recientemente, muchos educadores han comenzado a entender que las matemáticas en sí mismas son un lenguaje discreto (Dale & Cuevas, 1987; Orr, 1987; Pimm, 1987; Reilly, 1988). Varios investigadores sostienen que un entendimiento completo en la resolución de los problemas matemáticos requiere un conocimiento de la naturaleza del lenguaje empleado para plantear tal problema, incluyendo la lógica, la semántica y los rasgos sintácticos (Briars & Larkin, 1984; Dean & Malik, 1986; Kintsch & Greeno, 1985; Riley & Greeno, 1988).
Un cuarto punto de vista señala que los estudiantes hispanos con un bajo rendimiento académico en esta área, reciben una enseñanza de poca calidad; y desgraciadamente, esta forma de enseñanza tipifica a muchos salones de clases con un alto índice de estudiantes hispanos. Estos programas, como se ha indicado anteriormente, son auspiciados económicamente por el gobierno federal y son rotulados como programas suplementarios de inglés como segunda lengua. El objetivo fundamental de estos programas es que los estudiantes adquieran un dominio académico del inglés, lo cual les va a permitir funcionar académicamente en un salón de clases regulare. Tales programas son severamente criticados debido a que la mayoría de la instrucción que se lleva a cabo en ese ambiente se enfoca únicamente en el desarrollo de habilidades para memorizar. Los problemas matemáticos que se plantean, generalmente son de una naturaleza rígida. Los estudiantes no tienen la oportunidad de verse involucrados en la resolución de problemas que requieren la habilidad de un desarrollo mental superior (Kennedy, Birman & Demaline, 1986; Cole & Griffin, 1987; Nunes, 1992). Por otra parte, como señalan algunos estudios, en las escuelas a las que asisten sobre todo alumnos de cultura anglosajona, se les involucra a los estudiantes de los cursos de matemáticas en el desarrollo de habilidades de pensamiento superior (Simmons, 1985). Estudios llevados a cabo con estudiantes que aprendieron inglés como segunda lengua y a quienes se fomentó el desarrollo de habilidades de pensamiento superior, revelan que los estudiantes participantes obtuvieron un nivel alto de rendimiento académico (Tikunoff, 1983; Wong Fillmore, Ammon, McLaughlin and Ammon, 1985), especialmente en aquellas áreas escolares con grandes concentraciones de hispanos (García, 1991; García, 1988).
Grandes esfuerzos se llevan a cabo por parte de organizaciones como el Consejo Nacional de Maestros de Matemáticas. Estos esfuerzos parecen influenciar la enseñanza de las matemáticas. Sin embargo, no existe evidencia que estos mismos esfuerzos tengan lugar en los salones de clases donde acuden hispanos para adquirir la lengua académica en inglés que les permita funcionar en el salón de clases regular (National Council of Teachers of Mathematics, 1995).
Evaluación Alternativa en
Matemáticas
La evaluación formal de las matemáticas ha estado bajo fuertes ataques durante casi una década debido a: (a) El énfasis extremo que se da a las habilidades básicas, (b) la dependencia en respuestas de opción múltiple poco auténticas, (c) la consideración rígida de solamente una solución planteada para cada problema, (d) el no permitir que los estudiantes obtengan crédito parcial, (e) el calificar sólo la respuesta final o el producto, excluyendo del proceso a la solución planteada del problema, (f) la dificultad de incorporar problemas matemáticos en un contexto cultural real y (g) el evaluar con límites artificiales de tiempo y sin proveer retroalimentación intermedia (Alexander & James, 1987; Hambleton & Swaminathan, 1985; Gentry-Norton, 1995; LaCelle-Peterson & Rivera, 1994; Murnane & Raizen, 1988; Schmidt, 1983; Stone, 1989; Tindal & Marston, 1990; USDOE, 1992).
El movimiento contemporáneo en la enseñanza de las matemáticas guiado hacia la resolución de problemas en una forma más aplicada, y guiado también hacia el uso de habilidades superiores de pensamiento y hacia múltiples estrategias de resolución de problemas, y al uso de manipulativos, no ha sido acompañado por evaluaciones suficientemente sólidas y compatibles. Sin embargo, se sabe que la evaluación determina y decide la forma en que las lecciones habrán de planearse y enseñarse. Al mismo tiempo se decide también cuáles esfuerzos del maestro deben de ser premiados (Salmon-Cox, 1981; Gentry-Norton, 1995; Stiggins, Conklin, & Bridgeford, 1986).
Como han indicado muchos estudios, el trabajar con una variedad de formatos para la examinación de las matemáticas, tales como la examinación del proceso y los problemas de respuesta abierta y cerrada, se encuentra todavía en el ámbito de la exploración (Romberg, Zarinnia, & Collis, 1990). Algunos reportes basados en formas diversas de examinación típicamente enfatizan su uso informal, sin establecer las propiedades psicométricas de confiabilidad entre evaluadores, la validez relativa a los criterios empleados, ni la estabilidad de las puntuaciones a través del paso del tiempo. En efecto, la mayoría de los formatos informales para examinación alternativa, aún cuando poseen validez de presentación, demuestra baja calidad psicométrica (Gullickson, 1982; Natriello, 1986; Stiggins & Bridgeford, 1985). Algunos investigadores sostienen que únicamente con instrumentos válidos confiables, los juicios de valor pueden reproducirse y comunicarse objetivamente a los estudiantes, a sus padres y a otros interesados en el sistema educativo (Bird, 1990; Linn, Baker & Dunbar, 1991).
El propósito de este estudio fue investigar el uso de material concreto de instrucción para la enseñanza y examinación de las matemáticas. La justificación en la utilización de este material concreto, llamado más propiamente manipulativos, se basó en cuatro razones principales sugeridas por la literatura, las cuales incluyen prácticas efectivas para la enseñanza de las matemáticas en el salón de clases. Las tareas basadas en el uso de manipulativos presuponen menos habilidades de tipo verbal de parte del estudiante y permiten la representación concreta de abstracciones y de la resolución de problemas reales, y parecen ser éstas menos asociadas a una cultura en particular. Reconociendo que este estudio tuvo una naturaleza exploratoria, se quisieron examinar métodos diferentes para la calificación de las tareas matemáticas basadas en el uso de manipulativos. También se quiso medir la dificultad de estas tareas para los estudiantes hispanos en proceso de adquisición del idioma inglés. Asimismo, se tuvo interés en las cualidades psicométricas tradicionales de confiabilidad en la re-aplicación del examen y en la validez relacionada al criterio de evaluación. A partir de este estudio inicial, se espera establecer guías para el diseño de exámenes y la calificación de éstos, las cuales podrán aplicarse en un estudio más exhaustivo que cuente con más tareas y más estudiantes.
Se propusieron las siguientes preguntas sobre las tareas de evaluación de matemáticas con una base en el uso de manipulativos.
1. Confiabilidad en la re-examinación:
¿Muestran los estudiantes hispanos resultados similares cuando son reexaminados dentro de un período de tres días resolviendo tareas de matemáticas a través de manipulativos?
2. Dificultad en la tarea:
¿Qué tan difíciles son las tareas de matemáticas basadas en el uso de manipulativos para estudiantes hispanos que aprenden inglés como segunda lengua a nivel parvulario, segundo y tercer año del nivel primario?
3. Relaciones entre los cuatro criterios para calificar las tareas/pruebas.
¿Cuáles patrones de progreso se identifican en los cuatro criterios para calificar las tareas? (1) El entendimiento conceptual (2) las estrategias eficientes, (3) la Precisión y (4) la fluidez intercorrelacionada.
4. Patrones de cambio en puntuaciones de exámenes preliminares de criterio:
¿Cuáles patrones de mejoramiento se identifican en las cuatro puntuaciones de criterios? : (1) La comprensión conceptual, (2) las estrategias válidas y eficientes, (3) la precisión y (4) la fluidez en un intervalo de 3 a 4 semanas.
5. Tareas de matemática con el uso de manipulativos y estrategias generales en matemáticas
¿Cómo se compara en general el desarrollo de las cuatro puntuaciones de criterio en las tareas basadas en el uso de manipulativos a las habilidades matemáticas de acuerdo a la mediación de los exámenes normalizados de aprovechamiento en matemáticas?
Contexto
Este estudio se llevó a cabo en una escuela primaria localizada en un área urbana en la ciudad de Houston, TX. Esta institución se caracteriza por un rápido incremento en población hispana. Las estadísticas señalan que el 60% de la población que asiste a esta escuela, es hispana. El 78% de esta población califica para el desayuno y/o almuerzo gratis. En esta escuela se prestan servicios para los niveles parvulario, primero, segundo y tercer grado del nivel primario. El rendimiento de los estudiantes que asisten a esta escuela en las áreas de matemáticas y lectura, fue en el orden del 18%, y sujeto a las normas y exámenes obligatorios para el estado de Texas. Unicamente el 9% de estos estudiantes demostraron dominio satisfactorio del nivel recomendado al final del tercer grado.
Esta escuela fue el lugar donde se desarrolló un programa patrocinado por el gobierno federal con una duración de tres años. El programa se identificó como un programa de transición bilingüe y se enfocó hacia el aprendizaje de matemáticas e inglés como segunda lengua. A través de este programa, la escuela adquirió computadoras, impresoras y material de instrucción que incluía manipulativos para la enseñanza de las matemáticas.
Para los maestros que participaron en el programa se desarrollaron talleres en forma de seminario. Además, el programa contrató personal asistente para sus maestros. Todos estos recursos fueron adjudicados a cinco salones de clases, los cuales sirvieron como la fuente principal en el suministro de información. El programa empleó cuatro componentes principales: l) El aprendizaje activo, 2) los manipulativos en matemáticas, 3)la instrucción vía computación, y 4)la participación de los padres de familia. Como parte del componente de los manipulativos para la enseñanza de las matemáticas, los maestros de estas cinco clases fueron entrenados en su uso, no únicamente en lo que respecta a la enseñanza, sino también en la creación de centros de aprendizaje enfocados en tres sistemas: Las unidades cúbicas, el sistema Cuisennaire y los bloques en base a diez. En los cinco salones de clases, cada centro de aprendizaje de matemáticas dispuso de estos materiales indicados. Los maestros en el programa tenían fluidez bilingüe en español e inglés, al igual que sus asistentes. Se trabajó con grupos de estudiantes pequeños y grandes. Aun cuando se enfatizó el uso de los manipulativos diariamente, esta parte del currículo se complementó con el programa de matemáticas empleado por el distrito escolar en su versión en español.
Participantes
Un total de 45 estudiantes hispanos fueron seleccionados para participar en este estudio. Estos estudiantes provinieron de cinco niveles: dos fueron del nivel parvulario, dos de segundo grado y uno de tercero. La selección fue estratégica_basada en el juicio del maestro y en el nivel de funcionamiento en matemáticas demostrado por los alumnos. Fueron seleccionados nueve estudiantes de cada clase; dos de cada una con una puntuación alta, identificada entre los 70%-87% en su rendimiento en matemáticas; Dos de cada clase con una puntuación media identificada entre los porcentajes 39-58 en su rendimiento en matemática, y dos de cada clase con una puntuación baja, identificada entre los porcentajes 12-30 en su rendimiento en matemáticas. El grupo investigador deseaba obtener un rango de habilidades en cada nivel de grado con el propósito de saber cómo funcionarían para la mayoría de los estudiantes las tareas de matemáticas a base de manipulativos. También se solicitó que cada estudiante seleccionado fuera suficientemente comunicativo como para responder verbalmente en español en una conversación.
Para cada estudiante, también se seleccionó un substituto por si sucedía la deserción del titular en el estudio. Debido a la inclusión de substitutos, el estudio finalizó con 45 estudiantes (18 niños y 27 niñas): 26 en nivel parvulario, 10 en el segundo grado, y 9 en el tercer grado. Con base en los criterios normalizados del distrito escolar en lo relativo a exámenes de matemáticas, los niños y niñas fueron distribuidos en forma equitativa de acuerdo a sus niveles de habilidades en matemáticas.
El dominio del idioma español e inglés de los niños que participaron en este estudio había sido evaluado en los 6 meses previos a este estudio. El instrumento psicométrico que se administró para establecer tal competencia fue un examen de dominio oral del idioma (The Oral Proficiency Test). De acuerdo a este examen, cuatro estudiantes fueron identificados con un dominio deficiente en ambos idiomas. Once estudiantes tenían un dominio limitado en español y ningún dominio en inglés. Doce estudiantes tenían un dominio limitado en ambos idiomas. Trece tenían fluidez en español, pero no tenían ningún dominio en inglés. Sólo cinco estudiantes fueron clasificados con fluidez en español y con dominio limitado en inglés. Los estudiantes que tenían las habilidades más fuertes en ambos idiomas estaban en nivel parvulario. El hecho de que más de la mitad de los estudiantes fueron clasificados con dominio limitado en su idioma dominante, el español, puede sugerir una influencia en el aprendizaje en todas las áreas académicas. La mitad de los estudiantes no hablaban al menos un inglés básico, por lo cual la instrucción en el salón de clases tuvo lugar enteramente en español, con la enseñanza de inglés a nivel de conversación como un área por separado. Para los 45 estudiantes, el español era su idioma materno. Información correspondiente a estudiantes participantes por género y nivel de rendimiento en matemáticas que utilizaron un examen normalizado con referencia a criterio se presenta en la Tabla 1.
Una tercera parte de los estudiantes había residido en los Estados Unidos menos de 3 años; el resto de los estudiantes eran provenientes de México y/o Centro América. La mayoría de ellos no había asistido a la escuela en sus países de origen. Los niños inmigrantes en edad de asistir a la escuela en los grados segundo y tercero, a menudo tenían una asistencia escolar esporádica en sus países de origen. Por lo tanto, además de esta pérdida de potencial lingüístico, estos estudiantes se encontraban aún bajo la influencia del proceso
Tabla 1. Estudiantes participantes: por género y nivel de rendimiento en matemáticas basados en un examen normalizado con referencia a criterio
de adaptación cultural a la sociedad norteamericana, y esto incluía naturalmente su relación con la escuela.
Materiales
De un manual para el maestro y de libros de trabajo suplementarios que acompañaban los diferentes tipos de manipulativos empleados para la enseñanza de las matemáticas, el grupo de estudio modificó varias tareas de aprendizaje para la utilización de estos manipulativos con el propósito de adaptarlos a las necesidades de los alumnos. Las actividades fueron rediseñadas para cubrir los siguientes requisitos:
1. Las tareas debían englobar principios y conceptos matemáticos importantes.
2. Las tareas debían ser apropiadas para niños de poca edad, y de un nivel promedio en matemáticas para los niveles desde parvulario hasta tercero del nivel primario.
3. Las tareas no debían haber sido directamente enseñadas ni practicadas por los maestros con anterioridad.
4. Tanto el proceso como el producto de las tareas a resolver debían de ser visibles y aparentemente calificables.
5. Las tareas debían parecer suficientemente desafiantes y motivadoras para los grados designados de modo que pudieran anticiparse múltiples etapas de práctica para cada estudiante antes de alcanzar el dominio en las tareas.
6. Las tareas podían ser terminadas eficientemente con un mínimo de indicaciones por parte del maestro y con relativamente pocos manipulativos de instrucción.
El estudio comenzó con el desarrollo de 35 tareas. Sin embargo, después de tres meses de pruebas piloto, ese número se redujo a 14 tareas claves a examinar. A través de las pruebas piloto se identificaron imprecisiones en la designación inicial de tareas para cada nivel. De estas 14 tareas finales, 7 fueron más apropiadas
para párvulos; únicamente 2 para segundo grado y 5 para tercer grado. Si se hubiera tenido la oportunidad de haber incluido al primer grado, varias de las tareas para el nivel parvulario podrían haber sido más apropiadas para el primer grado. Sin embargo, debido a que la examinación final se llevó a cabo en los meses de marzo y abril, varios de los estudiantes a nivel parvulario rindieron académicamente en forma similar a sus compañeros del primer grado.
Las 14 tareas se identificaron de acuerdo al nivel y conceptos matemáticos claves y las habilidades relacionadas con cada tarea. Las indicaciones ilustradas y los materiales para cada una de las 14 tareas se presentan en el Apéndice 1.
Calificación de la tarea
El desempeño en la realización de las tareas por parte de los estudiantes fue calificado de acuerdo a los cuatro criterios descritos anteriormente: (1) El entendimiento conceptual, (2) las estrategias válidas y eficientes, (3) la precisión y (4) la fluidez intercorrelacionada. El desempeño en la realización de las tareas cubrió tanto el proceso de la resolución de problemas como la solución final. Cada criterio recibió puntuaciones en una escala ordinal entre 1 y 5. Los primeros tres criterios usaron la misma escala, pero el cuarto criterio requirió una escala diferente. A continuación se detallan los cuatro criterios y sus escalas: (a)El entendimiento conceptual, (b)el uso de estrategias válidas y efectivas, y (c) la precisión en la finalización de la tarea. — [Escala: 1 = ninguna o casi nada; 2 = únicamente un poco; 3 = algo o parcialmente; 4 = la mayoría, casi toda; 5 = Completamente satisfecha]; y (d) la fluidez y rapidez en la finalización de la tarea. — [Escala: 1 = muy despacio y sin fluidez; 2 = algo despacio y sin fluidez; 3 = adecuada/rapidez y fluidez promedio; 4 = buena rapidez y fluidez. 5 = muy buena/rapidez y fluidez excelentes.]
Debido al múltiple criterio de calificación, a todos los estudiantes se les pidió que intentaran terminar la tarea completamente. Por esta razón, si los estudiantes no continuaban con la tarea, se les daban sugerencias mínimas en forma de preguntas_con el propósito de ayudarles a enfocarse en los rasgos relevantes de la tarea. Tales sugerencias por parte del examinador fueron registradas en la hoja de calificaciones y sirvieron para regular la calificación final.
Procedimiento
Durante 90 días, dos estudiantes de maestría de un programa bilingüe pilotearon las tareas matemáticas con el uso de manipulativos. Este plan piloto incluyó 15 estudiantes hispanos que asistían a un programa bilingüe en una escuela diferente adonde este estudio se llevó a cabo. Este grupo piloto tuvo las mismas características del grupo principal en su estructura, la cual consistía en números similares de estudiantes de acuerdo al nivel de rendimiento (alto, mediano y bajo), tal como fueron nominados por sus maestros. Durante esta fase piloto se mejoraron las instrucciones, la estructura de las tareas a examinarse y los procedimientos en la calificación. También durante esta fase piloto, y con 15 estudiantes, se determinaron los coeficientes de confiabilidad entre las tareas y sus elementos en un período de tres días usando las versiones finales de las tareas y las hojas de registro de las examinaciones. Para establecer la re-examinación de las tareas, se examinó a cada estudiante dos veces con cuatro tareas diferentes. Estas tareas fueron seleccionadas con la ayuda del maestro y tomando en cuenta que fuesen tareas suficientemente retadoras para los estudiantes.
Siguiendo la evaluación de la prueba piloto y sus revisiones, las tareas a evaluarse fueron presentadas a un grupo seleccionado de 45 participantes. Todas las instrucciones fueron en español. Tres de las cuatro tareas fueron escogidas para cada estudiante, dependiendo de la rapidez con que estos estudiantes eran capaces de trabajar. Tres de las cuatro tareas fueron presentadas a cada estudiante individualmente dentro de una sesión regular (50 minutos). La administración de cada tarea requirió aproximadamente de 3 a 5 minutos. Después de un lapso de dos a tres semanas, versiones equivalentes de las mismas tareas fueron administradas de nueva cuenta a todos los estudiantes.
Re-examinación de la confiabilidad.
La re-examinación de la confiabilidad de las pruebas fue establecida durante la fase piloto. En esta fase participaron 15 estudiantes hispanos. Las expectativas de las medidas psicométricas fueron diferentes para estas tareas con el uso de manipulativos, de las que hubieran sido empleadas en un examen normalizado. El grado de precisión en estas tareas de matemáticas con el uso de manipulativos fue "dinámico", como lo evidencia la situación en que, por ejemplo, los examinadores proveyeron sugerencias a los estudiantes y en donde los estudiantes podrían haberse esperado para reforzar sus conocimientos en el período de examinación. Este fenómeno de aprendizaje puede ocurrir aun cuando el estudiante no haya recibido retroalimentación y/o a partir de la corrección de su respuesta final. De hecho, una ventaja en este tipo de evaluación dinámica es la habilidad del estudiante de aprender mientras se le examina (Lidz, 1987). Dado que nuestros estudiantes pueden aprender en formas distintas a las sugerencias del examinador, se esperó obtener puntuaciones bajas en la confiabilidad reexaminada.
Los coeficientes de confiabilidad obtenidos de un rango ordenado simple (coeficiente de contingencia), fueron moderadamente fuertes (.69 - .77). Sin embargo, cuando éstos fueron corregidos con base en irregularidades en la escala (Cramer's V), los coeficientes de confiabilidad fueron bajos (.48 - .71). Finalmente, cuando el nivel de acuerdo fue corregido en forma conservadora empleando la fórmula de Cohen Kappa (Cohen, 1960), el resultado de los coeficientes varió. Esta variación fue de fuerte a débil (.74 - .32). Los valores del coeficiente de Kappa oscilaron entre el .40 y el .75, lo que representa una situación de acuerdo entre muy buena y buena (Fleiss, 1981).
Dificultad de la tarea
La segunda interrogante de la investigación versó sobre el grado de dificultad de las tareas de matemáticas con el uso manipulativos para los alumnos que participaron en esta investigación. La literatura investigada no ofrece tal información básica, aunque el uso de manipulativos en matemáticas es comúnmente recomendado. En este caso se examinó la dificultad de la tarea en forma separada para la primera y la segunda examinación por un período de 3-4 semanas. Aquí, nuestro índice de dificultad en la tarea fue un simple promedio de los cuatro criterios empleados (el entendimiento conceptual; El uso de estrategias efectivas; La precisión en la terminación de la tarea; y la fluidez y rapidez en la tarea finalizada). Los resultados se presentan en la Tabla 1.
Las tareas con el uso de manipulativos proveyeron desafíos para los estudiantes. Para la primera examinación, el nivel de dificultad en general fue similar para los tres grados examinados. Las examinaciones de acuerdo al nivel estuvieron más cerca de una puntuación de 3 (algunos, parcialmente) que a una de 4 (la mayoría, principalmente). El nivel parvulario reportó un promedio de 3.04. El segundo grado reportó 3.30, y el tercer grado un promedio de 3.25. Durante la segunda evaluación, los estudiantes encontraron las tareas algo menos difíciles: nivel parvulario = 3.37, segundo grado = 3.73, y tercer grado = 3.62.
De las 14 tareas, el promedio de rendimiento académico de parte de los estudiantes mejoró en doce de ellas y se deterioró en dos. De las 12 tareas en que se mejoró el rendimiento, el progreso en las habilidades académicas fue estadísticamente significativo únicamente para seis de estas 14 tareas. El rango de efecto de estos incrementos fue desde menor (una tercera parte de desviación normalizada), a mayor (cerca de una desviación normalizada completa). De acuerdo a estudios realizados a este respecto, un efecto de tamaño entre .40 a .50, o mayor, se considera suficientemente grande y prácticamente significativo para medir el rendimiento escolar (Hedges, & Olkin,1985; Wolf, 1986). Significativamente, las tareas mejoradas no pertenecieron a un mismo grado. Las dos tareas en las cuales se deterioró el rendimiento fueron las pertenecientes al nivel parvulario y al tercer grado. El progreso de las tareas no pudo predecirse a partir del nivel inicial de desarrollo.
Relación entre las Cuatro Puntuaciones de la Sub-Examinación
Para calificar ambos, la respuesta del estudiante o el producto y el proceso en la resolución del problema que usó el estudiante, se necesitó más de una escala. Aunque las escalas de calificaciones múltiples se recomiendan comúnmente, la literatura publicada sobre evaluación alternativa no describe exactamente la relación entre sus partes, es decir, entre sus escalas separadas.
Se examinaron las intercorrelaciones entre las puntuaciones de rendimiento de los cuatro criterios: El entendimiento conceptual, el uso de estrategias efectivas, la precisión en la terminación de la tarea y la fluidez y rapidez en la tarea finalizada. Antes de analizar la información recopilada, todos las puntuaciones dentro de las
Figura 1. Agrupación arborizada para la interrelación de cuatro puntuaciones en las tareas para el nivel parvulario, el segundo y el intercer grado de primaria.
Componentes de las intercorrelaciones a nivel parvulario
26 Estudiantes 7 Tareas
Componentes de las intercorrelaciones a nivel de segundo grado
10 Estudiantes 2 Tareas
Componentes de las intercorrelaciones a nivel de tercer grado
9 Estudiantes 5 Tareas
*Nota: Los numerales en la agrupación arborizada son coeficientes de correlación basados en la formula de Pearson.
*Entendimiento Conceptual = el entendimiento conceptual; la precisión = precisión en la finalización de la tarea; la fluidez= la fluidez y la rapidez en la terminación de la tarea; Estrategias eficientes= el uso de estrategias válidas y efectivas.
tareas fueron normalizadas. Esto se hizo con el propósito de controlar las diferencias en el grado de dificultad de las tareas. Los análisis jerárquicos por agrupación de intercorrelación de matrices se llevaron a cabo para todas las tareas en conjunto, así como para cada una de ellas. Estas agrupaciones que se muestran en la Figura 1, presentaron resultados similares para tareas diferentes dentro de un mismo grado, aunque también patrones bastante diferentes de agrupación de un grado a otro.
A nivel parvulario, las puntuaciones en los cuatro criterios estuvieron todas fuertemente intercorrelacionadas. Las dos agrupaciones más coherentes fueron: (a) Fluidez + estrategias eficiente, y (b) entendimiento conceptual + precisión en el desarrollo de la tarea. En el ámbito de segundo grado, las cuatro habilidades fueron desde moderada hasta fuertemente intercorrelacionadas. Las agrupaciones de puntuaciones para el segundo grado fueron diferentes de las del nivel parvulario. Para el segundo grado, fluidez + precisión formaron el grupo más coherente, el cual fue seguido por entendimiento conceptual + estrategias eficientes. A nivel del tercer grado, únicamente una agrupación fue identificada como muy unida (r = .96). Esta agrupación fue identificada como fluidez + precisión. Los otros dos criterios fueron únicamente moderadamente correlacionados. En general, parece haber una gran diferenciación en los componentes de las habilidades cuando estas últimas transcurren a través de los primeros niveles. Por ejemplo, la relación entre fluidez y precisión se hace más acentuada. En otras palabras, los estudiantes que resolvieron las tareas rápidamente y con fluidez, fueron también más capaces de obtener la respuesta correcta.
Patrones de cambio en puntuaciones de criterios de sub-examinación
Se examinó con anterioridad el mejoramiento en general de puntuaciones promedio de la primera a la segunda examinación. La siguiente pregunta examinó patrones de mejoramiento entre las cuatro puntuaciones de criterio de sub-examinaciones. Los investigadores se preguntaron si los índices de las cuatro puntuaciones de criterio de sub-examinaciones cambian juntos, o si el mejoramiento en un criterio tiende a influenciar a los otros. Los patrones de puntuaciones a los tres niveles o grados tuvieron similitudes y diferencias. En todos los niveles, los estudiantes obtuvieron mayores puntuaciones en el renglón de entendimiento conceptual. En el nivel parvulario, la fluidez fue también calificada como alta y las estrategias eficientes como la más baja. En el segundo nivel, las estrategias válidas y eficientes, la precisión y la fluidez fueron calificadas en forma similar. En el tercer grado, las estrategias eficientes fueron calificadas como las segundas más altas seguidas por precisión y fluidez.
Los patrones de mejoramiento de la primera a la segunda examinación parecen relativamente consistentes a lo largo de las habilidades y los niveles escolares. Una excepción menor fue el promedio relativamente mayor en precisión y fluidez por parte de los estudiantes del tercer grado. Sin embargo, estos incrementos en los promedios deben interpretarse a la luz de las distribuciones de puntuaciones dispersas más que a la de un grado más alto (error normalizado del promedio).
Desarrollo en las sub-escalas de las habilidades generales en matemáticas
Para un nuevo instrumento de evaluación, al demostrar confiabilidad relacionada a los criterios, ésta debe relacionarse bien con medidas de una naturaleza similar. Sin embargo, cuando el objetivo y los exámenes de criterio requieren substancialmente diferentes tipos de desarrollo, generalmente se obtienen coeficientes más pequeños de validez. Para relacionar los niveles generales en matemáticas con puntuaciones de tareas basadas en el uso de manipulativos, primero se normalizaron las puntuaciones dentro de cada grado para controlar diferencias entre grados así como la dificultad en las tareas. Más tarde, todos los grados se combinaron para el análisis. Se condujo un análisis factorial mixto de medidas repetidas (ANOVA) con los criterios de puntuación como las medidas repetidas (con cuatro niveles) y el nivel general de habilidad en matemáticas como la variable general de agrupación con tres niveles (alto = 15; medio = 16; bajo = 14).
Los resultados del ANOVA produjeron un gran efecto principal para el nivel general de habilidad en matemáticas: [F(2 df) = 6.209, (p = .0043]. Sin embargo, el efecto principal para el tipo de puntuación de criterios no fue significante: [F(3 df) < 1, (p = .99)]. No se encontró interacción significativa entre estas dos variables: [F(6 df) = .294, (p = .93)].
También se demostró que las puntuaciones de las sub-examinaciones con el uso de manipulativos separaron nítidamente el nivel bajo de habilidades en matemáticas de los niveles medio y alto. Resultó así mismo interesante que los estudiantes en el nivel medio de habilidades fueron los mejores en la utilización de estrategias eficientes, aunque un análisis post-hoc probó que esta diferencia entre los grupos medio y alto fue demasiado pequeña para ser considerada estadísticamente significativa. Así mismo, se demostró a cada grado un desarrollo relativamente constante a través de los cuatro índices de criterios de sub-examinaciones, especialmente para los estudiantes en el grupo de bajo aprovechamiento.
Como se ha indicado anteriormente, esta investigación fue un estudio exploratorio del empleo de evaluación basada en el uso de manipulativos en 45 estudiantes en proceso de adquisición del inglés como segunda lengua y en los niveles parvulario, segundo y tercero de nivel primario. De acuerdo a la literatura publicada, los manipulativos ofrecen varios beneficios potenciales: (a) los conceptos abstractos pueden ser demostrados en términos concretos; (b) las modalidades múltiples, incluyendo táctil y cinestética, son aplicadas en la resolución de problemas; (c) el proceso incluye la resolución de problemas así como la respuesta final que puede registrarse y (d) los estudiantes sin un sólido dominio en el idioma tienen una oportunidad mejor para triunfar. A pesar de estos beneficios, existe poca evidencia empírica en el uso de manipulativos con estudiantes hispanos que tienen un dominio limitado en inglés. En este estudio se tuvo especial interés en la conducta psicométrica de estas tareas basadas en el uso de manipulativos, su confiabilidad y validez, y en cómo rindieron académicamente los estudiantes hispanos. Aun cuando la muestra de estudiantes que participó en este estudio fue reducida, ésta fue estratégicamente seleccionada para permitir varios análisis reveladores.
El diseño de las tablas de registro apropiadas demandó considerables evaluaciones piloto. De 35 tareas iniciales, sólo 14 fueron empleadas. Por consiguiente, la conversión de una tarea apta para ser enseñada a una tarea examinable no fue automática, como muchos podrían esperar. Después de un largo y minucioso análisis, varias tareas iniciales parecieron ser superficiales porque, por ejemplo, no reflejaban o conceptos matemáticos importantes y relevantes o procesos valiosos para su examinación y evaluación.
Una confiablidad moderadamente fuerte de la re-examinación se obtuvo en 12 de estas tareas sobre un período de re-examinación de 3 días, aun cuando a nivel parvulario se obtuvo un nivel de confiabialidad ligeramente más bajo que para niños de segundo y tercer grado. Estos coeficientes de confiabilidad obtenidos fueron mucho mejores de lo que el equipo de investigación había anticipado; esto se debió a que los examinadores proveyeron diferentes niveles y tipos de sugerencias para que los estudiantes examinandos pudieran finalizar las tareas. Tal vez el gran dilema en la calificación continúa siendo el tratamiento confiable de sugerencias idiosincrásicas, las cuales deben ocurrir en este tipo de examinación y evaluación dinámicas.
Las tareas de matemáticas basadas en el uso de manipulativos demostraron ser un reto para los estudiantes hispanos con un dominio limitado en el idioma inglés, a pesar del hecho de que ellos habían practicado con el uso de manipulativos en el salón de clases y habían tenido continuo acceso a éstos. Los estudiantes mejoraron significativamente en seis de las 14 tareas presentadas en un período de re-examinación de 2 a 3 semanas sin objetivo alguno de instrucción. Este progreso pudo haberse debido posiblemente a las sugerencias ocasionalmente recibidas durante la primera examinación o a un descubrimiento iniciado por el propio estudiante en el salón de clases.
El interrogante de esta investigación acerca de la interrelación entre los cuatro criterios de puntuación pareció favorecer el desarrollo de una hipótesis. En tercer grado, las habilidades cambiaron de "muy interrelacionadas" a "altamente diferenciadas." En efecto, la combinación de fluidez y precisión se transformó en "más relacionada" y casi se acercó a la unidad (r = .96) para tercer grado. Estos resultados previenen contra el pronunciamiento a través de los grados acerca de cómo reaccionan los estudiantes al usar manipulativos en matemáticas. Para tercer grado, la fluidez implicó precisión a tal punto que las puntuaciones separadas fueron ampliamente redundantes. Sin embargo, a nivel parvulario, la variable fluidez implicó precisión con menos probabilidad. Por consiguiente, se sugiere que las tareas de matemáticas con el uso de manipulativos pueden funcionar distintamente en diferentes estados de desarrollo; y una investigación futura deberá ser sensible a esta probabilidad.
El equipo investigador también estuvo interesado en cómo cambiaban las sub-habilidades, juntas o separadas, cuando una sub-habilidad influía en la otra.
Dos períodos de examinación no proveyeron una oportunidad ideal para definir el cambio a través del tiempo; sin embargo, se pudieron establecer algunas conclusiones generales. Si las habilidades cambiaban en forma no uniforme, tal vez una sub-habilidad puede servir como un indicio de aprendizaje diagnósticamente utilizable a posteriori. Una adquisición ordenada de sub-habilidades podría también proveer sugerencias para una secuencia instruccional o cambio de enfoque. Sin embargo, los resultados obtenidos no apoyaron esta hipótesis. Los cambios de la primera a la segunda evaluación fueron relativamente uniformes a través de las cuatro sub-puntuaciones de criterio. Solamente alguna diferenciación apareció en el tercer grado, donde se obtuvo mayor fluidez y precisión en comparación a estrategias eficientes y entendimiento conceptual. Este fenómeno puede describirse como una rápida solución a la que los estudiantes llegaron sin mostrar en forma concomitante mayor entendimiento. En ese caso, los estudiantes podrían estar tratando a los manipulativos como herramientas artificiales más que como conceptualmente significativas, como se había planeado.
Acerca de la pregunta de validez con referencia al criterio de las tareas de matemáticas basadas en el uso de manipulativos, la evidencia la apoyó en mediana medida. La medida de criterios fue una evaluación de habilidades matemáticas tradicionalmente amplia, principalmente de opción múltiple, que había sido normada por el distrito escolar. Sin embargo, las tareas basadas en el uso de manipulativos no fueron capaces de diferenciar entre medianos (39-58) y altos (70-87) porcentajes, a pesar de haber encontrado esta clara diferenciación en la literatura. Esto puede sugerir que las tareas basadas en el uso de manipulativos son más sensitivas a las habilidades de los estudiantes de bajo rendimiento y que pueden ser así mismo mejor empleadas con estos estudiantes.
Siendo el presente estudio una investigación inicial en el comportamiento de tareas de matemáticas basadas en el uso de manipulativos, se encontraron más preguntas que posibles respuestas aun en el caso de resultados definitivos. El número de estudiantes en este estudio (N) fue demasiado limitado para originar resultados confiables y válidos. Sin embargo, algunas suposiciones comunes no fueron confirmadas por este estudio; (a) las tareas no fueron totalmente validadas (por una medida externa) para los estudiantes de aprovechamiento alto y mediano; (b) las sub-habilidades de criterios de entendimiento conceptual_el uso eficiente de estrategias, la precisión y la fluidez parecieron mejorar todas al unísono, en vez de en una secuencia lógica; (c) estas mismas sub-habilidades de criterios no covariaron de la misma manera a través de los tres grados. Por ejemplo, la escala de fluidez podía haber medido algo muy diferente en el tercer grado que en el nivel parvulario.
Dado que el grupo investigador fue capaz de obtener un índice moderado de confiabilidad entre examinadores para la calificación de tareas basadas en el uso de manipulativos, y que también se pudieron administrar estas tareas a la muestra de estudiantes hispanos en proceso de adquisición del idioma inglés, se indica que este tipo de tareas es apropiado para estudios experimentales. El equipo investigador duda de los resultados caprichosos a partir de muestras pequeñas, y busca y recomienda un estudio de réplica con una muestra más amplia. Como estudio exploratorio, este estudio ha cumplido su propósito poniendo al descubierto algunas cuestiones con implicaciones dentro del salón de clase. Sin embargo el discutir las implicaciones en detalle sería sobrevaluar, a este punto, los resultados de nuestro estudio ya que primeramente se precisa replicarlo.
Alexander, L., & James, H. T. (1987). The nation's report card. Cambridge, MA: National Academy of Education.
Bird, T. (1990). The school teacher's portfolio: An essay on possibilities. In J. Milan, & L. Darling-Hammod (Eds.), Evaluation: Assessing elementary and secondary school teachers (pp. 241-256). Newborn Park, CA: Sage.
Bohan, H. (1995). Math manipulatives. Mathematics. Boston, MA: Houghton Mifflin.
Briars, D. B., & Larkin, J. H. (1984). An integrated model of skill in solving elementary word problems. Cognition and Instruction, 1 (3), 245-296.
Carpenter, T. P., & Moser, J. M. (1982). Young children are good problem solvers. Arithmetic Teacher, 30, 24-26.
Carpenter, T. P., & Moser, J. M. (1983). The acquisition of addition and subtraction concepts. In R. Lesh, & M. Landau (Eds.), Acquisition of mathematics: Concepts and processes (pp. 7-44). New York: Academic Press.
Carpenter, T. P., & Moser, J. M. (1984). The acquisition of addition and subtraction concepts grades one through three. Journal of Research in Mathematics Education, 15 (3), 179-202.
Carpenter, T. P., Fennema, E., Fuson, K., Heibert, J., Human, P., Murray, H., Olivier, A., & Wearne, D. (1994). Teaching mathematics with understanding in the primary grades. Unpublished paper presented at the annual meeting of the American Educational Research Association, New Orleans, LA.
Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20, 37-46.
Cole, M., & Griffin, P. (Eds.). (1987). Contextual factors in education: Improving science and mathematics education for minorities and women. Madison, WS: Center for Education Research, University of Wisconsin, Madison.
Cziko, G. A. (1992). The evaluation of bilingual education: From necessity and probability to possibility. Educational Researcher, 21, 10-15.
D'Ambrosio, U. (1987). Etnomatemática: Raices socio-culturales de Arte o Técnica de Explicar e Conhece. Campaigns, UNICAMP.
Dale, T. C., & Cuevas, G. A. (1987). Integrating language & mathematics learning ESL through content-area instruction: Mathematics, sciences, social studies, language. Education Theory and Practice. (Report No 69). Office of Educational Research and Improvement. (ERIC Document Reproduction Service No. ED283387)
Dean, A. L., & Malik, M. M. (1986). Representing and solving arithmetic word problems: A study of developmental interaction. Cognition & Instruction, 3, 221-228.
Dossey, J. A., Mullis, I. V. S., Lindquist, N. M., & Chambers, D. L. (1988). The mathematics report card: Are we measuring up? Princeton, NJ: Educational Testing Service, National Assessment of Educational Progress.
Fleiss, J. L. (1981). Statistical methods for rates and proportions. New York: Wiley.
García, E. (1988). Attributes of effective schools for language minority students. Education and Urban Society, 2, 387-398.
García, E. (1991). The education of linguistically and culturally diverse students: Effective instructional practices. (Educational Practice Report No. 1). Santa Cruz, CA and Washington, DC: National Center for Research on Cultural Diversity and Second Language Learning.
Gentry-Norton, B. (1995). Assessment. Mathematics. Boston, MA: Houghton Mifflin.
Gullickson, A. R. (1982). The practice of testing in elementary and secondary schools. (ERIC Document Reproduction Service No. 229391)
Hambleton, A. R., & Swaminathan, H. (1985). A look at psychometrics in the Netherlands. Paper presented at the joint meeting of the AERA and the National Counsel on measurement in Education. Chicago, IL. (ERIC Document Reproduction Service No. 273665)
Haycock, K., & Navarro, M. S. (1988). Unfinished business: Fulfilling our children's promise. A report for the Achievement Counsel. (ERIC Document Reproduction Service No. 299025)
Hedges, L. V., & Olin, I. (1985). Statistical methods for meta-analysis. Orlando: Academic Press.
Henderson, R. W., & Landesman, E. M. (1992). Mathematics and middle school students of Mexican descent: The effects of thematically integrated instruction. University of California, Santa Cruz. National Center for Research on Cultural Diversity and Second Language Learning.
Kennedy, M. M., Birman, B. F., & Demaline, R. E. (1986). The effectiveness of chapter I services. Washington, DC: Government Printing Office.
Kintsch, N., & Greeno, J. G. (1985). Understanding and solving word arithmetic problems. Psychological Review, 92 (1), 109-129.
LaCelle-Peterson, M., & Rivera, C. (1994). Is it really real for all kids? A framework for equitable assessment policies for English language learners. Harvard Educational Review, 64, 55-75.
Lam, T. C. M. (1992). Review of practices and problems in the evaluation of bilingual education. Review of Educational Research, 62, 181-203.
Laosa, L. M., & Henderson, R. W. (1991). Cognitive socialization and competence: The academic development of Chicanos. In R. Valencia (Ed.), Chicano school failure and success: Research and policy agendas for the 1990s. London: Falmer.
Learning English through bilingual instruction. Final report submitted to the National Institute of Education, University of California. Berkeley. (ERIC Document Reproduction Service No. ED 259579)
Lidz, C. S. (1987). Dynamic assessment. New York: The Guilford Press.
Linn, R. L., Baker, E. L., & Dunbar, S. B. (1991). Complex performance-based assessments: Expectations and validation criteria. Educational Researcher, 20 (8), 15-21.
MacCorquodale, P. (1988). Mexican-American women and mathematics: Participation, aspirations, and achievement. In R. R. Cocking, & J. P. Mestre (Eds.), Linguistic and cultural influences on learning mathematics (pp. 137-160). Hillsdale, NJ: Eribaum.
Massey, W. E. (1989). Science education in the United States: What the scientific community can do. Science, 2 (45), 915-921.
Moll, L. D., & Diaz, S. (1987). Change as the goal for educational research. Anthropology and Education Quarterly, 18, 300-311.
Murnane, R. J., & Raizen, S. A. (1988). Improving indicators of the quality of science and mathematics education in grades K-12. Washington, DC: National Academy Press.
Natriello, G. (1986). School dropouts: Patterns and policies. New York: Teachers College Press, Columbia University.
National Council of Teachers of Mathematics. (1995). Assessment standards for school mathematics. Reston, VA: The Council.
Nunes, T. (1992). Cognitive invariants and cultural variation in mathematical concepts. International Journal of behavioral Development, 15 (4), 433-453.
Orr, E. W. (1987). Twice as less: Black English & the performance of Black students. Mathematics and science. New York: Norton.
Orum, L. S. (1986). The education of Hispanics: Status and implications. Washington, DC: National Council of La Raza.
Pimm, D. (1987). Speaking mathematically: Communication in mathematics classrooms. New York: Routledge & Kegan Pau.
Policy Analysis for California Education, (1990). Conditions of education in California. Berkeley: Author.
Reilly, T. (1988). ESL through content-area instruction. ERIC Digest. Washington, DC: Center for Applied Linguistics.
Riley, M. S., & Greeno, J. G. (1983). Development of children's problem solving ability in arithmetic. In H. Ginbsburg (Ed.), The development of mathematical thinking (pp. 153-200). New York: Academic Press.
Riley, M. S., & Greeno, J. G. (1988). Developmental analysis of understanding language about quantities of solving problems. Cognition & Instruction, 5 (1), 49-101.
Riley, M. S., Greeno, J. G., & Heller, J. I. (1983). Development of children's problem-solving ability in arithmetic. In H. Ginsburg (Ed.), The development of mathematical thinking (pp. 153-196). New York: Academic Press.
Romberg, T. A., Zarinnia, E. A., & Collis, K. F. (1990). A new world view of assessment in mathematics. In G. Kulm (Ed.), Assessing higher order thinking in mathematics (pp. 21-38). Washington, DC: American Association for the Advancement of Science.
Salmon-Cox, L. (1981). Teachers and standardized achievement tests: What's really happening? Phi Delta Kappan, 62, 631-634.
Schmidt, W. H. (1983). Content bias in achievement tests. Journal of Educational Measurement, 20, 165-178.
Simmons, W. (1985). Social class and ethnic differences in cognition: A cultural practice perspective. In S. F. Chipman, J. Segal, & R. Glaser (Eds.), Thinking and learning skills (pp. 519-553, vol. 2.). Hillsdale, NJ: Eribaum.
Stiggins, R. J., & Bridgeford, N. J. (1985). The ecology of classroom assessment. Journal of Educational Measurement, 22 (4), 271-286.
Stiggins, R. J., Conklin, N. F., & Bridgeford, N. J. (1986). Classroom assessment: A key to effective education. Educational measurement: Issues and practice, (Summer), 5-17.
Stigler, J. W., & Barnaces, R. (1988). Culture and mathematics learning. In E. Z. Rothzopf (Ed.), Review of research in education (Vol. 15, pp. 253-306). Washington, DC: American Education Research Association.
Stone, C. A. (1989). Testing software review: Micro CAT Version 3.0. Educational Measurement: Issues and practice, 8 (3), 33-38.
Tharp, R. G. (1989). Psychocultural variables and constants: Effects on teaching and learning in schools. American Psychologist, 44, (2), 1-11.
Tikunoff, W. J. (Ed.). (1983). Teaching in successful bilingual instructional settings. San Francisco, CA: Far West Laboratory for Educational Research & Development.
Tindal, G. & Marston, D. (1990). Classroom-based assessment. Columbus, OH: Merrill.
Trueba, H. (1988). Culturally based explanations of minority students' academic achievement. Anthropology and Education Quarterly, 19, 270-287.
United States Department of Education. (1992). The condition of bilingual education: A report to the Congress and the President. Washington, DC.
Valencia, R. R. (1991). The plight of Chicano students: An overview of schooling conditions and outcomes. In R. R. Valencia (Ed.), Chicano school failure and success: Research and policy agendas for the 1990s. London: Falmer.
Wolf, F. M. (1986). Meta-analysis: Quantitative methods for research synthesis. Beverly Hills, CA: Sage.
Wong-Fillmore, L., Ammon, P., McLaughlin, B., & M. Ammon, (1985). Learning English through Bilingual Instruction. Final Report. Berkeley: California University Press.