Semejanzas y Diferencias Evaluación e Investigación

“Diferencias y semejanzas entre la investigación y la evaluación educativa”

¿Cuál artículo corresponde a una investigación?

1) Franco, C. (2006), Relación entre las variables autoconcepto y creatividad en una muestra de alumnos de educación infantil.

¿Y cuál a una evaluación?

2) López de la Madrid, M.C., Espinoza, A. y Flores, K. (2006). Percepción sobre las tecnologías de la información y la comunicación en los docentes de una universidad mexicana: EL Centro Universitario del Sur de la Universidad de Guadalajara

a) ¿Cuál es el objetivo principal en cada uno de los estudios?
En la investigación:
Caso 1 Demostrar la factibilidad de estimular y mejorar el autoconcepto de una muestra de alumnos de educación infantil, a través de un programa psicoeducativo para estimular la creatividad en los niños.
En la evaluación:
Caso 2 Realizar un estudio exploratorio para analizar la perspectiva de los docentes en relación con el uso de las tecnologías de la información en sus programas educativos.

b) ¿En qué reside su diferencia fundamental?
En el caso 1) Investigación de tipo cuantitativo, con los niños se aplica una hipótesis sujeta a comprobación, (que la capacidad creativa puede ayudar a mejorar el autoconcepto). Por lo tanto, el resultado es una aportación al conocimiento, “la importancia de desarrollar y estimular el potencial creativo lo más temprano posible en el desarrollo y en el nivel infantil, donde aún los niños pueden expresarse libremente,…ya que los logros creativos de una persona consituyen la base para un autoconcepto positivo”, siendo este factor la principal diferencia en relación con un trabajo de evaluación. Y, aunque también se emplea la evaluación al interior de la investigación, ésta se incorpora como parte global del proceso de investigación.

En el caso 2) El estudio exploratorio para evaluar la percepción de los docentes universitarios sirvió como elemento para diagnosticar sobre un estado de cosas, y de allí se produjo la necesidad de tomar algunas decisiones, como cambiar la algunas políticas en la universidad, la práctica educativa de los docentes, e implementar cursos de capacitación con este mismo propósito. La evaluación requirió de técnicas como la revisión documental para rescatar datos estadísticos, análisis de documentos oficiales. La evaluación arrojó un juicio de valor que permitió descubrir qué tipo de percepción tienen lo docentes universitarios en relación con el uso de las tecnologías y este juicio conduce a la acción en el interior de la Universidad. Por tratarse de investigación acción, la evaluación inmediatamente genera acciones transformadoras, como es el caso de los cursos de capacitación.

c) ¿Cuáles son las finalidades y condicionantes de cada estudio?
Caso 1 (Franco, 2006)

Finalidad es demostrar la factibilidad de estimular y mejorar el autoconcepto en una muestra de alumnos de educación infantil, a través de un programa psicoeducativo para la estimulación creativa de los niños. Es investigación básica y su propósito es contribuir a la construcción del conocimiento en el terreno de la creatividad y el autoconcepto infantil.
Condicionantes:
La relevancia que tendrá en el corto, mediano y largo plazo, para construir una nueva forma de entender la interrelación que existe entre creatividad y autoconcepto.

Caso 2(López, Espinoza y Flores, 2006)

Finalidad, aplicar directamente la evaluación a docentes de “carne y hueso”, en relación con el uso de las TIC’S. Definir cuál ha sido la percepción y el cambio de los docentes en el proceso de implementación de las tecnologías de la información en una Universidad de Guadalajara, en México.
Sus condicionantes son la búsqueda de mejora en los procesos de aprendizaje, específicamente en relación al uso de las TIC’S, en los programas académicos, por parte de los docentes.
El estudio diagnóstico, obedeció (se infiere), a una demanda de parte de las autoridades de la universidad y tenía la exigencia de responder a una necesidad de rendir cuentas sobre este particular.
d) ¿Podría reconstruir la pregunta de investigación en el estudio que no la tiene? (ubique la pregunta en la columna correspondiente)
Caso 1, la pregunta explícita, es:
¿El autoconcepto puede ser estimulado al implementar un programa psicoeducativo basado en cuentos y diseñado para el desarrollo de la creatividad?
¿Los niños sometidos a un programa de estimulación de la creatividad incrementarán su autoconcepto de modo positivo?
Caso 2, Las preguntas implícitas pueden ser:
¿Cuál es la percepción y las demandas de los docentes en torno al uso de las TIC’S?
Y,
¿Cómo podemos vencer la resistencia para incrementar el uso de TIC’S, como auxiliares de los programas académicos?

e) ¿Cómo se evidencia la complejidad en cada uno de los estudios?Caso 1
a) Es compleja, pero se puede acotar en torno a la pregunta que la origina.
b) Aborda habilidades de los niños (afectividad y creatividad), ambas dimensiones que “sintetizan”, (Menchen, 1999) las otras dimensiones del ser humano, así como la capacidad intelectual, (el individuo es complejo).
c) Al desarrollarse cognitivamente, también se desarrolla la afectividad y con ello el autoconcepto de los niños, lo cual se refleja en la forma de enfrentar al mundo y relacionarse con otras personas. (Estos cambios no son evidentes a simple vista). Esta relación entre las dimensiones no es lineal.
d) Compete al ámbito educativo, en donde ya no basta con transmitir información,(de modo lineal) sino crear ambientes de aprendizaje (más complejos).
e) Un solo aspecto a observar (el autoconcepto), se puede subdividir en 3 componentes (cognoscitivo, afectivo y comportamental), lo cual complica la observación para los investigadores.
f) Las dos variables: autoconcepto y creatividad se retroalimentan mutuamente. (aunque no todos los teóricos coinciden en cuál favorece a cuál).
g) El autoconcepto y la creatividad se modifican a través del desarrollo evolutivo de los sujetos. Y el mismo desarrollo es diverso.
h) La aplicación de distintos tipos de test para diversas variables (intelectual, creatividad, autoconcepto), lo cual no es un proceso sencillo.
i) La inmersión del investigador al campo, para tener contacto previo con los niños y desinhibir sus respuestas. La propia personalidad del investigador, cuando se entrecruza con la de los “investigados”, ya implica el complejo entrecruzamiento de intersubjetividades.
j) La multiplicidad de conocimientos (de diversas disciplinas) que deben manejar los investigadores (de modo simultáneo), especialmente psicoeducativos, para diseñar, aplicar e interpretar los distintos test y actividades de lectura previos y posteriores, para realizar el comparativo y determinar los resultados (psicología evolutiva, pedagogía, lenguaje y comunicación, estadística, técnicas de investigación).

Caso 2
a) Es más compleja que la investigación, porque se tiene que abordar desde diversos enfoques (en este caso se toman en cuenta las percepciones de los docentes implicados).
b) Al tratar de definir las categorías de análisis en torno a las percepciones docentes y las demandas del grupo.
c) En el manejo de la temporalidad. Primero, en la evaluación, establecer categorías, después descubrir percepciones, para determinar el estado de cosas y de manera simultánea, aplicar la investigación acción para transformar la percepción docente e incrementar el uso de las TIC’s en los programas académicos.
d) La interrelación que se da entre docentes, estudiantes, infraestructura, administración escolar, el crecimiento exponencial del uso y manejo de las tecnologías de la información y la comunicación, y, a pesar de ello poder delimitar el punto específico a evaluar.
e) La cantidad de elementos, factores y variables que intervienen para que se logre el principal objetivo de la universidad, en función del perfil de egreso de sus estudiantes: las “competencias necesarias para que los estudiantes se inserten satisfactoriamente en la fuerza productiva de la sociedad”, y, entre ellos, que la autoridad educativa defina que es importante el uso de las TIC’S, por parte de los académicos, como un medio para lograr dicho fin.
f) La mezcla de intersubjetividades entre los docentes de la Univ. De Guadalajara y los mismos investigadores con todo el entramado de conocimientos, experiencias, temores, expectativas…entre ellos.
g) La diversidad de técnicas que se tuvieron que aplicar al aplicar de modo simultáneo la evaluación y la investigación acción.
h) La selección de los docentes, a partir de sus diversas modalidades de contratación, la consideración de sus horarios, para contar con una visión más amplia del estado de cosas.
i) La complejidad administrativa de las instituciones de educación superior, (atender diversas demandas económicas en tiempos paralelos, carencia de espacios de formación permanente, obstáculos burocráticos para liberar gastos y asignar presupuestos, la velocidad con la cual se vuelven obsoletos los equipos de cómputo, la rotación y el envejecimiento del personal docente, lo cual limita el proceso de adaptación a los cambios tecnológicos.
j) Evaluar e incidir en un aspecto del proceso educativo no conlleva a la mejora directa de “las competencias de los alumnos para insertarse en las actividades productivas de la sociedad”.
k) No es suficiente con cambiar la percepción de los docentes en el uso de las TIC’S, sino, además dotarles de infraestructura, apoyo formativo y asistencia técnica, metodológica y didáctica permanente.

f) ¿Cuál es la importancia que se da al contexto en cada estudio?
Caso 1

Es importante, aunque no determinante (considero que igual pudo aplicarse en otro centro de educación infantil), empieza por recuperar el estado actual del conocimiento respecto a la creatividad y el autoconcepto. A su vez caracteriza al sujeto (niño de 5 a 5 años 11 meses).
Se refiere a un ambiente escolar, cuyo nivel educativo es de educación infantil en Almería, España .
Las condiciones de aplicación del programa (35 actividades), lectura de cuentos tradicionales.
La interacción entre el profesor (investigador) y el alumno en un clima de confianza, libertad y humor.


Caso 2
Es muy importante, porque el problema se está generando directamente en el CUSUR, (contexto específico), y es en este escenario en donde se debe aplicar la evaluación, los resultados dependen de dicho contexto. Además, debe evaluarse a los “principales protagonistas en el proceso educativo”, los docentes. Probablemente esta necesidad de incidir en la percepción tenía que ver con las bajas competencias de los estudiantes al insertarse al mercado productivo.
El contexto también es importante porque toma en cuenta su propia historia, es decir sus antecedentes (cómo se fue implementando el uso de las TIC’S en esta universidad). Y, por lo tanto se ve afectada por el contexto político. La vanguardia que han tomado los estudiantes en el uso de las TIC’s.. Además del uso creciente de la tecnología en otras universidades. La creciente y aún insuficiente infraestructura tecnológica del CUSUR.
El proceso de evaluación es de carácter político, por lo cual atañe directamente a la implementación de las TIC’S en el CUSUR, lo cual repercutirá en la toma de decisiones (aumentar presupuesto a infraestructura tecnológica, diseñar e implementar cursos de capacitación a los docentes, etc.).
.


g) ¿Cuál es la importancia que tienen las hipótesis en cada estudio?

Caso 1
Es la guía central que orientó el proceso, porque se cuidó que el programa que se iba a aplicar, cumpliera con las condiciones para dar seguimiento a este eje articulador y para llegar a los resultados: saber cómo “desarrollar y estimular el potencial creativo infantil”

Caso 2

Es importante, pero no determinante, ya que sirve de guía para saber ¿qué buscar, en dónde y cómo buscar? (la deduzco así):
El uso de las TIC’S por parte de los docentes, en los programas académicos impactan mejorando los procesos de enseñanza y aprendizaje.
Y, además:
Conocer la perspectiva de los docentes en cuanto al uso de las TIC’S en sus programas educativos, nos permitirá implementar acciones inmediatas para intervenir y fomentar el uso de dichas tecnologías.
Sin embargo, los hallazgos en la evaluación pueden modificar los preconceptos iniciales de los evaluadores, quienes deben tener amplia experiencia en el campo, para poder emitir juicios de valor bien fundamentados.

h) ¿Cuáles son las semejanzas y diferencias en el método empleado para cada estudio?
Semejanzas:

• Ambos tienen como función indagar sobre el estado de cosas de una situación educativa específica.
• En los dos casos se emplean técnicas de recuperación de información (aunque acordes al modelo de investigación, en el primero es experimental y en el segundo es estudio exploratorio y después, investigación acción).
• Si se tratara de 2 momentos en un continuum, entonces podrían ser complementarias.
• Se realizan incursionando directamente en ámbitos educativos (aunque la de los niños puede hacerse en cualquier otra institución, la de los maestros tiene que ser en ese lugar específico).
• Los investigadores se acercan a recuperar información directa de los sujetos protagónicos de la educación. (en el primer caso, los alumnos, en el segundo, los maestros).
• En ambos casos se generan categorías, se parte de ejes centrales de observación, recuperación de información y análisis de datos.
• En los dos estudios se hace una contextualización, incluyendo un breve marco teórico desde diversos autores, para conceptualizar los términos básicos, motivo del estudio (en el primero, creatividad, autoconcepto y en el segundo tecnologías de la información y la comunicación).
• Caracterizan al sujeto protagónico de la investigación. En el primer caso, el niño de 5 a 5 años 11 meses y en el segundo a los profesores universitarios (aunque en el caso de los docentes se especifican mucho más sus características, porque son sujetos concretos).
• Se delimita el problema o caso a estudiar, aunque en el primer estudio la delimitación es mayor, (en los dos estudios se refirió a una institución en particular, aunque en la primera no refiere el nombre, en la segunda sí lo especifica).
• En ambos casos hubo una selección de la muestra (en el primer caso niños de 5 años 0 a 5 años 11 meses, con CI de 60 y en el segundo 42 de los 320 docentes de la universidad). Aún cuando la muestra del estudio de los niños, no era tan relevante si se hacía en esa institución o en otra, en la evaluación sí era fundamental que la muestra fuera lo más representativa posible.
  Diferencias:
• La más importante, la investigación genera un avance en la construcción del conocimiento sobre la creatividad y el autoconcepto.
• La evaluación tiene una finalidad distinta, conocer “la percepción”, para la toma de decisiones en cuanto al uso de las TIC’S. es decir, para mejorar el uso de las TIC’S en los programas académicos.
• La evaluación tiene una aplicación práctica, es de utilidad para quienes toman decisiones en la universidad.
• Los procesos de evaluación dependen más del contexto, como en este caso se depende del tipo de profesores, de los antecedentes en el uso de las TIC’S, de las políticas institucionales, etc.
• La investigación aborda un problema en abstracto, la evaluación aborda un problema en términos de su evolución “real”.
• La investigación no deja ver la aplicación inmediata de sus resultados, mientras que la evaluación permitió que de modo simultáneo se aplicara la “investigación-acción”, para la mejora que se estaba necesitando.
• La investigación se abordó con métodos cualitativos y cuantitativos, se generó una hipótesis, se diseñó y aplicó un programa y se observaron las diferencias en los resultados del grupo “experimental” y los grupos “control” en la evaluación se determinó el aspecto a evaluar, para contar con información que ayudara a la toma de decisiones.
• En el primer caso se realiza en el terreno pedagógico (en la interacción de profesores y alumnos), a través de un método experimental, con pretest, postest, grupo experimental y grupos de control, se observan y registran las conductas.
• En el segundo se aplica la valoración de la percepción docente (opinión) a través de cuestionarios y se compara con lo que debiera ser (que los estudiantes están más adelantados que sus profesores en el uso de las TIC’S, que en otras universidades se trabaja en la virtualidad.
• En el primer caso, se aplicó un diseño “cuasiexperimental de grupos de control no equivalentes con doble pretest”. Es decir el grupo al que se aplicó la propuesta y 2 grupos de observación (sin este elemento), para comparar resultados..
• En el segundo caso se realizó investigación-acción participativa (porque al mismo tiempo que se conocía, se intervenía)
• En el primer caso se elaboró un informe de investigación, mientras que en la evaluación se realizan a su vez recomendaciones para los tomadores de decisiones..
• Las técnicas utilizadas, mientras en el primero se usaron los pretest y postest, en el segundo se emplea el análisis de documentos oficiales y cuestionarios.
• Los destinatarios de cada actividad son, en el 1º caso una comunidad científica abstracta y en el 2º caso, una comunidad política definida (autoridades educativas o “agentes” del CUSUR, y los mismos implicados, lo cual se infiere)
  
  i) ¿Reconoce algunas técnicas de recopilación de la información en cada estudio? ¿Cuáles?
  En el Caso 1: Baterías de diversas pruebas como la verbal de Torrance.
  Test psicológicos ( Pretest y Postest), como el de matrices progresivas de Raven
  Escalas de inteligencia, como la de Wechsler en Preescolar y Wppsi en primaria.
  
  Caso 2: Investigación documental (rescate de datos estadísticos)
  Análisis de documentos oficiales (informes, planes de desarrollo y planes de estudio)
  Aplicación de Cuestionario

j) ¿Reconoce algunas de las técnicas de análisis de los resultados? ¿Cuáles?
Caso 1: Se presentan los productos esperados en relación con la hipótesis del trabajo. Espera tener impacto en la comunidad académica, tratando de hacer evidente un hallazgo, para transformar la práctica docente.
Comparación de promedios, por medio de un análisis de covarianza, para evaluar el cambio producido por el programa. Para este análisis se utilizó el programa estadístico SPSS, versión 11.0 (Cabe señalar que Desconozco estos instrumentos).
También se empleó un análisis de varianzas (ANOVA), de cada variable en el postest.
Test de rangos múltiples o test de comparaciones múltiples para detectar entre qué grupos hubo diferencias.

Caso 2:
Análisis estadístico de los datos.
Diagnóstico de resultados a partir de la cuantificación de datos y presentación estadística. Interpretación de resultados y Análisis deductivo. Y, principalmente recomendaciones inmediatas para la acción y otras sugeridas para acciones posteriores.

k) ¿Se pueden identificar los destinatarios en cada uno de los estudios? ¿Son diferentes?
Caso 1: Comunidad científica de modo directo, en abstracto (probablemente docentes de educación inicial y preescolar).
En ambos casos se ubican en el espacio educativo, pero cada uno tiene sus peculiaridades.
Caso 2: Patrocinadores del programa (agentes), Autoridades universitarias, autoridades educativas, beneficiarios, (comunidad académica),implicados en el programa (docentes universitarios), personas concretas. De manera secundaria, la comunidad científica.

l) ¿Se pueden inferir los efectos educativos o sociales que tendrán los resultados de cada estudio?
Caso 1:

En esta investigación queda claro que tanto la creatividad como el autoconcepto se relacionan entre sí. Además concluye en que es el profesor quien debe reconocer al niño como un ser individual y hacer que se interrelacione en un clima de confianza, afecto y empatía, a través de una metodología de enseñanza flexible y participativa. A partir de aquí los efectos educativos y sociales tendrán relación con el cuidado que el profesor ponga en el clima educativo y en la promoción del autoconcepto positivo y de la creatividad. Aunque la aportación es más de índole teórica que práctica.

Caso 2:

El efecto se observó de manera inmediata, a través del diagnóstico inicial (evaluación), lo cual sirvió para emitir las primeras recomendaciones para el diseño e implementación de cursos. Sin embargo otros efectos se irán dando en el mediano y largo plazo: dotar de mayor infraestructura, brindar asistencia técnica, metodológica y didáctica a los docentes.
Seguramente continuará el impulso entre colegas (docentes del CUSUR).
Las autoridades del CUSUR, probablemente mantengan el impulso para dotar tecnología, de cursos de capacitación y de otros incentivos a los docentes que empleen las TIC’S en sus programas académicos.

m) ¿Cuáles son los conocimientos y habilidades que deben tener los agentes (investigadores o evaluadores) para conducir los estudios que han sido analizados?
Investigadores:

En general deben contar con diversas competencias (habilidad, conocimiento, actitud y destrezas) en:
Psicología evolutiva (en especial), del infante, pedagogía, práctica docente, experiencia en la investigación experimental, conocimientos sobre diversos tipos de pruebas propias de la edad infantil (intelectuales, verbales, de creatividad), conocimiento y prácticas estadísticas, experiencia en la aplicación de pruebas, conocimientos sobre creatividad, capacidad para la búsqueda y selección y análisis de información, competencia comunicativa para redactar informes escritos, facilidad para planificar, capacidad para elegir y delimitar el campo de la investigación, conocimiento y manejo de técnicas para estudios experimentales. Y, en general conocimientos y experiencia en el campo de la investigación educativa y de las normas con la que ésta se rige.

Evaluadores:

Competencias más complejas, sobre lo siguiente:
Habilidad para manejarse con habilidad en un contexto complejo como es el terreno educativo universitario.

Amplias competencias comunicativas, orales y escritas (para relacionarse con los involucrados y para rendir el informe y recomendaciones escritas).
Conocimientos básicos y manejo conceptual sobre el uso de las Tecnologías de la Información y la Comunicación, Capacidad para interpretar la solicitud de las autoridades universitarias en relación con el tipo de evaluación que les solicitaron; capacidad para delimitar el campo de la evaluación (variables), conocimiento y experiencia sobre la investigación acción, y sus técnicas, aplicada a la educación superior, conocimiento y manejo de técnicas de recuperación de información documental (archivos oficiales), capacidad de síntesis para construir la microhistoria del uso de las TIC’S en el CUSUR, conocimientos para diseñar cursos de capacitación, características de personalidad idóneas para comunicarse y empalizar con los docentes e involucrarse con ellos en la Investigación-Acción, conocimientos sobre el trabajo docente, .capacidad para el análisis de la información (estadística) e interpretación y presentación de resultados. Creatividad para implementar soluciones acordes al contexto y necesidades detectadas. Principios éticos para responder al contexto sin desligarse de los valores propios de la investigación.

n) ¿Los estudios permiten inferir un trabajo interdisciplinario?
Sí, en el primer caso, por lo menos se requería del auxilio de la psicología, (y sus ramas, la psicología educativa, la psicometría), la pedagogía, la estadística, la especialización en pruebas psicométricas, la especialidad en la comprensión y manejo de la creatividad, de la expresión verbal, la investigación (principalmente de tipo experimental). Para el trabajo interdisciplinario es posible considerar a un equipo de investigadores que manejen estos conocimientos. Sin embargo también se puede notar la tansdisciplina, al incorporar nuevas formas de estudio como la psicometría.
Caso 2: Sí, porque se requiere de un equipo de trabajo que conozca sobre el tema “uso de las TIC’S en instituciones de educación superior”, también debe saber de investigación documental e investigación-acción, que sepa de Didáctica, para poder diseñar los cursos y manejo de información estadística, técnicas de análisis y manejo de resultados y que sea muy creativo en las resoluciones para recomendar a “quien corresponda” en la toma de decisiones para implementar estrategias de mejora.

Referencias
Bustelo, M. (1998) Diferencias entre evaluación e investigación: una distinción necesaria para la identidad de la evaluación de programas, Universidad Complutense de Madrid, Revista REDC4, Recuperado el 2 de septiembre, 2008 de
http://w3.itchihuahua.edu.mx/ lgutierr/docs/las_diferencias_entre_evaluacion_e_investigacion_1.pdf

Franco, C. (2006) Relación entre las variables autoconcepto y creatividad en una muestra de alumnos de educación infantil. Revista electrónica de investigación educativa, 8 (2), Recuperado el 2 de septiembre, 2008 de

http://redie.uabc.mx/vol8no1/contenido-franco.html

López, M.C., Espinoza, A. y Flores, K. (2006) Percepción sobre las tecnologías de la información y la comunicación en los docentes de una universidad mexicana: Centro Universitario del Sur de la Universidad de Guadalajara. Revista electrónica de investigación educativa, 8 (2), Recuperado el 2 de septiembre, 2008 de
http://redie.uabc.mx/vol8no1/contenido-espinoza.html