Figura 1
Racionalidad, Posmodernidad, Complejidad e Investigación Científica. Nuestro Rumbo Volumen 1 | Número 2 | 2015
Presentación Volumen 1 | Número 2 | 2015
| Autor | Arturo Silva Rodríguez |
| Temáticas | Meta-análisis | Coeficiente de concordancia entre revisores | Coeficiente de desacuerdo entre revisores | Coeficiente de correlación | Correlograma | Perfil de la introducción | Perfil del método | Perfil de los resultados | Perfil global |
| Tipo de Contribución |
Análisis sobre el material científico publicado |
| Referencia | Silva-Rodríguez, A. (2015). Presentación del número de la revista. Revista Digital Internacional de Psicología y Ciencia Social, 2(1). |
Análisis de los dictámenes de los revisores
- Panorama general
- Perfil de evaluación entre pares
- Calificación promedio de los artículos
- Índice de concordancia
- Correlograma
- Desacuerdo entre revisores
En esta sección se presenta un análisis global de los dictámenes que los revisores hicieron de todos los artículos publicados en este número de la revista. Podría decirse que es una especie de radiografía en conjunto que nos habla de la opinión que los revisores se formaron de los materiales científicos publicados.
Con esto se busca que el lector tome como punto de referencia la opinión de los revisores, que son gente de la comunidad científica; la contraste con su opinión y saque sus propias conclusiones sobre la calidad, relevancia e impacto de lo que se publicó en este número.
De esta manera se irá formando una opinión pública fundamentada en la transparencia de las decisiones que se toman para transmitir el conocimiento científico; es decir, una opinión pública informada producto del entendimiento personal que tiene cada revisor/a y de la valoración que hagan los lectores del material científico divulgado.
Al igual que en cada artículo, en este apartado de la revista se presenta el meta-análisis, pero a diferencia de aquel, aquí se muestra el resultado de la opinión que emitieron los revisores/as en su conjunto de los artículos publicados. Las secciones son: el perfil de evaluación entre pares, la calificación promedio otorgada a cada uno de los artículos, el índice de concordancia, el correlograma y el índice de desacuerdo entre revisores/as.
Es importante mencionar que aunque se habla de los revisores/as, esto no significa que cada uno de ellos haya evaluado todos los artículos publicados en la revista, sino más bien para este meta-análisis se consideró a cada revisor como una unidad de análisis y cada artí- culo como si fuera uno mismo, es decir, el conjunto de dictámenes se tomó a manera de una unidad replicativa, ya que cada dictamen fue hecho por diferentes revisores/as.
Si bien como lo señalan Glass, Wilson, y Gottman (1975); Yin (1984); Menard (1991) y Silva Rodríguez (2004), los análisis que se basan en unidades replicativas son más propensos a verse afectados por fuentes de invalidez, debido a la alteración de la naturaleza de los individuos (en nuestro caso diferentes revisores/as) que componen la unidad de observación, puesto que es probable confundir el efecto de los juicios de los revisores/ as con cambios abruptos en la composición de dicha unidad. Sin embargo, la unidad replicativa está menos sujeta a efectos de información y reactividad, puesto que si fueran los mismos revisores/es de todos los artículos que se publican en un determinado número de la revista acarrearían su sesgo en todos los artículos evaluados.
Tomando en consideración lo anterior, el algoritmo que se utilizó para calcular el perfil de la revista, los índices de concordancia y acuerdo, así como el correlograma y la calificación otorgada a los artículos de este número fue el siguiente:
En donde:
a es la opinión de la revisión i del artículo j
iésima revisión = 1, 2, …, hasta n, y
jésimo artículo = 1, 2, …, hasta k
Que para el caso de este número de la revista n es igual a 14 revisores y k igual a 7 artículos.
|
Por su parte el perfil evalúa la apreciación que le asignaron los revisores a las partes más amplias que constituyen el reporte de la literatura científica como son la introducción, el método, los resultados y todos los apartados del artículo. Introducción En la figura 1 se muestra la opinión que emitieron respecto a la introducción de todos los artículos. Como se puede observar en esa figura, los revisores opinaron que la definición de variables fue satisfactoriamente baja; debido a que hubieron algunos detalles que se omitieron, por lo que le asignaron la calificación de 2.05 de una calificación máxima de 4. Por otro lado, la opinión más favorable fue en el planteamiento del problema al conceder una puntuación de 3.23 de una de 4. Finalmente, al observar a lo largo de todo el patrón de opinión, los revisores consideraron que los artículos en cuanto a introducción eran muy satisfactorios, ya que el desarrollo, el planteamiento del problema, la pertinencia de las referencias, el marco teórico y el objetivo e hipótesis fueron calificados dentro de esa categoría. Metodo Según los revisores, los artículos muestran una variabilidad considerable en el método, como se observa en la figura 2. Ellos consideraron que el desarrollo de las cuestiones éticas relacionadas con las temáticas abordadas por los artículos fue deficiente, puesto que la calificación que le otorgaron fue apenas de 1 de 4. La opinión más favorable fue para los aspectos relacionados con la recolección de la información de los estudios, así como para la forma en que se desarrolló, se identificó a la población y se seleccionó la muestra, ya que todas éstas fueron consideradas como satisfactorias. Resultados En cuanto a la presentación de resultados (véase figura 3) las opiniones fueron más estables, ya que los revisores consideraron que la forma en que se desarrolló este apartado fue satisfactoria con una calificación de 2.94 de 4. Además consideraron que el análisis de datos llevado a cabo en los artículos fue satisfactoria.
Finalmente la presentación de los datos mediante tablas y gráficas fue considerada satisfactoria, alcanzando una calificación de 2.78. Todos los apartados En la figura 4 se muestra la opinión emitida sobre todos los apartados. Como se puede ver en esa figura, los revisores le otorgaron a las conclusiones una calificación de 2.33, que las colocan en una calidad de satisfactorias en todos los artículos que se publican en este número. Los otros apartados, como son el título, la referencias y sus apreciaciones, los consideraron muy satisfactorios; mientras que el resumen, propósito, introducción, método, resultados y la discusión las consideraron satisfactorias. Por último, la calificación promedio otorgada a los artículos fue de 2.72, con lo cual puede decirse que los revisores opinaron que su calidad fue satisfactoria, ya que su apreciación cae levemente en esa categoría de la escala. |
|
En la figura 5 se presenta la calificación promedio otorgada por los evaluadores al artículo que revisaron. En dicha figura puede observarse que la calificación otorgada a los artículos varió entre 88.39 y 57.31, en una escala del 0 al 100, que corresponde al artículo escrito por la autora Ramos Ramírez y al escrito por Fábila y Hurtado, respectivamente. Como se puede ver, la mayoría de los artículos obtuvieron una calificación variada el de Remigio y Pérez con un 59.19; y el de Valdez Jimenez y Villa con 71.97. |
|
Este índice indica el acercamiento que hubo en los juicios de los revisores; es decir, la magnitud en que éstos reportan resultados iguales; mide por lo tanto la variabilidad entre sus opiniones o juicios con respecto a los dictámenes que emitieron del artículo. Para construir la figura 6, se tomó la calificación promedio de los juicios que los revisores asignaron a las nueve partes del artículo, como fueron título, resumen, propósito, introducción, método, resultados, discusión, conclusiones y referencias.
En dicha figura se observa que la concordancia entre los revisores fue grande, ya que la diferencia entre ellos no superó el límite de las desviaciones estándar de las diferencias; solamente en el apartado de referencias la diferencia estuvo a punto de superar ese límite al obtenerse una diferencia de 0.95 cuando el límite superior fue de 1.00. |
|
En la figura 7 se muestra el correlograma de los juicios que emitieron los revisores, es una figura construida a partir de calcular los índices de correlación entre las opiniones emitidas. Los juicios de los revisores que se correlacionaron en el mismo sentido y con una magnitud moderada fueron los que revisaron el artículo de Remigio y Pérez con un índice de 0.43, después el de Fábila y Hurtado, con 0.35. Las opiniones de los revisores que no se correlacionaron fueron los que dictaminaron el artículo de Ramos con 0.16, igualmente los que revisaron el artículo de Valdez, Jiménez y Villa sus juicios estuvieron contrapuesto debido a la magnitud de la correlación también fue baja, de 0.19, 3 décimas que el de Ramos. |
|
Finalmente la figura 8 muestra el desacuerdo entre los revisores, independientemente de su sentido, puesto que sólo evalúa la magnitud de la diferencia de opinión.
Los revisores que menos desacuerdos tuvieron fueron los que dictaminaron el artículo de Fabila y Hurtado, al otórgarle uno de ellos una calificación de 57.42 y el otro de 57.20. Por otro lado, los desacuerdos más grandes en la opinión de los revisores se encontraron en los que dictaminaron el artículo de Váldez, Jiménez y Villa que fue de 32.74 puntos porcentuales, uno le otorgó la calificación de 88.44 mientras que el otro le designó un valor de 55.50. También se observó una variabilidad muy grande en las opiniones de quienes dictaminaron el artículo de Remigio y Pérez, en donde la diferencia de la calificación entre ellos fue de 20.29 puntos porcentuales, uno le asignó un valor de 49.01 y el otro de 69.30. Igualmente la diferencia de opinión fue grande entre los revisores del artículo de Ramos, la cual alcanzo la magnitud de 17.22 puntos porcentuales, uno le asignó 97 puntos y el otro 79.78. Como se podría esperar por estos resultados la diferencia de opinión entre los revisores fue la regla más que la excepción. Esto confirma que los criterios utilizados son muy diversos y que no coinciden en sus apreciaciones sobre la calidad de un artículo. Estas discrepancias en la apreciación de la calidad de los artículos son valoraciones que los revisores las perciben subjetivamente, lo relevante de todo esto es encontrar el punto en donde las diversas subjetividades, principalmente de los revisores, coincidan para así tener una revista que facilite la comunicación científica, no obstante que sea una realidad artificial producto de los múltiples significados y sentidos que los revisores le asignen al material científico revisado. |
