Introducción
Analizando desde el humanismo el dicho “Sólo las mentes frágiles le temen a la igualdad” Volumen 5 | Número 1 | 2019
Presentación Volumen 5 | Número 1 | 2019
| Autor | Lucía Jocelyn Andrade López y Mirna Elizabeth Quezada |
| Temáticas | Humanismo e igualdad | Redes y cognición | Evaluación del neurodesarrollo | Efecto Musicoterapia | Intervención psicofisiológica| Carta al editor: Engaño académico |
| Tipo de Contribución |
Análisis sobre el material científico publicado |
| Referencia | Andrade-López, L.J. & Quezada, M.E. (2019). Presentación del número de la revista. Revista Digital Internacional de Psicología y Ciencia Social, 5(1), pp. 14-19. |
Análisis de los dictámenes de los revisores
- Panorama general
- Perfil de evaluación entre pares
- Calificación promedio de los artículos
- Índice de concordancia
- Correlograma
- Desacuerdo entre revisores
Esta sección tiene como objetivo presentar la opinión general que los revisores expresaron respecto a los artículos; por tanto, se entiende este análisis como la evaluación global del número en su totalidad para que la comunidad científica, tanto autores, revisores y lectores interesados en las temáticas publicadas formen su propio criterio acerca de la calidad, relevancia e impacto de lo que se publicó en este número, titulado “Los campos transdisciplinares de la psicología”.
La valoración de los revisores a cada artículo representa la unidad de análisis para evaluar la calidad del número, y se concentran en las siguientes secciones: 1) perfil de evaluación entre pares; 2) calificación promedio otorgada a cada uno de los artículos; 3) índice de concordancia; 4) correlograma, y 5) índice de desacuerdo entre revisores/as.
Como lo indican Glass, Wilson y Gottman (1975), Yin (1984), Menard (1991) y Silva Rodríguez (2004), al ser un análisis basado en unidades replicativas puede ser más propenso a verse afectado por diversas fuentes de invalidez, debido a la convergencia de distintos puntos de vista —que en este caso conforman los estilos y criterio valorativo de cada revisor, los que componen la unidad de observación—, lo que puede afectar la valoración del número completo por cambios abruptos de los revisores. Sin embargo, cada revisión que funciona como la unidad replicativa está menos sujeta a efectos de información y reactividad con base en los mismos autores, puesto que si fueran los mismos revisores/es de todos los artículos que se publican en un determinado número de la revista implicarían su sesgo en todos los artículos evaluados.
Considerando lo anterior, se retoma el siguiente algoritmo, al igual que en números anteriores, para calcular el perfil, los índices de concordancia y acuerdo, así como el correlograma y la calificación otorgada a los artículos de este número.
Donde:
- a es la opinión de la revisión i del artículo j.
- iésima revisión = 1, 2, …, hasta n, y
- jésimo artículo = 1, 2, …, hasta k.
Para el caso de este número de la revista, n es igual a 10 revisores y k igual a 5 artículos viables para revisión.
1) Perfil de evaluación entre pares
Este análisis refleja la valoración que los revisores expresaron acerca de las secciones más amplias que conforman cada artículo del presente número, como la introducción, el método, los resultados y la valoración para todos los apartados. A continuación se presenta el análisis de cada sección.
Introducción
Para comenzar con el análisis, se muestra a continuación la opinión que emitieron los revisores respecto a la introducción de los artículos (figura 1). En este caso los revisores opinaron que el planteamiento del problema de los artículos era muy satisfactorio, asignando 3.36 de una calificación máxima de 4, seguido por el desarrollo con 3.23. En general los revisores valoraron como muy satisfactorias a la mayoría de los elementos que constituyen la introducción, a excepción de los objetivos e hipótesis que se posicionan en un nivel satisfactorio con 2.66 de calificación, seguida por la sección de definición de variables, la cual se posiciona en un nivel deficiente al presentar 1.40 de calificación. Debido a estos resultados se podría concluir acerca de esta sección, que la parte operativa de los artículos representada por las variables a utilizar y los objetivos e hipótesis a desarrollar puede mejorar de modo significativo respecto a los otros apartados que configuran la base introductoria de los manuscritos.
Método
Con base en las valoraciones de los revisores al método, los niveles promedio obtenidos para los componentes de esta sección (desarrollo del método, especificación de la población y muestra, descripción de recolección de datos, especificación de cuestiones éticas) se posicionan en un nivel satisfactorio de la escala, siendo el rubro de desarrollo el más alto con 2.66 de calificación. El resto de los elementos no se aleja de esta puntuación satisfactoria, con excepción de las cuestiones éticas que representa el rubro más bajo del método, posicionándose en un nivel deficiente con una calificación de 1.90 de 4 puntos posibles (figura 2). Con este resultado se expresa la disconformidad de los revisores con la exposición de cuestiones éticas en los artículos que conforman este número.
Resultados
Por su parte, los rubros de la sección resultados (figura 3) fueron evaluados por los revisores como satisfactorios, siendo la presentación de datos el rubro mejor valorado con una puntuación de 2.74, mientras que el desarrollo tiene una puntuación de 2.65 de 4 puntos. De esta sección, el análisis de datos fue el rubro con menor puntuación (2.35), lo cual sigue posicionándose como un nivel satisfactorio. La sección de resultados es aún congruente con la valoración presentada en la sección de método, y en general puede considerarse como una valoración adecuada de los revisores a estos apartados; sin embargo, como se indicó en el análisis de la introducción, las valoraciones más bajas aún persisten en las secciones operativas de los manuscritos.
Todos los Apartados
En la figura 4 se muestra la opinión de los revisores acerca de las secciones que conforman los artículos revisados (desde el título hasta las apreciaciones globales de cada manuscrito), así como una calificación final, la cual puede otorgarse al número completo derivado de sus puntuaciones. En este caso las calificaciones oscilaron entre “muy satisfactorio” a “satisfactorio”; las secciones que los revisores consideraron satisfactorias fueron el método (2.62), resultados (2.64), conclusiones (2.91) y referencias (2.96), siendo la sección discusión la que menos puntuación obtuvo en el nivel de satisfactorio (2.58). Por otra parte, el resto de los elementos de los manuscritos fueron valorados como muy satisfactorios, siendo el título de manuscrito el apartado que obtuvo mejor calificación (3.54), e introducción el apartado que menor puntuación obtuvo en el nivel de muy satisfactorio (3.00).
Por último, la calificación promedio de los artículos de este número fue de 3.15 de una puntuación máxima de 4; esto expone la opinión de los revisores respecto a la calidad de los artículos publicados en este número, la cual puede posicionarse en esta escala como muy satisfactoria.
2) Calificación promedio de los artículos
En la figura 5 se indica la calificación promedio otorgada por los revisores al artículo que dictaminaron. Puede observarse que la calificación otorgada a los artículos varió en una escala de 0 a 100; la calificación más alta fue 92.66 para el artículo de Huitrón y cols., y la más baja fue de 68.10, correspondiente al artículo de Jiménez y cols. Los demás artículos se posicionaron por encima de 70 de 100, comenzando por los manuscritos de Rodríguez y Velasco (70.91), seguido por Ramírez-Chelala (72.45), y con Sánchez y cols. (89.03).
3) Índice de concordancia
Este análisis muestra el acercamiento que hubo en la valoración de los revisores representada por la magnitud en que éstos reportan resultados iguales; por tanto, mide la variabilidad entre sus opiniones o juicios respecto a los dictámenes que emitieron del artículo.
Para elaborar la figura 6 se utilizó el promedio de los juicios que los revisores expresaron a las nueve partes del artículo, como título, resumen, propósito, introducción, método, resultados, discusión, conclusiones y referencias; además se tuvo en cuenta la apreciación global y la calificación final del artículo.
En dicha figura se muestra que la concordancia entre los revisores fue elevada, porque la diferencia entre ellos no superó el límite de las desviaciones estándar de las diferencias; sólo en el apartado de método la diferencia estuvo a punto de superar el límite superior (0.55), siendo el límite inferior −1.05 y el superior 0.56.
4) Correlograma
En la figura 7 se muestra el correlograma de los juicios que emitieron los revisores; es una figura elaborada a partir de calcular los índices de correlación entre las calificaciones otorgadas. En dicha figura 7 se muestra cómo todos los juicios que correlacionaron fueron positivos, con excepción del expresado en el manuscrito de Sánchez y cols.; los juicios que correlacionaron en un nivel medio son los artículos de Ramírez-Chelala (r = 0.51) y el de Rodríguez y cols. (r = 0.39). Para el caso del artículo de Sánchez y cols., la correlación fue media negativa (r = −0.37). Las correlaciones bajas de juicios expresan la disparidad de juicios; esto es evidente en los artículos de Jiménez y cols. (r = 0.26) y de Huitrón y Prado (r = 0.13).
5) Índice de desacuerdo entre revisores/as
Por último, en la figura 8 se muestra el desacuerdo entre los revisores, independientemente de su sentido, puesto que sólo evalúa la magnitud de la diferencia de opinión.
Los revisores que menos desacuerdos tuvieron fueron los que dictaminaron el artículo de Rodríguez y Velasco, al otorgarle uno de ellos una calificación de 70.57 y el otro de 71.24. Por otro lado, el desacuerdo más grande en la opinión de los revisores fue en el artículo de Ramírez-Chelala, al presentar una diferencia de 29.3 puntos, con una valoración global por un revisor de 87.10, y con la mínima de 57.80 otorgada por su otro revisor.
Con este análisis se pretende mostrar a los interesados en este número que las diferencias en las valoraciones corresponden a las diversas subjetividades que participan en la evaluación de un manuscrito científico. Ante esto, es necesario buscar los acuerdos que faciliten la comunicación científica y la mejora en la calidad de los manuscritos que se publican; este es el sentido de una revisión en el proceso editorial, y es el objetivo de la revista al establecer una política abierta por pares.