Figura 1
Presentación del Vol. 6 Núm. 1
| Autor | J. Jesús Becerra Ramírez y Mirna Elizabeth Quezada |
| Temáticas | Iniciación en investigación | Representación de enfermedad | Mindfulness y ansiedad | Ansiedad, depresión y actividad autonómica | Factores familiares y depresión | Cuestionario Riesgo de autolesión | Cyberbullying y homosexualidad | Trabajo en equipo por facebook | Teorías de educadoras | Modelo de Kirkpatrick | Corrupción policial |
| Tipo de Contribución |
Análisis sobre el material científico publicado |
| Referencia | Becerra-Ramírez, J.J. & Quezada, M.E. (2020). Presentación del número. Revista Digital Internacional de Psicología y Ciencia Social, 6(1), 13-20. |
Análisis de los dictámenes de los revisores
- Panorama general
- Perfil de evaluación entre pares
- Calificación promedio de los artículos
- Índice de concordancia
- Correlograma
- Desacuerdo entre revisores
1) Perfil de evaluación entre pares
En este apartado se computaron las opiniones que los revisores expresaron sobre las secciones más amplias que conforman a cada artículo, tales como la introducción, el método, los resultados, y por último la valoración para todos los apartados (título, resumen, propósito de estudio, introducción, método, resultados, discusión, conclusiones, referencias, apreciación global del manuscrito, y calificación final otorgada al manuscrito). A continuación, se presenta el análisis de cada sección:
Introducción
El primer análisis a presentar es la estimación de niveles satisfactorios o insatisfactorios para los apartados que componen a la introducción de los artículos. Tenemos así que los revisores emitieron su opinión sobre el desarrollo, el planteamiento del problema, pertinencia de las referencias empleadas, marco teórico presentado, definición de variables, así como objetivo e hipótesis. Para este tipo de análisis se tomaron en cuenta las puntuaciones que cada revisor dio a cada elemento en una escala del -1 al 4, donde -1 es “No se desarrolla” (y debería), 0 es “No aplica” (por el tipo de manuscrito que se está revisando), 1 es “Muy Deficiente”, 2 “Deficiente”, 3 “Satisfactorio y 4 “Muy satisfactorio”.
En el caso de la introducción y los elementos antes mencionados, los revisores opinaron que tanto los apartados de desarrollo (3.35), planteamiento del problema (3.53), pertinencia de las referencias (3.33) y marco teórico (3.36) se consideraban “Muy satisfactorios”. Mientras que la definición de variables (2.45) y de objetivo e hipótesis (2.30) fueron valoradas solo como “Satisfactorios”. Si observamos las puntuaciones obtenidas puede estimarse que con base en la opinión general sobre la introducción de los artículos de este número, éstos tienen una elaboración destacable, especialmente en Planteamiento del problema que presenta la puntuación más alta del conjunto.
Método
Por su parte, se tomaron en cuenta las valoraciones emitidas por los revisores al método y los elementos que lo componen como desarrollo, población y muestra, recolección de datos y cuestiones éticas en torno al estudio. Con estas puntuaciones en la misma escala antes mencionada, se computaron los mismos niveles antes mencionados encontrando cosas interesantes para esta sección.
En primer lugar, el elemento mejor puntuado fue la recolección de datos de los manuscritos publicados para este número, obteniendo una puntuación de 3.38 posicionando a este elemento en el nivel de “Muy satisfactorio”. Por su parte, el elemento de desarrollo también se posicionó en el mismo nivel con una puntuación de 3.18. Estos resultados permiten analizar la importancia que los autores han puesto en el esclarecimiento claro del método en cuanto a la recolección de datos para los correspondientes estudios.
Mientras tanto, los revisores encontraron en un nivel menos impresionante a la Población y muestra de los estudios, otorgando una calificación de 2.88 para este elemento, lo que posicionó en un nivel “Satisfactorio” las cuestiones metodológicas referentes a la definición de la población y muestreo realizado. Por último, los revisores valoraron como “Deficiente” la labor de los autores al hacer referencia sobre las cuestiones éticas que se derivan de cada estudio (1.73), esta información y en conjunto todos los resultados sobre la sección de metodología son de gran relevancia tomando en cuenta que el 90% de los artículos publicados son de carácter empírico, con lo cual debe de señalarse la importancia de tomar en cuenta los aspectos éticos que se deriven de la investigación psicológica.
Resultados
El apartado de Resultados obtuvo muy buenos niveles de valoración para cada elemento relacionado con esta sección, como lo es el desarrollo en general, el análisis de datos empleado y la presentación que los autores hicieron de los datos obtenidos. Para cada elemento la valoración de los revisores fue “Muy Satisfactoria”, obteniendo puntuaciones que van de 3.24 (presentación de datos) a 3.34 (análisis de datos). Considerando el tipo de manuscritos que representa la mayoría de este número (empírico 90%), estos resultados reflejan la opinión positiva que tuvieron los revisores sobre los hallazgos encontrados en los resultados, así como la manera en la que los autores abordaron esta información en un texto científico, lo cual nos habla de la calidad de los manuscritos que publicamos en este número.
Todos los Apartados
En este apartado se presenta la valoración de los revisores a todas las secciones que componen el manuscrito: título, resumen, propósito, introducción, método, resultados, discusión, conclusiones, referencias, apreciación global y calificación final.
En la figura 4 se puede observar la valoración promedio que tuvieron los revisores sobre los apartados en general de los artículos que componen este número. Todos a excepción de uno, recibieron muy buenas valoraciones posicionando los elementos del manuscrito en “Muy satisfactorio” con puntuaciones que van de 3.05 (Método) a 3.75 (Título). El único elemento que no obtuvo la misma valoración fueron las conclusiones, puesto que las opiniones de los revisores en conjunto colocaron este elemento en el nivel de “Satisfactorio” con una puntuación de 2.80.
2) Calificación promedio de los artículos
En el caso de calificación promedio, las opiniones de los revisores fueron computadas para arrojar un promedio de calidad entre el revisor 1 y 2 de cada manuscrito. Este indicador de calidad es expresado de 0 a 100% y refleja la opinión general del manuscrito con referencia a su totalidad como documento de comunicación científica.
En este caso, el artículo que obtuvo mejor calificación de calidad con base en las puntuaciones de sus revisores fue el de Hernández y Vega (94.16) titulado “Teorías expuestas de la acción de educadoras con relación al desarrollo personal y social”. Seguido de este artículo, otra muy buena calificación la encontramos en el manuscrito de González y Saucedo (90.88), el cual plantea una propuesta de trabajo en equipo mediada por Facebook.
Por otra parte, los artículos de Lugo y Vega, Tovar y cols., así como Solís y Gómez-Peresmitré, obtuvieron buenas puntuaciones en el rango del 80%, siendo el más alto el de Lugo y Vega (88.66), y el último de este grupo el de Solís y Gómez-Peresmitré (86.60). Por otra parte, abajo del 80% se encuentran los artículos de Soto y cols. (75.82) así como de Ruíz y cols. (71.48).
En el último bloque se encuentran los artículos alrededor del 60% de calificación, así tenemos los artículos de Yam-Chalé y Clairgue, Ruvalcava y cols., y Amador y cols., siendo el mejor puntuado el de Yam-Chalé y Clairgue con 68.65% y Amador y cols. el artículo con menor calificación de todo el número con 66%.
3) Índice de concordancia
Este análisis indica el acercamiento que hubo en las valoraciones de los revisores; representada por la magnitud en que éstos reportan resultados iguales; mide por lo tanto la variabilidad entre sus opiniones o juicios con respecto a los dictámenes que emitieron del artículo. Para construir la figura 6 se tomó el promedio de los juicios que los revisores expresaron a las nueve partes del artículo, como fueron título, resumen, propósito, introducción, método, resultados, discusión, conclusiones y referencias, además se tomó en cuenta la apreciación global y la calificación final sobre el artículo.
En dicha figura se observa que la concordancia entre los revisores fue grande, ya que la diferencia entre ellos no superó el límite de las desviaciones estándar de las diferencias.
4) Correlograma
En la figura 7 se muestra el correlograma de los juicios que emitieron los revisores, se construye a partir de los índices de correlación entre las calificaciones otorgadas por cada revisor.
Con base en esto, puede observarse que el artículo con mejor correlación positiva de calificaciones (opiniones) entre los revisores fue el de Ruvalcaba y cols. (r=0.93). Seguido de este manuscrito encontramos correlaciones medias y positivas entre las opiniones de los revisores, por ejemplo, el manuscrito de González y Saucedo, así como de Amador y cols. los cuales obtuvieron un índice de correlación de r=0.54, o los artículos de Yam-Chalé y Clairgue, así como de Ruíz y cols. con r=0.50. Por debajo de estos índices, encontramos correlaciones bajas y positivas entre las opiniones de los revisores correspondientes a los manuscritos de Lugo y Vega (r=0.34), Soto y cols. (r=0.29), así como Solís y Gómez-Peresmitré (r=0.24).
Por último, al realizar este análisis se encontraron correlaciones entre los revisores que pueden denominarse negativas y medias, como en el artículo de Tovar y cols. que presentó un índice de correlación de r=-0.53, y el manuscrito de Hernández y Vega (r=-0.50). Este tipo de resultados invita a los lectores a analizar más de cerca la opinión de los revisores sobre los apartados de los manuscritos para comprender la relación negativa y media entre sus observaciones.
5) Índice de desacuerdo entre revisores/as
Finalmente, la figura 8 muestra el desacuerdo entre los revisores, independientemente de su sentido, puesto que sólo evalúa la magnitud de la diferencia de opinión. Cada punto en la figura representa la puntuación que el revisor otorgó al manuscrito en general, mientras que la línea roja representa el desacuerdo entre ambos revisores
En este caso el manuscrito en el que menos desacuerdo hubo entre revisores sobre la estructura general fue el de Amador y cols. con una diferencia apenas de 1.85 puntos entre sus calificaciones. A este manuscrito le sigue el de Solís y Gómez-Peresmitré con un desacuerdo de 3.07 puntos entre sus calificaciones.
Por otra parte, encontramos grandes desacuerdos en dos artículos principalmente, el de Ruíz y cols. con 43.48 puntos de diferencia entre sus calificaciones, así como el artículo de Soto y cols. con 33.51 puntos de diferencia entre sus calificaciones. Cabe destacar que estas diferencias nos hablan de las distintas visiones, perspectivas, experiencia y opiniones entre los revisores en un mismo artículo, lo cual permite reflexionar sobre el ejercicio de evaluación de material científico publicable, no solo para esta revista, sino para todo el contexto académico en general.
La política abierta por pares de la revista permite que visualicemos y analicemos las disparidades encontradas en la revisión a cada manuscrito, con este ejercicio se construye una crítica constructiva a la ciencia y al proceso editorial que se lleva a cabo en esta revista. La decisión de aceptación o rechazo es tomada por el equipo editorial tomando en cuenta los datos aquí presentados, así como la relevancia disciplinar, social y científica del manuscrito. Sin embargo, el ejercicio de metaanálisis más allá de representar datos a nivel local sobre los manuscritos que publicamos, reflejan el fenómeno que sucede a nivel macro en cuanto a evaluación, aceptación y publicación de manuscritos. Es responsabilidad de la revista transparentar las decisiones y proceso editorial, así como del lector analizar con ojo crítico los datos aquí presentados.