Figura 1.
Palabras de Emilio Ribes Iñesta en ocasión del Doctorado Honoris Causa por la Universidad Autónoma De San Luís Potosí – octubre 7, 2016 Historial: Entre científicos de diferentes disciplinas sociales, ¿son similares las opiniones sobre las reglas de investigación?
Presentación Volumen 4 | Número 1 | 2018
| Autor | Arturo Silva Rodríguez y Mirna Elizabeth Quezada |
| Temáticas | Escala de empoderamiento | Cyberbullying | Violencia en Jóvenes | Investigación interdisciplinar | Dolor y Termografía | Discurso Doctorado Honoris Causa |
| Tipo de Contribución |
Análisis sobre el material científico publicado |
| Referencia | Silva-Rodríguez, A. & Quezada, M.E. (2018). Presentación del número de la revista. Revista Digital Internacional de Psicología y Ciencia Social, 4(1), pp. 13-19. |
Análisis de los dictámenes de los revisores
- Panorama general
- Perfil de evaluación entre pares
- Calificación promedio de los artículos
- Índice de concordancia
- Correlograma
- Desacuerdo entre revisores
| En esta sección se presenta un análisis global de los dictámenes que los revisores hicieron de todos los artículos publicados en este número de la revista. Podría decirse que es una especie de radiografía en conjunto que nos habla de la opinión que los revisores se formaron de los materiales científicos publicados. Con esto se busca que el lector tome como punto de referencia la opinión de los revisores, que son gente de la comunidad científica; la contraste con su opinión y saque sus propias conclusiones respecto a la calidad, relevancia e impacto de lo que se publica.
De esta manera se irá formando una opinión pública fundamentada en la transparencia de las decisiones que se toman para transmitir el conocimiento científico; es decir, una opinión pública informada producto del entendimiento personal que tiene cada revisor/a y de la valoración que hagan los lectores del material científico divulgado. Al igual que en cada artículo, en este apartado de la revista se presenta el meta-análisis, pero a diferencia de aquel, aquí se muestra el resultado de la opinión que emitieron los revisores/as en su conjunto de los artículos publicados. Las secciones son: el perfil de evaluación entre pares, la calificación promedio otorgada a cada uno de los artículos, el índice de concordancia, el correlograma y el índice de desacuerdo entre revisores/as. Es importante mencionar que, aunque se habla de los revisores/as, esto no significa que cada uno de ellos haya evaluado todos los artículos publicados en la revista, sino más bien para este meta-análisis se consideró a cada revisor como una unidad de análisis y cada artículo como si fuera uno mismo, es decir, el conjunto de dictámenes se tomó a manera de una unidad replicativa, ya que cada dictamen fue hecho por diferentes revisores/as. Si bien -como lo señalan Glass, Wilson, y Gottman (1975); Yin (1984); Menard (1991) y Silva Rodríguez (2004)- los análisis que se basan en unidades replicativas son más propensos a verse afectados por fuentes de invalidez, debido a la alteración de la naturaleza de los individuos (en nuestro caso diferentes revisores/as) que componen la unidad de observación, puesto que es probable confundir el efecto de los juicios de los revisores/ as con cambios abruptos en la composición de dicha unidad. Sin embargo, la unidad replicativa está menos sujeta a efectos de información y reactividad, porque si fueran los mismos revisores/es de todos los artículos que se publican en un determinado número de la revista acarrearían su sesgo en todos los artículos evaluados. Tomando en consideración lo anterior, el algoritmo que se utilizó para calcular el perfil de la revista, los índices de concordancia y acuerdo, así como el correlograma y la calificación otorgada a los artículos de este número fue el siguiente:
En donde:
Que para el caso de este número de la revista n es igual a 8 revisores y k igual a 4 artículos. |
| Por su parte el perfil evalúa la apreciación que le asignaron los revisores a las partes más amplias que constituyen el reporte de la literatura científica, como son la introducción, el método, los resultados y todos los apartados del artículo.
Introducción En la figura 1 se muestra la opinión que emitieron respecto a la introducción de todos los artículos. Como se puede observar en dicha figura, los revisores opinaron que la definición de variables fue satisfactoria; sin embargo, hubo algunos detalles que se omitieron, por lo que le asignaron la calificación de 2.28 de una calificación máxima de 4. Por otro lado, la opinión más favorable fue en la definición del problema al conceder una puntuación de 3.10 de 4. Finalmente, al observar a lo largo de todo el patrón de opinión, los revisores consideraron que los artículos, en cuanto a la introducción, eran muy satisfactorios, ya que el desarrollo y el planteamiento del problema fueron calificados dentro de esa categoría, mientras que consideraron satisfactorias la pertinencia del problema, el marco teórico, la definición de variables y el objetivo e hipótesis.
Método Según los revisores, los artículos muestran una variabilidad considerable en el método, según se observa en la figura 2. La sección del método fue la que recibió la calificación entre satisfactoria y muy satisfactoria, pero en cuanto a cuestiones éticas, muy deficiente, siendo esta la calificación más baja, con una puntuación de 0.79. Por otra parte, la puntuación más alta en los elementos del método fue de 3.02 para la selección de la población y la muestra.
Resultados En cuanto a la presentación de resultados (figura 3), las opiniones fueron más estables, ya que los revisores consideraron que la forma en que se desarrolló este apartado fue muy satisfactoria, con una calificación de 3.11 de 4. También, consideraron que el análisis de datos llevado a cabo en los artículos fue muy satisfactorio. Finalmente, la presentación de los datos mediante tablas y gráficas fue considerada muy satisfactoria, alcanzando una calificación de 3.07. Todos los apartados En la figura 4 se muestra la opinión emitida sobre todos los apartados. Como se puede observar, los revisores otorgaron puntuaciones que varían de satisfactorio a deficiente, siendo las calificaciones más altas las referentes al título (3.65), las referencias de los artículos (3.36) y el resumen (3.31), siendo considerados como muy satisfactorios. En contraparte, el discusión y las conclusiones obtuvieron las calificaciones más bajas, siendo las únicas secciones considerada como deficiente. En términos generales se puede considerar una calificación muy satisfactoria para los artículos de este número, ya que, excepto por estos dos aspectos, los demás fueron catalogados entre satisfactorios y muy satisfactorios. |
| Calificación promedio de los artículos
En la figura 5 se presenta la calificación promedio otorgada por los evaluadores al artículo que revisaron. En dicha figura puede observarse que la calificación otorgada a los artículos varió en una escala del 0 al 100 entre 80.02 y 56.95, que corresponde al artículo escrito por los autores Padilla y Cruz, y al escrito por Morales y Cols., respectivamente. Como se puede observar, las puntuaciones fluctúan en un rango de 23.07% aproximadamente, presentando una alta variabilidad. El artículo de Rodríguez-Maldonado obtuvo una puntuación de 79.81, mientras que el de De la Lama y Cols. alcanzó una calificación de 66.77%. |
| Este índice indica el acercamiento que hubo en los juicios de los revisores; es decir, la magnitud en que éstos reportan resultados iguales; mide, por lo tanto, la variabilidad entre sus opiniones o juicios respecto a los dictámenes que emitieron del artículo.
Para elaborar la figura 6 se tomó la calificación promedio de los juicios que los revisores asignaron a las nueve partes del artículo, como fueron título, resumen, propósito, introducción, método, resultados, discusión, conclusiones y referencias. En dicha figura se observa que la diferencia fue significativa, ya que la superó el límite de las desviaciones estándar, siendo el límite inferior 0 y el superior fue mayor a 1. |
| En la figura 7 se muestra el correlograma de los juicios que emitieron los revisores; es una figura construida a partir de calcular los índices de correlación entre las opiniones emitidas. Los juicios de los revisores que se correlacionaron en el mismo sentido y con una magnitud moderada fueron los que revisaron el artículo de Morales y cols. con un índice de 0.64, y el Rodríguez-Maldonado con 0.41. Las opiniones de los revisores que no se correlacionaron fueron los dictámenes del artículo de Padilla y Cruz con una puntuación de 0.15. Por el contrario, las opiniones de los revisores que más se correlacionaron fueron los que evaluaron el artículo de De la Lama con un índice de correlación de 0.90. |
Estas discrepancias en la apreciación de la calidad de los artículos son valoraciones que los revisores perciben subjetivamente; lo relevante de todo esto es encontrar el punto donde las diversas subjetividades, sobre todo de los revisores, coincidan para así tener una revista que facilite la comunicación científica, no obstante que sea una realidad artificial producto de los múltiples significados y sentidos que los revisores asignen al material científico revisado.
Finalmente, la figura 8 muestra el desacuerdo entre los revisores, independientemente de su sentido, puesto que sólo evalúa la magnitud de la diferencia de opinión. Los revisores que menos desacuerdos tuvieron fueron los que dictaminaron el artículo de Padilla y Cruz al tener un poco más de 10 puntos entre ambas calificaciones (85.30 y 74.75). El artículo que presenta una mayor diferencia en sus dictámenes fue el escrito por Morales y cols. con una diferencia de 21.51, recibiendo calificaciones de 67.70 y 46.19.
