Trabajos Originales

  • Una prospección al uso de métodos estadísticos en revistas de medicina veterinaria en Chile1986-1990

Resumen

Las publicaciones de investigación juegan un importante papel en la educación en veterinaria. Estudiantes y profesionales deben tener la capacidad para entender, evaluar y juzgar el diseño de los estudios y el análisis e interpretación de los resultados en los estudios científicos.

Un estudio para conocer los métodos estadísticos usados, en la descripción y análisis de la información, se condujo en publicaciones de 3 revistas de medicina veterinaria en Chile en el período 1986- 1990. El diseño y uso de métodos estadísticos fue investigado.

Los resultados muestran una gran utilización de los métodos estadísticos, en alrededor de un 72% de las publicaciones. Los métodos más usados fueron el análisis de varianza, la prueba de 't' de Student, el análisis de correlación y el de regresión.

Cerca de un 13% de las publicaciones muestran al menos un método estadístico no adecuado. El error más frecuente fue el uso del error típico de medias como medida descriptiva de dispersión de los datos, y el uso de la prueba de 't' cuando el análisis de varianza y comparaciones múltiples era necesario.

De acuerdo al gran uso que se da a los métodos estadísticos, en la literatura veterinaria, se estima que los veterinarios deben poseer la capacidad y conocimientos necesarios para tener acceso a este importante aspecto. Se sugiere que los paneles editores de revistas deben requerir algunos aspectos acerca del diseño y método estadístico para mejorar el estándar de las publicaciones.

 

Palabras Claves

Métodos estadísticos; estadística, publicaciones

Abstract

Published research plays an important role in veterinary education. Students and professional must be able to understand, evaluate and judge study design, analysis and interpretation of the results of scientific studies. A survey to describe the statistical methods used in the description and analysis of information, was conduced in articles published in chilean 3 veterinary medicine journals during 1986-1990. The design, errors and omission in the use of statistical methods was investigated.

The results pointed out a frequent use of statistical methods, almost 72% of publications. The most used methods were analysis of variance, Student's 't' test, correlations and regression analysis. About 13% of publications had at least one error in usage of statistical methods. The most frequent errors were use of standard error of the mean as a description of data dispersion, and use of the 't' test when analysis of variance and multiple comparison of means was necessary. Because of the frequent use of statistical methods in veterinary literature, it was is concluded that veterinarians must have the necessary capacity and knowledge to be able to have access to this important aspect of scientific literature. Editorials boards of journals must ensure the quality of study, design and statistical methods, in order to improve the standards of their journals.

Keywords

Statistical methods, statistics, publications

Introducción

La función de la actividad académica en la formación de un profesional no es sólo entregarle conocimientos, habilidades y destrezas, sino también prepararlo para un largo proceso autoeducativo en su acción profesional.

Significativa en la mencionada autoeducación de posgrado, es la literatura de carácter científico, como fuente de información y perfeccionamiento; de ahí que una consideración importante debe ser el dotar al estudiante de la capacidad para leer, entender, criticar y evaluar las publicaciones científicas de su área (Smith, 1988).

El artículo científico se concibe como un medio para transmitir la verdad científica. Es en sí, la prueba documental de la creatividad y productividad del investigador y como tal compromete una gran responsabilidad tanto por su contenido como por las conclusiones que de él se deriven.

Las exigencias actuales de los editores de revistas en cuanto al diseño de la investigación, la recolección de datos, el análisis e interpretación de la información y la comunicación de los resultados en los trabajos a publicar, hacen del método estadístico como un segundo lenguaje de las ciencias (Pace, 1985), constituyéndose en una herramienta básica del método científico. Es muy difícil para el lector de un escrito determinar el grado de subjetividad de los juicios emitidos por el autor en su trabajo, si no van acompañados de un adecuado respaldo probabilístico (Clarke, 1979).

Es evidente el desafío planteado a lectores, investigadores, árbitros y revisores del nuevo estándar de excelencia estadística que plantean los editores de revistas, que junto. al desarrollo tecnológico computacional para el manejo masivo de datos, determinará que la actualización de conocimientos sea una abierta exigencia.

Surge como consecuencia, la necesidad de un uso adecuado, racional y eficiente de las técnicas estadísticas para evitar cometer errores y falacias. Es por ello que se plantea como objetivos, describir cualitativa y cuantitativamente el uso que se da a los métodos estadísticos en publicaciones científicas de revistas de medicina veterinaria en Chile, y evaluar el diseño y análisis estadístico de ellas. Esto permitirá conocer la importancia de los métodos usados, así como antecedentes sobre las necesidades de conocimientos y formación en el área estadística de los médicos veterinarios. La identificación de situaciones de mal uso del método estadístico permitirá contribuir a prevenir su reiteración mejorando el estándar de presentación de las publicaciones.

__________

 Financiado por proyecto DTI A.3144, Universidad de Chile.

Material y métodos

El universo en estudio fueron los artículos publicados en las revistas de medicina veterinaria en Chile en el período entre 1986 y 1990. Las revistas incluidas en el estudio corresponden a Monografías de Medicina Veterinaria, Avances en Ciencias Veterinarias, ambas de la Universidad de Chile y Archivos de Medicina Veterinaria de la Universidad Austral de Chile.

Se revisó un total de 301 artículos aparecidos en los 5 años que consideró el estudio, incluyendo artículos originales, monografías, notas técnicas, casos clínicos, revisiones bibliográficas y artículos generales. En cada uno de ellos se determinó la presencia de métodos estadísticos para el análisis de los datos, registrándose además variables relacionadas con el diseño como el tipo de muestreo, determinación de tamaños muestrales, niveles de significación, existencia de grupo control, y la presencia de métodos estadísticos así como las condiciones de su uso.

El estudio es de carácter descriptivo, observacional, retrospectivo y longitudinal. Se consideró como método estadístico a todas las técnicas que permiten realizar pruebas de hipótesis y aquellas destinadas a la descripción estadística. Se consideró dentro de la estadística descriptiva a estadísticas como la media, mediana, moda, desviación estándar, coeficiente de variación, amplitud, rango, máximos, mínimos e intervalos confidenciales. Se definió como distribución de frecuencia a las distribuciones presentadas en términos de porcentajes o de proporciones.

Cada procedimiento utilizado en las publicaciones se consideró como una unidad, no importando cuantas veces se repitiera dentro de ella, ya que la repetición resulta del análisis de diferentes variables cuyo número condicionaría los resultados, lo que escapa al objetivo de determinar cuáles son los métodos usados por el autor.

Resultados

Los métodos estadísticos utilizados en las publicaciones científicas de 3 revistas de medicina veterinaria en Chile entre los años 1986 y 1990 se presentan en el cuadro 1. La distribución se realizó considerando dos criterios para la clasificación: sobre el total de métodos distintos usados y sobre el total de trabajos publicados.

CUADRO 1 PUBLICACIONES DE TRES REVISTAS MEDICINA VETERINARIA, SEGÚN MÉTODOS ESTADÍSTICOS UTILIZADOS CHILE, PERÍODO 1986- 1990

Método esdístico

Número de Publicaciones % sobre total de métodos % acumulado métodos % total Publicaciones
Sin método estadístico 85 14,5 14,5 28,2
Estadística descriptiva 100 17,1 31,6 33,2
Distrib. de frecuencias 94 16,0 47,6 31,2
Comparación de proporciones 7 1,2 48,8 2,3
Independencia chi cuadrado 25 4,3 53,1 8,3
Pruebas de ajuste de distrib. 4 0,7 53,8 1,3
't' medias independientes 18 3,1 56,9 6,0
't' medias asociadas 13 2,2 59,1 4,3
Tasas, razones 36 6,1 65,2 12,0
Riesgo relativo, odd ratios 8 1,4 66,6 2,7
Anal. sensibilidad- especif. 7 1,2 67,8 2,3
Correlación 30 5,1 72,9 10,0
Regresión 25 4,3 77,2 8,3
Anál. varianza un criterio 38 6,5 83,7 12,6
Transformaciones 8 1,4 85,1 2,7
Comparación de varianzas 2 0,3 85,4 0,7
Comparación múltiples 24 4,1 89,5 7,8
't' de Dunnett 3 0,5 90,0 1,0
Estadística no paramétrica 27 4,6 94,6 9,0
Modelos matemáticos 4 0,7 95,3 1,3
Anál. varianza dos criterios 5 0,9 96,2 1,7
Covarianza 5 0,9 97,1 1,7
Coeficiente de determinación 4 0,7 97,8 1,3
Comparación de pendientes 2 0,3 98,1 0,7
Correlación punto biserial 1 0,2 98,3 0,3
Series cronológicas 3 0,5 98,8 1,0
Indeterminado 7 1,2 100,0 2,3
Total 585 100,0 - n = 301

En el cuadro 2 se presentan los métodos estadísticos alternativos a los métodos estadísticos usados en las publicaciones de las tres revistas analizadas y que fueron considerados inapropiados de acuerdo al diseño presentado en ellas.

CUADRO 2 MÉTODOS ESTADÍSTICOS ALTERNATIVOS A APLICACIONES INAPROPIADAS DE ELLOS, EN TRES REVISTAS DE MEDICINA VETERINARIA, CHILE, PERÍODO 1986- 1990

Método usado Método alternativo Número
Análisis de varianza de un criterio para comparación de medias Diseño en bloques 5
Análisis covarianza 1
Prueba de 't' de independencia Varianza y comparaciones múltiples 6
Comparaciones múltiples 3
Diseño en bloques 1
Diseño factorial 1
Prueba de 't' de asociación 't' independiente 1
Regresión lineal Regresión no lineal 1
Error típico Desviación típica 11
Indepedencia chi cuadrado Comparación de proporciones 2
Prueba del signo 1
Comparación de medias 1
Prueba de Duncan Prueba de Tukey 4
Wilcoxon Kruskal-Wallis y Dunn 3
Kruskal- Wallis Friedman 3
Mann- Whitney Kruskal-Wallis y Dunn 1
Error en uso de Porcentajes- 2
Total- 47

El cuadro 3 resume los métodos de muestreo utilizados en el diseño de las publicaciones.

CUADRO 3 PUBLICACIONES EN TRES REVISTAS DE MEDICINA VETERINARIA, SEGÚN TIPO DE MUESTREO EN EL DISEÑO. CHILE, PERÍODO 1986- 1990

Muestreo Número %
Azar simple

15

7,5

Sistemático

2

1,0

Estratificado

4

2,0

Conglomerados

3

1,5

Captura

6

3,0

Registros

5

2,5

Dirigido

46

22,9

Poblacional

7

3,5

No se indica

113

56,2

Total

201

100,0

La determinación de tamaños muestrales y su nivel de significación se muestran en el cuadro 4, considerando sólo aquellos trabajos con existencia de tamaño muestral.

CUADRO 4 PUBLICACIONES EN TRES REVISTAS DE MEDINA VETERINARIA, SEGÚN DETERMINACIÓN DEL TAMAÑO MUESTRAL Y DEFINICIÓN DEL NIVEL DE SIGNIFICACIÓN EN EL DISEÑO. CHILE, PERÍODO 1986- 1990

Determinación de n Definición de nivel de significación Total %
No
No 14 0 14 7,5
156 17

173

92,5
Total 170 17 187 100,0

Discusión

La revisión efectuada permite visualizar la importancia que tiene la herramienta estadística en las publicaciones científicas, ya que sólo un 28,2% de ellas no la utiliza, lo que significa que un 71,8% utiliza al menos uno de los métodos, con un promedio de 2,4 métodos (desviación estándar = 1,4) por trabajo en que éstos se utilizan. Gore y col. (1977), indican que el 80,1 % de los escritos publicados en el British Medical Journal contenían estadística. DeRoth (1979) señala que un 54% de los artículos aparecidos en revistas de medicina veterinaria contiene algún método estadístico y un 20% incluía métodos analíticos inferenciales.

La estadística descriptiva (33,2%), y el uso de distribuciones de frecuencia (31,2%) representan los métodos más usados, considerando el total de las publicaciones. El uso de tasas y razones como medidas de resumen alcanza a un 12%.

Las llamadas pruebas de 't' de Student (para muestras independientes y asociadas) con un 10,4% y análisis de varianza con un 12,6%, representan los métodos inferenciales de más alto uso, similarmente a lo informado por DeRoth (1979) en revistas de medicina veterinaria de circulación internacional. Emerson y Colditz (1983) informan de un 24% para las pruebas de 't' y 4% para análisis de varianza en la revista New England Journal of Medicine.

El uso de correlaciones y regresiones alcanza niveles de 10 y 8,3%, similarmente a lo informado por Emerson y Colditz (1983) de 7 y 8% respectivamente.

Si bien lo que se señala como estadística no paramétrica representa un porcentaje importante de los trabajos, 9%, ellas incluyen varios métodos (Kruskal-Wallis, McNemar, Mann-Whitney, prueba exacta de Fisher, Friedman, Wilcoxon, correlación por rangos), que hacen disminuir su importancia relativa.

Las tres revistas publicaron en el período un total de 301 artículos. En 85 de ellos la estadística no fue utilizada lo que representa un 28%. En 173 de las 301 publicaciones, lo que representa el 57,5%, la estadística fue usada en forma apropiada. En dos trabajos no fue posible evaluar el uso de los métodos.

Referente al uso de métodos estadísticos no apropiados en las publicaciones analizadas, se pudo apreciar que un 13% de ellas presentan al menos un método estadístico no apropiado, valor que no ofrece sustanciales variaciones a lo largo del período observado. Esta cifra es muy inferior si se compara con el 52% que informan Gore y col. (1977) en la revista British Medical Journal, al 47% de Schor y Karten (1966) y al 42% que señala Gardner y col. (1986) en revistas médicas, al 27% de Glantz (1980) y al 32% en tesis de pregrado de medicina veterinaria (Ibarra y Urcelay, 1989). Esto podría ser evidencia de una mayor preocupación de los editores de las revistas chilenas por el tema. Al revisar los comités editoriales uno de ellos ha incorporado estadísticos en el comité editorial. Esta vía de solución al problema ya había sido demostrada por Altman (1981) en la revista JAMA (Journal of American Medical Association). Al respecto, Stanley y Pace (1983), indican que muchas veces los comités revisores son seleccionados por su experiencia en los temas específicos del trabajo, no así en estadística, con lo cual el análisis estadístico no recibe una atención adecuada, originando consecuencias no deseadas.

Al igual que lo informado por Ibarra y Urcelay (1989), el uso del error típico de medias como medida descriptiva de los datos y el uso sucesivo de la prueba 't' de Student en lugar de un análisis de varianza y posteriores comparaciones múltiples para la comparación de promedios, constituyen los errores de comisión más frecuentes (Cuadro 2). Al respecto se debe reiterar que el error típico de medias depende del tamaño de las muestras y al incrementarse éste el error típico tiende a disminuir, no siendo comparables al variar el tamaño de los grupos lo que puede originar una falsa impresión de la variación de la variable. El error típico es una medida de dispersión de la distribución de muestreo de la media, distribución teórica que generalmente no es de interés para el lector.

Referente al uso de sucesivas pruebas de 't' en la comparación de varios promedios, determina que no se conserve el nivel de significación original, incrementándose en la medida que aumente el número de comparaciones, situación que se soluciona con un análisis de varianza y comparaciones múltiples, que conserva el nivel de significación original (Glantz, 1980; Longnecker, 1982; Wallenstein y col. 1980). Una situación similar se ha demostrado para la prueba de Duncan, por lo que se recomienda no utilizarla (Gill, 1973).

Otra vía de solución al problema de mal uso de los métodos estadísticos, originados ya sea por olvido o por el uso ocasional de ellos, o simplemente por desconocimiento debido a programas de estudio de formación profesional incompletos, la han planteado algunas revistas como es el caso del British Medical Journal, que ha publicado artículos en que se tratan métodos estadísticos de uso frecuente en las publicaciones que permiten la actualización de conocimientos adquiridos orientados específicamente. Otras revistas han publicado listados de puntos a considerar para la presentación de escritos, que ayuden por una parte, al ejercicio de la consultoría, y por otra, al diseño de experimentos por parte de los investigadores, permitiendo asegurar 200 que algunos aspectos básicos de los escritos no sean olvidados. Por otra parte los lectores pueden usar esas pautas para la evaluación de las publicaciones (Ford y Tortora, 1978; Gardner y col., 1986; Lionel y Herxheimer, 1970).

En esta revisión se investigaron también los métodos que fueron omitidos, y que era necesario utilizar para el respaldo probabilístico de la interpretación de los resultados. La más frecuente omisión correspondió al análisis de varianza con la comparación múltiple correspondiente (en 7 publicaciones), en 5 se omitió la comparación de proporciones, en 4 era necesario el uso.de una prueba de hipótesis de independencia para datos cualitativos y en 3 se omitió la ecuación de regresión. Omisiones de métodos semejantes son informadas por Ibarra y Urcelay (1989).

Al respecto Hatch (1978), plantea sus reservas sobre uso de métodos estadísticos si el experimento no lo requiere, señalando que pequeños o grandes efectos son evidentes por sí solos y critica a aquellos autores que no utilizan otra vía para interpretar sus resultados, sin el importante 'p value'. Pero como lo indica Clarke (1979), es muy difícil para un lector determinar la subjetividad de los juicios del autor en sus trabajos, si no van acompañados de alguna medición probabilística. La idea de no utilizar el análisis estadístico si no se requiere, no debe entenderse porque el resultado sea obvio (en este caso el análisis es complementario), sino porque no hay hipótesis que probar.

Una consideración importante en el diseño corresponde al método de muestreo utilizado. En el cuadro 3 se observa que predomina el muestreo dirigido, que corresponde a lo que se denomina muestras de conveniencia. Un problema se origina en esta situación cuando se usan métodos estadísticos inferenciales, por cuanto éstos plantean como supuesto, la aleatoriedad en la obtención de las observaciones. Otro hecho no deseable es la omisión del método de muestreo utilizado, que se verifica en el 56,2% de los trabajos en que se usan muestras. Esta información es necesaria para que el lector juzgue la representatividad de ellas.

Un criterio importante para juzgar la confianza estadística de las inferencias realizadas a partir de las muestras, es la determinación del tamaño muestral con un nivel de significación conocido. En el cuadro 4 se observa que sólo 17 de 187 publicaciones con tamaño de muestra, es decir el 9,1%, informan del nivel de significación de ellas. Existe por lo tanto un alto porcentaje de publicaciones en que no es posible conocer la confiabilidad de las inferencias efectuadas, ni menos aún la potencia de las pruebas de hipótesis planteadas. Al parecer es un problema en general de las revistas científicas por cuanto Gardner y col. (1986), y Freiman y col. (1978) informan del mismo problema. Éste debe ser un motivo de consideración de los editores de revistas al juzgar el diseño de los trabajos a publicar.

También en el diseño de las investigaciones se debe considerar el uso de un grupo control si éste es necesario para probar la hipótesis planteada. Se debe señalar al respecto que sólo en 7 de 79 publicaciones (8,9%), en que debiera utilizarse grupo control, éste no fue considerado. Esto implica que en el 91,1% de los estudios en que era necesario un grupo control, éste fue utilizado. Este valor es superior al 82% que informa Avram y col. (1985) en un estudio de dos revistas americanas. Es un problema que merece considerarse, por cuanto la ausencia de un control, o uno inadecuado puede llegar a invalidar un estudio.

Referencias

ALTMAN, D. 1981. Statistics and ethics in medical research. VIII - Improving the quality of statistics in medical journals. Br. Med. J. 282:44-47.

AVRAM, M., C. SHANKS, M. DYKES, W. STIERS. 1985. Statistical methods in anesthesia articles: an evaluation of two american journals during two six-month periods. Anesth. Analg. 64:607-611.

CLARKE, M. 1979. Statistics restated. J. Am. Vet. Med. Ass. 174:1156.

DEROTH, L. 1979. Statistical procedures reported in selected veterinary medical journals. J. Am. Vet. Ass. 174:1156. EMERSON, J., G. COLDITZ. 1983. Use of statistical analysis in the New England Journal of Medicine. N. Engl. J. Med. 309:709-713.

FORD, B., R. TORTORA. A consulting aid to sample design. Biometrics 34:299-304.

FREIMAN, J., T. CHALMERS, H. SMITH, R. KUEBLER. 1978. The importance of Beta, type II error and sample size in the design and interpretation of the randomized control trial. N. Engl. J. Med. 299, 13:690-694.

GARDNER, M., D. MACHIN, M. CAMPBELL. 1986. Use of cheks lists in assessing the statistical content of medical studies. Br. Med. J. 292:810-812.

GILL, J. 1973. Currents status of multiple comparisons of  meansin designed experiments. J. Dairy Sci. 56, 8:973-977.

GLANZ, S. 1980. Biostatistics: how to detect, correct and prevent errors in the medical literature.  Circulation 61:1-7.

GORE, S., I. JONES, E. RY'i IER. 1977. Misuse of statistical methods; critical assessment of articles in BMJ from January to March 1976. Br. Med. J. 1:85-87.

HATCH, R. 1978. Statistical analysis: is it necessary. J. Am. Vet. Med. Ass. 173; 11:1519-1520.

IBARRA, L., S. URCELAY. 1989. Información científica en ciencias veterinarias y sus errores en el use de métodos estadísticos. Arch. Med. Vet. 21; 2:95-101.

LIONEL, N., A. HERXHEIMER. 1970. Assessing reports of therapeutic trials. Br. Med. J. 3:637-640.

LONGNECKER, D. 1982. Support versus illumination. Trend in medical statistics (editorial). Anesthesiology 57; 2:73-74.

PACE, N. 1985. Ever more statistical. Anesth. Analg. 64:561562.

SCHOR, S., I. KARTEN. 1966. Statistical evaluation of medical journal manuscripts. J. Am. Med. Ass. 195:145-150.

SMITH, R. 1988. Veterinary clinical research: A survey of epidemiologic study designs and clinical issues appearing in a practical journal. Acta Vet. Scand., suppl. 84:504-506.

STANLEY, T., N. PACE. 1983. Statistics should support rather than strangle anestesiology literature. Anesthesiology 58; 3:297-298.

WALLENSTEIN, S., C. ZUCKER, J. FLEISS. 1980. Some statistical methods useful in Circulation Research. Circ. Res. 47; 1:1-9.

Recibido el 7 de octubre de 1992, aprobado el 25 de noviembre de 1992.