Salvando Las Dificultades Del Uso de La Encuesta en La Investigación Contable de Gestión: Una Aplicación Empírica
Salvando Las Dificultades Del Uso de La Encuesta en La Investigación Contable de Gestión: Una Aplicación Empírica
Salvando Las Dificultades Del Uso de La Encuesta en La Investigación Contable de Gestión: Una Aplicación Empírica
'
1
ABSTRACT The survey method has lost relevance in management accounng research in the recent
yexs. This method has been criticized by accumulating data with too many measurement errors, with
veiy low reliability and validity Woung, 19961. Thic paper moves beyond the general recomrnendations
on how to conduct a survey, and it focuses on the importance of a good survey design to accumulate
quality data and solve the difFerent dculties relate to this method. Through an empirical study we
focus on the questionnaire layout and psychometric analysis of the constructs, which are aspects that
management accounting research does not use to pay attention. The high rate of useful responses in
the empirical study developed is a stimulus to rely on the survey method in future management accounng research.
KEY WORDS Design and Distribution of Questionnaires; Psychometric Analysis; Construct Validation; Management Accounting.
Los mtodos de recogida 'de datos, tanto en las investigaciones organizativas en general como en las de contabilidad de gestin en particular, pueden clasificarse a lo largo de un continuo Brownell, 1995; Robert, 19991. En un extremo estara la lgica del descubrimiento,
los mtodos bajo este ttulo incluyen etnograac, estudios de casos, observacin participativa y entrevistas en profundidad, todos ellos son mtodos poco estructurados y muy apropiados para descubrir nuevos hechos. En el otro extremo del continuo estara la lgica de
(*) Este trabajo ha recibido financiacin
Andaluca (SEJ-111).
PB-98-1358)
y d e la Junta d e
Recibido 16-06-04. Aceptado 28-09-05. Copyright O 2001 Asoc~acinEspaola de Contabilidad y Administracin de Empresas. ISSN: 0210-2412
David Nnronjo-Gil
362
ART~CULOSD O W A L E S
la vericacin. Bajo este titulo estaran los mtodos que buscan contrastar teoras o relaciones y demostrar conexiones o uniones entre variables, como es el caso de las encuestas
y los experimentos. Entre estos dos polos, existe una variedad de mtodos que de algn modo estn estructurados y posibilitan tanto el descubrimiento como el contraste de relaciones entre variables (eg. entrevistas estructuradas).
El mtodo de la encuesta es una de las aproximaciones ms comunes usadas en investigaciones sociales para estudiar empricamente las caractersticas e interrelaciones de variables socioeconmicasy organizativas [Robert, 1999; Diman, 20001, Aunque, en trminos
de contrastacin de teoras y relaciones de variables el metodo del experimento es muy
adecuado [Sprinkle, 20031, las encuestas intentan encontrar variaciones que ocurren (maturalmente entre las variables, mientras la investigacin con experimentos crea -a travs de la intervencin o manipulacin- dicha variacin. As, la relacin entre las variables
no suele ser tan alta en las encuestas como lo es en la investigacin experimental (eg. la
validez interna es mayor en los experimentos), aunque las encuestas pueden proporcionar
ms realismo que los experimentos (eg. la validez externa es mayor en las encuestas) [Robert, 1999, p. 56; Sprinkle, 20031.
Durante las ltimas tres dcadas, el mtodo de la encuesta ha dominado la investigacin
en contabilidad de gestin, sin embargo cada vez es ms dicil publicar estudios basados
en cuestionarios tYoung, 19961. Young 119961 atribuye esta dificultad a los defectos en el diseo de las encuestas en investigaciones anteriores. Este autor not que la mayora de la
investigacin en contabilidad de gestin que ha usado cuestionarios ha fallado en ((seguir
procedimientos de encuestas bien establecidos [Young, 1996, p. 551. En particular, el anlisii de Young [19961 se centr en estudios con encuestas postales publicados en las principales revistas de contabilidad en el perodo 1985-1994"',mostrando un patrn pobre en la
aplicacin del mtodo de la encuesta en la investigacin en contabilidad de gestin. Young
119961 not que la mayora de los estudios fallaban en usar mtodos de muestreos rigurosos, no examinaban el sesgo de no respuesta, no especiicaban el marco de la muestra, y
sufran de bajas tasas de respuestas. As, concluyeron que estos fallos resultaban en muestras no representativas y de bajo poder estadstico, lo cual dificultabalas inferencia de los
investigadores, as como llegar a conclusiones slidas, dejando ver que la investigacin con
encuesta no suele ser lo bastante buena para ser publicada en las revistas contables ms
prestigiosas tYoung, 19961.
Sin embargo, estas crticas al mtodo de la encuesta pueden verse como gui'as para mejorar la investigacin en el futuro, ya que todava es un mtodo muy valorado en disciplinas
relacionadas con el comportamiento organizacional, que estudian empricamente las caractersticas e interrelacionesde variables sociolgicas, econmicasy psicolgicas toberts,
19991. Adems, el mtodo de la encuesta es el nico que permite a los investigadores trabajar con muestras amplias y establecer comparaciones estadsticas, siempre y cuando se
realice un buen proceso de construccin, distribucin y analisis del cuestionario D i h a n ,
2000; Ibert, Baumard, Donada y Xuereb. 20011.
Siguiendo a Robert [19991 este trabajo se centra en el diseo, administraciny evaluacin
del cuestionario aplicado a un estudio contable de gestin en el contexto organizativo es(1) Las revistas fueron: Accounting Review; Accounting, Organizationsand Society; Journal of Management Accounting
Research and Behavioural Research in Accounting.
David Naranjo-Gil
Salvando Ins dificultades del uso de la encuesta en la investigacincontable de gestin
ART~CULOSDOCTRINALES
paol, el cual suele tener un ndice ms bajo de participacin en estudios con encuestas que
otros contextos, como el anglosajn [Garca, Hurnphrey, Moizer y Turley, 19931. Este dculo presenta un proceso claro y riguroso para mejorar la calidad de los datos recogidos
con encuestas, permitiendo salvar las tpicas crticas que han recado sobre las mismas
[Young, 19961. Al mismo tiempo, constituye una gua que s h e para reforzar la investigacin futura en contabilidad de gestin utilizando cuestionarios [Roberts, 19991.
El proyecto de investigacin que constituye la base emprica de este .trabajo estudia el uso
del Sistema Contable de Gestin (SCG) por equipos directivos profesionales y adrninistrativos, as como su efecto en la implantacin de la estrategia. La hiptesis bsica de trabajo
es que existe una relacin entre las caractersticas del equipo directivo y determinados usos
del SCG que conducen a una mejor implantacin de la estrategia organizativa. Debido a la
naturaleza y complejidad de las relaciones organizativas, es muy difcil manipular dichas
variables en un experimento. Aunque un experimento natural en este campo podra ser
muy beneficioso [SprinMe, 20031, la limitada generalizacin del mismo disminuira la utilidad de los resultados. El mtodo de la encuesta fue usado para recoger los datos necesarios para contrastar nuestra hiptesis bsica, discutindose en detalle su constniccin, distribucin y anlisis en el presente estudio.
El resto del trabajo se organiza como sigue. La siguiente seccin describe crticamente las
ventajas e inconvenientes del mtodo de la encuesta, resaltando y aplicando la planificacin de la encuesta a una investigacin en contabilidad de gestin. La Seccin 3 sigue con
una discusin de la construccin de la encuesta, detallando el diseo, la medicin y validacin, el pre-test y la distribucin del cuestionario. La Seccin 4, realiza una evaluacin de
Finalmente se presentan la discusin
las caractersticas psicomtricas de los constni~tos(~).
y consideraciones finales del trabajo.
'
364
ART~cULOS DOCTRINALES
David Noraqjo-Gil
Salvmdo las Wcultades del uso de la encuesta en la investigacin contnule de gestin
mams adecuada, siendo adems la ms usada en la investigacin contable de gestin [Robert, 1999; Young, 19961.
La encuesta postal, como cualquier otro mtodo de investigacin, tiene tanto ventajas como inconvenientes, entre stas suele ser criticada particularmente por dos aspectos [Robert, 19991: l ) tener un bajo ndice de respuesta (alto ndice de no-respuesta)y 2) tener una
baja calidad de los datos (alto ndice de errores).
Respecto al primer aspecto, Dillman [20001 arm que hay dos razones principales por la
que las personas no devuelven los cuestionarios, en primer lugar simplemente no lo reciben, y en segundo lugar no desean responder. La primera razn est en gran medida, aunque no por completo, bajo el control de los investigadores, y una bsqueda inicial rigurosa
para actualizar las dkecciones, unido a la realizacin de una clara y concisa lista de nombres puede reducir este factor sustancialmenteDillman, 20001. La segunda razn, tambin
est bajo el control parcial del investigador, el cual puede reducir la cantidad de devoluciones considerablemenle. DiUman [20001 sugiere un proceso muy detallado que denornina <Diseoa Medida de Encuestas (Tailored Design of Surueys), y que incluye cinco contactos con la poblacin objetivo que ayudan a incrementar el ndice de respuesta en las
encuestas postales. En este trabajo se sigui las recomendaciones de DiUman E20001, las
cuales se desarrollan en la siguiente seccin.
Respecto al segundo aspecto, la baja calidad de las respuestas, Roberts [19991 identific varios tipos de errores en los datos recogidos con cuestionarios: errores sistemticos o de sesgo y errores aleatorios. El error sistemtico influye en la validez de la escala mientras que
el error aleatorio intluye en la fiabilidad de la escala Drownell, 1995, p. 47Y3).Adems este ltimo no puede ser controlado en su totalidad, aunque el investigador puede contrastar
si determinadas variables claves (eg. tamao de la organizacin) influyen en la direccin
de las respuestas. El error de sesgo se refiere a una tendencia consistente que hace que
una medida sea mayor o menor de lo que debera ser. Una de las fuentes ms comunes
de sesgo es el efecto halo, un error constante que ocurre cuando las impresiones generales que tiene el encuestado de una variable sesga su valoracin de los distintos aspectos o
tems que componen dicha variable [Smith, 2003; Pedhazur y Pedhazur, 19911(4);el efecto
halo suele aparecer por la asociacin de una serie de preguntas sucesivas que son muy similares entre s Dbert et al., 20011. Otro error sistemtico es el de condescendencia (leniency error en la terminologa anglosajona), que es la tendencia de los individuos a querer dar una imagen favorable de ellos mismos. Este tipo de error esta ligado a escalas de
autoevaluacin, particularmente a escalas de rendimiento [Brownell, 19951. Todas estas
desventajas de la encuesta pueden reducirse e incluso superarse con una buena planicacin de la encuesta, un cuidadoso diseo y dislribucin del cuestionario y un detallado anlisis psicomtrico de los datos recogidos Boberts, 1999; DiUman, 20001.
Respecto a las ventajas de la encuesta postal puede destacarse que permite llegar a una
muestra amplia y dispersa a un coste relativamente bajo. Adems si el
es cui(3) La validez y fiabilidad de las escalas ser desarrollada en la seccin siguiente del diseo y distribucin del cuestionario.
(4) Otro ejemplo es la tendencia por parte de algunos encuestados a dar valoraciones que son consistentemente demasiado altas o demasiadas bajas. Otros tienden a evitar categoras extremas, concentrndose en cambio en categoras alrededor de la mitad de las escalas, es el llamado error de tendencia central [Pedhazur y Pedhazur, 19911.
(5) El trmino instrumento hace referencia al conjunto de constructos o variables que contiene el cuestionario [Dillman, 20001.
David Narmjo-Gil
Salvando 111s
dificuliades del uso de la encucsh cn la investigacin contable dc geson
ART~CULOSDOCTRINALES
365
dadosamente desarrollado y validado antes de usarlo, los resultados tendrn una gran fiabilidad y validez. Asimismo si se realiza una adecuada planifkacin, se elige una muestra
representativa y se sustentan las hiptesis en una base terica slida, los resultados sern
fcilmente generalizables [Brownell, 19951.
En la encuesta postal es necesario anticipar todas las posibles contingencias y peculiaridades de interpretacin de los datos a recoger debido a la estandarizacin de la comunicacin escrita, la cual deber ser comprendida por todos los encuestados, ya que no es posible estar presente para aclarar o aadir matizaciones al cuestionario [Brownell, 1995;
Robert, 19991.Antes de desarrollar la encuesta se debe: 1)p l w c a r la informacin que se
necesita recoger para contrastar las hiptesis, y 2) analizar el sector o sectores donde se
obtendr la evidencia emprica, con el objeto de ajustar la encuesta a la poblacin objetivo. Ambos aspectos de la plani6cacin no suelen ser recogidos explcitamente en la investigacin contable de gestin que usa el mtodo de la encuesta para recoger datos [Young,
1996; Dillman, 20001.
en conLa hiptesis bsica de este trabajo analizaba la relacin entre varios constr~~ctos,
creto, examinaba el uso del SCG por diferentes equipos directivos (profesionales y admi:
nistrativos) y su efecto en la implantacin de la estrategia, as decarrokmos una lista con
los requicitos de informacin de los constructos esenciales que deben operativizarse y ser
medidos en el cuestionario,actuando como una lista a revisar para asegurarse que el cuestionario h a l recoge toda la informacin necesaria para contrastar la hiptesis. Adems,
esto ayuda a marcar los lnites de la investigacin Dillman, 20001. En este trabajo denimos tres constnictos fundamentales: 1)el esto de uso del SCG, el cual deba recoger diferentes caractersticas correspondientes a un uso interactivo y diagnstico [Simons, 19951;
2) las caractersticas demogrficas del equipo directivo [Hambrick y Mason, 19841, con el
objeto de clasicarlos en profesionales o administrativos,y 3) la implantacin de la estrategia [Porter, 19851 que recoga dos aspectos de la misma: Coste y Diferenciacin (Flexibilidad). Asimismo, se control el efecto potencial de dos variables en las hiptesis formuladas: el tamao del hospital y la dependencia gubernamental'". En el caso del tamao, se
dividieron los hospitales en tres categoras (pequeos, medianos y grandes) en funcin del
nmero de camas [Abernethy y Brownell, 19991. Respecto a la dependencia gubernamental, clasicamos los hospitales en dos categoras. La primera agrupaba los hospitales en las
regiones que venan disfrutando de autonoma en la gestin sanitaria hasta 2002, ao en
el que se transrieron a todas las Comunidades Autnomas las competencias en sanidad
(eg. Andaluca, Navarra, Canarias, Catalua, Valencia, Galicia y Pas Vasco). El segundo
grupo lo formaban el resto de regiones, que hasta 2002 dependan de un servicio central
denominado lInsalud.
El establecimiento de los requisitos de informacin debe hacerse considerando el marco terico que sustenta el trabajo. En este trabajo se us una teora organizativa dentro de un
marco contingente, en concreto se utiliz la teora de los mandos superiores, la cual arma que las caractersticas demogrficas de los equipos directivos estn relacionadas con
(6) El establecimiento de las variables de control est muy relacionada con el sector y la poblacin objetivo del estudio
emprico.
366
ART~CULOSDOCTIUNALES
David Naranjo-G.
Salvando las diEcultades del uso de la encucsta en la investigacin contable do gestin
Dand Naranjo-Gil
Snlvnndo los dificultades del uso de la encuesta en la investigacin contable de gestin
ART~CULOSDOCTRINALES
ganizacin Errasti, 1997; Asenjo, 19991. Sin embargo, todo esto no es suciente para garantizar que los datos recogidos con la encuesta son de calidad. Muchos autores han armado que para asegurar que una encuesta recoja datos adecuados para contrastar las hiptesis, se debe poner nfasis en el diseo del cuestionario, el cual debe pasar por tres
pasos generales: la eleccin de la escala, el pre-test para contrastar la validez y fiabilidad
de la encuesta y por ltimo la adecuada administracin de la versin inal del cuestionario
Dillman, 2000; Ibert et al., 2001; Garca, Arajo y Cuevas, 20031. Diversos trabajos han
desarrollado tericamente cada uno de estos pasos Fink y Kosecoff, 1998; Dillman, 2000;
Garca et al., 20031, en la siguiente seccin aplicamos cada uno de estos puntos a nuestra
investigacin emprica.
El desarrollo de una encuesta vlida y fiable exige reducir los errores en el muestre0 y la
medicin de las variables, pues as las conclusiones a las que se lleguen sern ms consistentes [Grady y Wallston, 1988; Smith, 20031. Robert [19991 argument la importancia de
seleccionar la muestra correctamente para reducir errores en los datos recogidos y la generalizacin a la poblacin inal. Smith [2003] afirm que muchos estudios han desatendido la seleccin de la muestra, siendo una debilidad en estos trabajos que empiezan con un
367
368
ART~CULOSDOCTRINALES
David Naranjo-Gil
Snlvondo Ins diculindcs del uso do la cncucstn on la investigoci6n contnblo do gestin
error de base al no seleccionar razonadamente la muestra objetivo. Young l'19961 y Robert [19991 argumentaron que en contabilidad de gestin predomina el muestreo selectivo
fiente al muestreo aleatorio, es decir, se suele conocer el tamao de la poblacin, y por tanto se dispone de un marco de muestreo que sirve de referencia (eg. una lista de empresas
que representan la poblacin, un libro anual de empresas y directivos). Si esta lista es muy
amplia se debe considerar algn mtodo de seleccin, siendo el de muestras aleatorias (establecidas estadsticamente) el que ms probabilidad tiene de producir una seleccin representativa [Robert, 19991.
Young [19961 identific entre las oportunidades para mejorar la encuesta, que el cuestionario incrementara el conocimiento organizativo, es decir, que estuviera en sintona
con el <denguajede las empresas de la poblacin objetivo, para que as las respuestas
no estuvieran limitadas debido a la irrelevancia percibida del cuestionario. Esto se consigue centrando el estudio emprico en un sector adecuado para contrastar las hiptesis
al mismo tiempo que se intenta aportar evidencia emprica a la teora Eoung, 1996;
Grady y Wallston, 19881. En nuestro caso nos centramos en el sector pblico de hospitales, estableciendo la lista de organizaciones (hospitales) que constituan nuestra poblacin, con ayuda del Catlogo Nacional de Ilospitales. Al ser la lista relativamente pequea (218 hospitales) no seleccionamos una muestra sino que dirigimos el estudio a toda la
poblacin.
Respecto a la medicin de las variables, debe prestarse atencin al tipo de escala de medicin y a la fiabilidad y validez de la medida [ver Garca et al., 20031. Existen diversos tipos
de escalas de medicin [ver Brownell, 19951, en nuestro trabajo elegirnos la escala Likert
respecto a otras escalas (eg. escala de Thurstone y escala de Gutbnan)", por ser relativamente simple de constniir y permitir tratar la multidimensionalidadde las variables CBrownell, 19951. Se us escalas multi-tems respecto a las escalas de un tem bsicamente por
dos razones [Smith, 2003, p. 1271: 1)muchos constructos represent. conceptos complejos, y por ellos es mejor abordarlos preguntando ms de una cuestin, y 2) un nmero de
tems relacionados pueden incrementar la validez debido a la posibilidad de que las cuestiones individuales pueden ser malinterpretadas o malentendidas.
El segundo aspecto a considerar en la medicin de las variables es la fiabilidad que se refiere a cmo de bien se mide el constructo de inters, donde hay que considerar el equilibrio y precisin de la medicin [Snchez y Serabia, 19991. Las seales de fiabilidad incluyen una alta correlacin entre las medidas alternativas y alphas de Cronbach por encima
del 0,7@].
Respecto a la validez de la medida se refiere al grado en que se est midiendo el
hecho que queremos medir Drowneil, 1995; Roberts, 19991. A este respecto hay dos tipos
de medicin de la validez que deben subrayarse: validez de contenido y validez de const r ~ c t o[para
( ~ ~ un anlisis ms extenso vase Garca et al., 20031.
(7) La escala Thurstone comprende tems que representan posiciones previamente establecidas en una escala de actitud, estando involucrado en su desarrollo un panel de expertos. La escala Guttman tambihn usa de forma extensa los
juicios de expertos, que deben ponerse de acuerdo sobre el orden de una escala verbal, de modo que la contestacin
a una frase que indica el grado 3 signifique que el encuestado est de acuerdo con las otras frases que indican los grados 1 y 2 [Brownell, 1995, p. 421. Ambas escalas no son muy adecuadas para tratar variables multidimensionales
[Brownell, 19951.
(8) El alpha de Cronbach evala la fiabilidad de una escala de ratios, tales como la escala Likert, al medir un factor no observado. Dicho alpha es el cuadrado de la correlacin entre la escala medida y un factor implcito. Por convencin, un buen
conjunto de escalas de tems debera tener un alpha de Cronbach de 0,7 o mayor para constructos formados por unos 10
items [Nunnally, 1978; Pedhazur y Pedhazur, 19911.
David Naranjo-Gil
Salvando Ins dificultades del uso de la encuesta en la investigacin contable de gestin
ART~CULOSDOCTRINALES
La validez de contenido existe cuando la medida es representativa de todas las propiedades del constnicto terico. Los tests para la validez de contenido son Mciles de describir,
pues es mas bien un proceso racional y subjetivo, aunque con i-ecuencia se emplea la opinin de expertos para evaluar los constructos. Otras formas de contrastar la validez de contenido son: 1) enviar el cuestionario a un grupo representativo de la muestra final, y 2) la
realizacin de entrevistas o visitas a las empresas de la muestra o similares [Hair, Anderson, Tatharn y Black, 1998; Garca et al., 20031. Con ello se pretende averiguar si los tems
incluidos en el constnicto a medir cubren todas o la mayora de las dimensiones relevantes para la investigacin.
Por otro lado, la validez de constructo existe cuando la medida exhibe estabilidad y equilibrio a travs de distintos estudios, con ello se indica que los datos reflejan una valoracin
certera y no son producidos articialmente por el instrumento Pedhazur y Pedham,19911. Varios temas estn relacionados con la validez del constnicto Pedhazur y Pedh a m , 1991;Hair et al., 19981,tales como: 1)Dimensionalidad (los distintos tems del constructo estn relacionados con una sola dimensin o concepto a medir); 2) Fiabilidad (la
escala debe ser consistente en el tiempo y en su uso en otros estudios),y 3) Validez (la escala debe medir lo que se pretende medir y no otros aspectos). En nuestro caso la validez
de contenido y de constructo se examin como sigue:
1. Se revis la literatura existente con el objeto de idenacar constnictos similares previamente usados en estudios contables de gestin con el objeto de aumentar la comparacin de las conclusiones.
2. Donde fue posible, se us variables que haban demostrado una fiabilidad y validez en
estudios anteriores. En el caso de haber varios instrumentosfiables y vlidos, se eligi
aquel con una longitud menor. Asimismo, seguimos las recomendaciones de Ibert et al.
[20011, quienes armaron que los investigadores deben ser conscientes de que la validez de las escalas ya existentes est muy unida al contexto en el que fueron usadas
(eg. sector y pac), por lo que su traslado a otro contexto debe hacerse con muchas precauciones, vericando siempre que son vlidas en el nuevo contexto.
3. Se realizaron diferentes entrevistas con miembros de los equipos directivos de cuatro
hospitales con el propsito de obtener mayor conocimiento de los constructos y adaptarlos al contexto sanitario espaol''".
4. La elaboracin de las pregmtas de la encuesta (incluyendo las tomadas directamente
de medidas validadas) sigui la gua de desarrollo de encuesta de Dillman [20001.
5. Varios profesores del departamento,junto con los encuestados en el pretest, revisaron
las preguntas para obtener validez externa.
Ms an, se realizaron los tests empricos sugeridos por Nunnally [19781tanto para la validez de contenido como para la de constnicto. Los tests empricos realizados para la validez de contenido incluyeron: 1)revisin del rango de respuestas, y 2) clculo del Alpha de
(9) Respecto a la validez, Brownell [1995] y Garca etal. [2003] distinguieron entre validez de contenido, validez de constructo (convergente y discriminante) y validez de criterio (concurrente y predictiva). La validez de criterio se refiere al grado en que un constructo est relacionado como se prev tericamente con otros constructos, este tipo de validez no suele ser contrastada en estudios contables [Browneil, 19951. Garca etal. [2003, p. 361 afirmaron que el uso de medidas sin
un anlisis de convergencia y discriminante podra conducir a serios problemas de interpretacin de los resultados.
(10) Estas entrevistas tambin pueden ayudar a desarrollar nuevos instrumentos si fuera necesario.
369
370
ART~CULOSDOCTRINALES
David Nnranjo-Gil
Snlvmdo las dificultados del uso do la encuesta en la invesiigacincontnule de gestin
Cronbach, como medida estadctica de la fiabilidad interna'"]. Asimismo, los tests ralizados
para la validez del constructo fueron: 1)anlisis factorial (exploratorio y confiimatorio), y
2) anlisis de correlacin (ver la seccin de anlisis psicomtrico ms adelante).
3.2. DB~ARROLLO
DEL PN3-TEST
El pretest fue realizado en tres etapas Dillman, 20001, con el objeto de salvar las deficiencias descritas por Young l19961: 1)la ronda de entrevistas; 2) la elaboracin de las preguntas, y 3) los pretests de los distintos borradores del cuestionario entre los miembros de
la poblacin objetivo.
3.2.1. La ronda de entrevistas
El propsito de la primera etapa fue contrastar la importancia del estudio en el sector obteniendo opiniones de cmo conseguir una mayor participacin en este proyecto, y recibiendo consejos sobre la disposicin de las cuestiones y la medicin de los constructos. Un
total de 18 entrevistas se realizaron entre Noviembre de 2001 y Enero de 2002 en cuatro
hospitales generales. Estos hospitales fueron elegidos por tres razones: 1)tenamos contactos y una relacin muy buena con ellos; 2) ectaban cerca de la Universidad donde se realizaba el proyecto, exactamente dos hospitales estaban en la misma provincia y otros dos
en provincias cercanas, y 3) representaban una buena muestra por tamao (uno pequeo,
uno mediano y dos grandes).
En los cuatro hospitales se entrevist a tres equipos directivos completos (cinco miembros
cada uno), siendo entrevistados un total 18 directores: cuatro directores generales, cuatro
directores mdicos, tres directores de enfermera, tres directores de servicios generales y
cuatro directores econmicos-hancieroc. A travs de estas entrevistas recogimos ideas y
comentarios para disear el estudio, redactar las distintas cartas (de preaviso, presentacin y seguimiento) y para medir los constructos.
3.2.2. La elaboracin de las preguntas
En la elaboracin de las preguntas del cuestionario se realiz una traduccin cuidadosa de
los instrumentos originales del ingls (algunos procedan de estudios espaoles y de las entrevistas realizadas) y se prepar el primer borrador del cuestionario. Este borrador fue
presentado a seis colegas de las reas de Contabilidad y de Organizacin de Empresa, incluyendo estudiantes de doctorado y profesores, algunos de los cuales haban ocupado cargos en la gestin de empresas recientemente. Basado en sus comentarios se hicieron varios cambios en el orden de las preguntas, as como en la redaccin de las mismas.
3.2.3. Los pretests de los distintos borradores entre los miembros de la poblacin
objetivo
Por ltimo, esta nueva versin del borrador del cuestionario fue tambin previamente contrastada con cuatro directivos del sector sanitario (dos directores de hospitales privados(11) El alpha de Cronbach puede tambin interpretarse como un indicador de error de medicin. Por ejemplo, un alpha
de 0,7 indica que el 30% de la varianza en la variable se debe a un error de medicin [Nunnally, 19781.
David Naranjo-Gil
Salvando las dificultades del uso de la encuesta en la investigacin contable de gestin
ART~CULOSDOCTRINALES
El cuestionario se dise en forma de cuadernillo para facilitar su lectura y respuesta. Asimismo, el cuestionario no era muy largo, slo seis pginas contenan preguntas sobre la investigacin, con ello se ganaba en economa de recursos y se reduca el eventual rechazo
entre los directivos a la hora de contestar un cuestionario que pareciese demasiado extenso DiUman, 20001. Asimismo, se puso nfasis en la creacin de un estimulo comn para todos los encuestados, por ello se cuido el orden de presentacin de las peguntas al objeto de
asegurar que los encuestados vieran y entendieran de forma similar todas las preguntas,
as se agrup de forma clara y sencilla la informacin presentada en cada pgina del cuestionario Dillman, 20001.
Respecto al contenido del cuestionario, siguiendo a Bryman [2001, p. 1171 se prest especial atencin en comenzar la encuesta con preguntas relativamente simples y cerradas
(eg. nombre y edad), agrupando las preguntas ms complejas al nal del cuestionario
(eg. grado de implantacin de distintas dimensiones estratgicas). Las cuestiones siguieron,
en la medida de lo posible, un orden lgico, usando agrupaciones temticas para facilitar
el paso de un tema a otro mert et al., 20011, prestando mucho cuidado a la ordenacin de
las preguntas para evitar cualquier sesgo por efecto de contaminacin entre ellas('". El pretest realizado ayud a disear el orden de las cuestiones y la forma de plantearlas. As, pa(12) El efecto contaminacin ocurre cuando una pregunta influye en la pregunta o preguntas siguientes [Ibert etal., 2001;
Smith, 20031.
371
ART~CULOSDOCTRINALES
David Naranjo-Gil
Salvando Ins dificultades do1 uso do la oncuesta on la invcstimcin contnblo de eestin
ra aclarar y guiar mejor el desarrollo del cuestionario se agruparon las preguntas por bloques (en lugar de una distribucin mixta): 1) Caractersticas de los Directivos; 2) Sistema de
Contabilidad de Gestin, y 3) Dimensiones Estratgicas. Siguiendo las indicaciones de los
directivos entrevistados, se evit realizar una definicin acadmica del sistema contable de
gestin, ya que poda mal interpretarse o entenderse de forma distinta, debido al sesgo de
los directivos en el sector sanitario. En lnea con Chenhall y Langfield-Smilh [19981 se defini el sistema contable de gestin como un conjunto de tcnicas de contabilidad y control
de gestin, dando ejemplos de aqullas ms usadas en los hospitales pblicos espaoles.
En este sentido, durante el pretest se confeccion una lista comn de prcticas y tcnicas
de contabilidad de gestin normalmente usadas o de reciente introduccin en los hospitales pblicos espaoles, la cual inclua sistemas lradicionales de caculo de costes (eg. COAN), anlisis de desviaciones presupuestarias, anlisis coste-volumen-beneficio, cuadro de
mando integral, coste basado en las actividades, y anlisis de rentabilidad de los servicios.
Antes de comenzar el bloque de preguntas sobre el sistema de contabilidad de gestin, se
introdujo una pregunta donde se defina el mismo y se daban ejemplos de las tcnicas de
contabilidad y control de gestin. Posteriormente, se continu el bloque preguntando sobre
cmo usaban el SCG (eg. interactjvo y diagnstico), qu tipo de informacin usaban (eg. clnica y econmica), y por ltimo para que tipo de decisiones (eg. asignacin de recursos y
evaluacin del rendimiento).
3.3 .l. Disposicin y Objetivos de las preguntas
La pgina inicial del cuadernillo de la encuesta contena las i n s ~ c c i o n e generales
s
a seguir a lo largo del cuestionario, donde se destacaba que no haba respuestas correctas o incorrectas y se les indicaba cmo responder a las preguntas (eg. marcando con un circulo
la respuesta en la escala proporcionada). Posteriormente la pgina primera preguntaba sobre los datos demogrzXcos de los encuestados, tales como edad, sexo o antigedad en el
puesto y organizacin. En esta pgina se introdujo el bloque sobre las caractersticasde los
directivos, cuyo objetivo era recoger informacin tanto sobre la formacin de los directivos
(eg. postgrado, doctorado, masters, seminarios o cursos especializados), como de la experiencia de los mismos (eg. clnica, administracin o gestin en hospitales pblicos o en otras
instituciones sanitarias), con ello pretendamos analizar el peril predominante (profesional
vs. administrativo) de los directivos (ver anexo para las preguntas del cuestionario).
En la segunda pgina del cuadernillo se introduca el bloque sobre el sistema contable de
gestin, el cual se iniciaba preguntando sobre la utilizacin de distintas tcnicas de contabilidad y control de gestin (eg. cuadro de mando integral o anlisis de desviaciones). Tambin se preguntaba el estilo de uso del SCG, con el objetivo de conocer si lo usaban de forma interactiva o diagnstica [Simons, 19951. A este respecto, es de destacar que durante el
pretest encontramos que en el sector mdico, la palabra diagnsticotiene un significado
especial relacionado con el descubrimiento de la enfermedad de los pacientes. Por esta razn, operativizamos el concepto de diagnstico con frases cortas basadas en Simons E19951
en lugar de con una descripcin que enfatizaba el concepto de diagnstico [Abernethy y
Brownell, 19991.As, se preguntaba si usaban el sistema contable de gestin para cuestionarse y discutir los planes y objetivos establecidos, para motivar la asuncin de nuevos retos y oportunidades por parte de sus subordinados, para involucrase en una atencin permanente con el resto del personal o para evaluar y controlar estrechamente a sus
subordinados (ver anexo).
David Naranjo-Gil
Salvando las dilicultadcsdel uso de la encuesia en la investigacin contable de gestin
ART~CULOSDOCTRINALES
En la pgina tercera del cuadernillo del cuestionario se preguntaba sobre el grado de uso
de una serie de indicadores econmicos y cliicos (no econmicos)normalmente usados en
la gestin de los hospitales pblicos espaoles. As se preguntaba sobre el coste medio por
paciente o punto GDR, la informacin de encuestas de satisfaccin del cliente, la hecuentacin hospitalaria (tanto urgentes como regladas) o el ndice de cobrados a terceros. El objetivo era conocer su orientacin hacia un mayor uso de indicadores clnicos o indicadores
econmicos o nancieros. La pgina cuarta preguntaba el grado de uso del SCG para la toma de decisiones sobre asignacin de recursos y/o sobre evaluacin del rendimiento. En este caso se present una descripcin general de cada tipo de decisin basada en la literatura Beck, 2001; Reed, 20011(131.
El objetivo era conocer el uso del SCG para facilitar la toma
de dos tipos de decisiones extensamente usadas en la literatura contable [ver Chenhall, 20031.
Las ltimas pginas del cuestionario introducan el bloque sobre dimensiones estratgicas, as
se les preguntaba sobre el grado de implantacin de diversas dimensiones estratgicas, relacionadas con aspectos de costes y aspectos de flexibilidady descentralizacin organizativa (ver
anexo). Estas dimensiones eran comunes en los planes estratgicos formulados por las distintas autoridades sanitarias regionales. Con ello se pretenda conocer el grado de adopcin
(cumplimiento)de los planes estratgicos formulados por los servicios sanitarios centrales de
cada regin. Tambin se pregunt sobre la percepcin de la estrategia y el cambio estratgico en los dtimos tres aos, para ello usamos dos descripciones de estrategia basadas en la tipologa de Miles y Snow [19781. Con ello se pretenda un doble objetivo, conocer la percepcin
de la estrategia actual y de su evolucin, esto permitira analizar el papel del sistema contable
de gestin como un mecanismo facilitador de la estrategia organizativa. La ltima era una pgina con un gran recuadro en blanco que poda ser usado por el encuestado para expresar su
opinin sobre el cuestionario o bien incluir una pgina extra con sus sugerencias. Adems, en
esta ltima pgina se le daba la oportunidad para indicar si estaban interesados en mantener
una futura colaboracin con el equipo de investigacin y si deseaban recibir el informe nal
con los resultados del proyecto.
A un nivel ms tcnico, es de destacar que a lo largo del cuestionario se uc una escala tipo Ltert de cinco puntos con un punto extra, numerado como O para ohecer la opcin
Con esto pretendde una opinin neutral o sencillamente ninguna opinin en absoluto(141.
amos distinguir a los encuestados que daban su opinin sincera de aqullos que se vean
forzado a elegir sobre un tpico para el cual hubieran aportado muy poco o nada. Siguiendo
a Dillman [20001 esta categora indecisa se puso en ltima posicin separada de la escala de 1-5 puntos.
Y DISTRIBUCI~NDEL CUESTIONARIO
3.4. As~~cro
373
374
ART~CULOSDOCTRINALES
David Naranjo-Gil
Snlvmdo los dicuitndes del uso de lo encucsta en la investigacincontable do gestin
ce de respuestas Dillman, 20001, este estudio desarroll distintos pasos para asegurar que
el medio de reparto - e n este caso, la carta de presentacin, el cuestionario y el sobre de
respuesta- creara una impresin positiva. La calidad del papel, color y tamao afecta a la
impresin que el cuestionario causa en el encuestado Pillman, 20001. En este caso se us
un papel de una calidad muy buena para la carta de presentacin, tipo verjurado color
m d de 100 gramos, creando as un aspecto profesional y una presentacin de alta calidad. Siguiendo a Dillman l20001, la encuesta se imprimi en forma de cuadernillo de tres
folos plegados tamao A4 (210 x 297 mm), incluyendo la portada, la cual se imprimi en
el mismo tipo de papel verjurado que la carta de presentacin. La impresin se realiz en
una impresora lser color con un tipo de letra sucientemente grande y de calidad para
obtener una apariencia profesional. Con ello, el diseo del cuadernillo proporcionaba una
fcil y confortable lectura y respuesta de las preguntas, las cuales estaban enmarcadas por
reas o bloques para clarificar y facilitar an ms el seguimiento del cuestionario. Seguimos un procedimiento intenso para distribuir la encuesta, el cual se bas en cinco contactos Dillman, 20001:
3.4.1. Primer Contacto: La carta de preaviso
Una carta de preaviso se envi el 26 de Agosto de 2002g5).En esta carta se le deca a los
directivos que recibiran en los prximos das una encuesta para un importante proyecto
de investigacin. La carta de preaviso estaba personalizada con el nombre y apellidos del
directivo y estaba fumada a mano y en tinta azulnopor los miembros del equipo de investigacin. Esperbamos que tanto la personalizacin como la h a a mano de las cartas creara una imagen seria y causara buena impresin entre los directivos, todo ello con el objetivo de aumentar su inters en participar en la investigacin Dillman, 20001.
3.4.2. Segundo contacto: El envo de la encuesta
La encuesta se envi por correo una semana despus del primer envo, junto con un sobre de retorno y una carta de presentacin. Esta ltima fue impresa en papel tipo verjurado con los escudos de las universidades implicadas en el estudio, asimismo estaba personalizada y firmada tambin a mano en tinta azul por los miembros del equipo de
investigacin. Esta carta se dise para contestar algunas de las preguntas que los encuestados se suelen hacer, como por ejemplo: De qu trata esto?, Quin quiere conocer mi opinin?, Por qu quieren mi respuesta?, Por qu he sido seleccionado?, iCmo de importante es esto?, Ser difcil de responder?, Llevar mucho tiempo?, Me
costar algo?, Podr ser identificado?, Cmo usarn los resultados?, y Qu me dan u
okecen a m?En resumen, la carta de presentacin explicaba el proyecto de investigacin y peda la participacin de los encuestados. Se garantizaba el anonimato de las respuestas y que ninguna de forma individual sera revelada. La carta fuializaba agradeciendo por adelantado a los encuestados su participacin en el proyecto de investigacin
y el envo del cuestionario que se adjuntaba.
(15) Esta fecha fue elegida para evitar el envo del cuestionario en poca de vacaciones (eg. Navidades, Semana Santa,
Julio y Agosto), debido a que el ndice de respuesta puede verse disminuido [Dillman, 2000; Smith, 20031. Se decidi enviarlo la ltima semana de Agosto, con el objeto de que los directivos lo recibieran los primeros das de Septiembre.
(16) La firma a mano en un color diferente al de las letras impresas (normalmente negro) puede proporcionar una irnpresin positiva [Dillman, 20001.
David Naranjo-Gil
Snlvondo 1% diiculhdes del uso de la encuestn en lo investigacin contable de gestin
ART~CULOSDOCTRINALES
Siguiendo a Dillman [20001 la cartula del cuadernlo de la encuesta deba estar diferenciada de otras que pudieran recibir los directivos, con el objetivo de que fuera fcil y claramente identificada entre todas las posibles encuestas y documentos que los directivos pudieran recibir. Asla cartula de presentacin del cuadernlo de la encuesta tena un dibujo
azul que representaba la c m identificativa de los hospitales, el nombre y escudos a color
de las Universidades involucradas en el proyecto de investigacin, as como un nombre corque apato del proyecto de investigacin Estrategia y Control en Hospitales Pblicos>>[1n,
reca en el centro de la pgina. Por ltimo, en la parte posterior del cuadernlo se incluy
un cdigo de identificacin, el cual consista en un nmero entre 1y 5 para identificar el tipo de director seguido por un nmero del 1al 218 para identificar el tipo y nombre del hospital. El propsito de este cdigo fue solamente controlar las respuestas para facilitar el
anlisis estadstico y hacer posible el seguimiento de los que no respondan.
Cada encuestado tambin recibi un sobre pre-franqueado para enviar el cuestionario a
los investigadores sin coste alguno para l. Adems, a cada encuestado se le regal un bolgrafo de alta calidad serigraiiado con el escudo de las universidades involucradas en la investigacin, con ello pretendamos darle un pequeo incentivo agradecindoles el tiempo y
colaboracin prestada. Este tipo de incentivo se ha demostrado que tiene un papel muy motivador para que las personas respondan a las encuestas [Dillman, 20001. En total se enviaron 884 paquetes con toda la documentacin de la encuesta a 218 hospitales.
3.4.3.
Aproximadamente dos semanas ms tarde del segundo contacto, se envi una carta de seguimiento a todos los encuestados, de nuevo personalizada y firmada a mano. El propsito de esta carta fue agradecer la respuesta a aqullos que hubiesen contestado e imitar a
responder a aqullos que no lo hubieran hecho an, para ello se les deca que si por algn
motivo el cuestionario se haba extraviado o no haba llegado a ellos, se pusieran en contacto con el equipo investigador para que se lo remitiramos de nuevo. Fruto de ello, se recibieron ms de 40 llamadas de telfono y correos electrnicos pidiendo que se enviara de
nuevo el cuestionario, siendo la razn ms argumentada el extravo del mismou8'.
3.4.4.
Unas tres semanas ms tarde del tercer envo, una segunda copia del cuestionario fue enviada a aqullos que no haban contestado an. Como en el segundo contacto, se incluy
una carta de presentacin y un sobre pre-franqueado. Sin embargo, en este envo no se incluy el bolgrafo ni ningn otro incentivo, bsicamente por razones presupuestarias. En
este sentido, Dillman [20001 desaconseja el envo de algn incentivo en el segundo o posteriores contactos por razones de rentabilidad de la inversin.
3.4.5.
Finalmente, aproximadamente dos semanas ms tarde del cuarto envo, se contact por telfono con aquellos encuestados que todava no haban respondido al cuestionario, invi(17) Los comentarios de los directores durante las entrevistas apuntaban como apropiado el usar este nombre corto en
el cuestionario.
(18) Es de destacar que muchos directivos recordaban nuestra encuesta por el bolgrafo que an conservaban, lo cual refuerza la importancia de incluir este tipo de incentivos en las encuestas [Dillman, 20001.
375
376
ART~CULOSDOCTiNALES
David Naranjo-Gil
Snlvnndo los diucultodes del uso do In encuesta en la invesbl~acincontable de ~esbln
tndoles a hacerlo al mismo tiempo que se le subrayaba la importancia de su respuesta para el xito del estudio. Especial nfasis se puso en conseggir las respuestas de determinados directivos necesarios para completar las respuestas del equipo directivo de ciertos hospitales. Elegimos el contacto telefnico sobre el postal, debido a que dispom'amos de los
nmeros de los disihtos directivos, adems de que estos individuos no haban respondido
a los envos postales previos. Este atimo contacto exige gran capacidad de comunicacin,
paciencia y persuasin para tratar de motivar a los directivos a contestar al cuestionario
Dillrnan, 20001, nuestra estrategia se centr en dar datos sobre el ndice de respuesta, debido a que era alto, con el objetivo de resaltar la importancia que tena el estudio para el
sector y para el hospital en particular, asimismo insistimos que comunicaramos los resultados de la investigacin al directivo tan pronto como fueran procesados y analizados.
La muestra total de este estudio fue de 884 directores en 218 equipos directivos. El ndice
de respuesta alcanz el 53,5%, ascendiendo a 473 respuestas tiles. Del total de respuestas formamos equipos directivos, ya que stos constihyen nuestro nivel de anlisis. As, de
las 473 respuestas tiles slo 345 fueron usadas para formar 92 equipos directivos completos (42,2%).Descartamos el resto de respuesta (un total de 128) para el anlisis de las
hiptesis sobre el equipo directivo. Sin embargo, para el anlisis psicomtrico usamos la
muestra completa, debido a la mayor riqueza de datos obtenidos.
Debe notarse que la no-respuesta se convierte en un problema grave si se demuestra que
hay diferencias sistemticas entre los que responden y no responden, y que tales diferencias afectan a los resultados [Young, 19961. Este trabajo us tres aproximaciones para evaluar los posibles efectos del sesgo de no-respuesta: a) Comparar las respuestas de la encuesta con la lista original usada para el mailing; b) Comparar las respuestas que se
recibieron en primer lugar con las ms tardas, y c) Comparar las respuestas de la muestra usada para la formacin de los equrpos directivos con el resto de la muestra total recogida [Pedham y Pedham, 1991; Roberts, 19991.
David Naranjo-Gil
Salvando las dicultndes del uso de la cncuesh en la investigacin contable de gestin
ART~CULOSDOCTRINALES
a) Comparacin de las respuestas de la encuesta con la lista original usada para el mailing
Contrastamos si las respuestas procedan de ciertos hospitales y regiones, ya que entonces
los datos de la encuesta no seran u11 reflejo de la poblacin, lo cual limitara la generalizacin de los resultados. Realizamos pruebas de Chi-cuadrado basadas en las caractersticas conocidas del tamao del hospital (pequeo, mediano y grande) y de la dependencia
gubernamental (ver Tabla 2)'"'. En ambos casos, los resultados de la prueba Chi-cuadrado
no son s i ~ c a t i v opor
s lo que proporcionan apoyo a la hiptesis de ausencia de diferencias entre la lista original usada en el mailing y las respuestas de las encuestas obtenidas.
TABLA
2
PRUEBA
CIU-CUADRADO PARA LA POBLACI~NTOTAL BASADA EN EL TAMAO DE LA LISTA ORIGINAL
DEL MAILING Y LAS RESPUESTAS DE L4 ENCUESTA
Tamao
LISTAORIGINAL
375
42,42
200
42,30
265
29,98
154
32,55
244
27,60
119
25,15
473
1O0
TOTAL
1O0
884
Chi-cuadrado
x2= 4.465
91 = 2
RESPUESTA
ENCUESTA
p = 0,107
377
378
Dnvid Naranjo-Gil
Snlvnndo las dificultades do1 w o do la oncuostn on In investignci6n conidlo do gestin
ART~CULOS DOCTRINALES
TABLA
3
PRUEBA
DE CHI-CUADRADO
PARA EL TAMAO COMPARANDO LAS RESPUESTASDB LOS PRIMBROS
Y I~TIMos ENCUESTADOS
Tamao
PRIMEROS
162
43.67
49
48.03
120
32.34
34
33.34
23.99
19
18.63
1O0
102
1O0
. 89
371
TOTAL
gI = 2
LTIMOS
p = 0,503
Tambin comparamos las respuestas de los primeros y ltimos encuestados en las distintas variables de este trabajo. Usando el conjunto completo de datos, la Tabla 4 muestra las
pruebas de t para muestras independientes comparando las medias de las puntuaciones
entre las respuestas de los primeros y ltimos encuestados para cada una de las variables
medidas. Los resultados para cada escala indican que las respuestas no difieren entre los
primeros y ltimos encuestados. Estos resultados apoyan la hiptesis de que no existe sesgo sistemtico debido a la no respuesta.
Variables
LTIMOS
Bagaje Profesional
2,37 (0,88)
2,42 (0,91)
-0,423
0,673
Bagaje Administrador
2,75 (1,12)
2,81 (1,15)
-0,427
0,670
3,55 (0,75)
3,42 (0,74)
1,616
0,107
3,11 (0,80)
3,03 (0,78)
0,936
0,350
3,43 (0,71)
3,47 (0,71)
0,470
0,941
2,86 (0,74)
2,81 (0,71)
0,470
0,576
c.
Comparacin de las respuestu entre la muestra usada para formar equipos directivos
con el total de la muestra
Al formar equipos directivos a partir de una seleccin de la muestra, analizamos si esta seleccin era diferente del resto de respuestas,y por ende de la poblacin. Las diferencias entre la muestra total y la muestra usada para formar equipos fueron analizadas a travs de
las pruebas t para muestras independientes comparando las puntuaciones medias. La Tabla 5 proporciona evidencia de que las respuestas no Meren entre los dos grupos, es decir las comparaciones no son significativas (p > 0,05).
David Naranjo-Gil
Salvando las diricullndesdel uso de la-encuestaen la investigacin contable de gestin
ART~CULOSDOCTRINALES
Variables
Muestra no usada
para equipos
directivos
Bagaje Profesional
2,43 (0,85)
2,25 (0,97)
1,943
0,053*
Bagaje Administrador
2,81 (1,09)
2,63 (1,20)
1,529
0,127
3,55 (0,75)
3,46 (0,76)
1,082
0,280
3,12 (0,79)
3,02 (0,81)
1,149
0,251
3,44 (0,69)
3,40 (0,75)
0,516
0,606
2,88 (0,75)
2,78 (0,70)
1,241
0,215
4.2.
EVALUACI~N
DE LAS PROPIEDADES P S I C O ~ C A S
380
ART~CULOSDOCTRDJALES
David Naranjo-Gil
Salvando las diucultades del uso da la encuesta en la investigacin contable do gestin
La contribucin relativa de los tems individuales al total del constructo se examin a travs de las correlaciones entre los tems con el de los dems tems que componan la escala (correlacin tem-total), asimismo se observ como variaba el Alpha de la escala si un
tem era eliminado. De acuerdo con las recomendaciones de Hair et al., [19981, las correlaciones tem-total mayores de 0,5 fueron consideradas signicativas.
Finalmente, se considerarontres medidas relacionadas con el constructo o componente par a examinar la validez convergente: la fiabilidad del tem, la fiabilidad del constructo y la
media de la varianza extrada. La fiabilidad del tem mide la cantidad de varianza en un
tem debido a la variable subyacente ms que a un error. Existen evidencias de validez convergente cuando la fiabilidad del tem es al menos 0,5 Nair et al., 19981. La fiabilidad del
constructo mide la correlacin entre los mltiples indicadores de una determinada variable. Siguiendo a Hair et al., [19981, la media de la varianza extrada mide la varianza de la
variable relacionada con la varianza debida a un error de medicin (el nivel mnimo es 0,5).
La validez discriminante se refiere al grado por el que una variable mide un concepto que
es denido de forma nica y que no est muy correlacionado con otras variables incluidas
en el modelo, es decir, mide la unidimensionalidad de las variables [Garca et al., 20031. La
validez discriminante de la variable se considera aceptable cuando la correlacin entre dos
variables es menor que la raz cuadrada de la media de la varianza extrada [Fornell y
Larcker, 19811.
A continuacin aplicamos el anlisis psicomtrico a una de las variables de nuestra invesEn este estudio adaptigacin emprica: El estilo de uso del Sistema Contable de Gestin[251.
tamos un instrumento basado en el trabajo de Simons [19951y desarrollado por Abernethy
y Brownell[19991, centrndonos en dos estilos de uso del SCG: Estilo interactivo, es decir,
para la gestin y coordinacin; y estilo diagnstico, es decir para el control y el seguimiento estrecho. Se les pidi a los encuestados que indicaran en una escala Likert de cinco puntos, desde Muy Bajo a Muy alto, la extensin de uso de diez tems, seis tems estaban
relacionados con el estilo de uso interactivo del SCG y cuatro tems con el estilo diagnstico. En el anexo se muestra los tems incluidos en el cuestionario para medir la variable estilo de uso del SCG. Los constructos fueron obtenidos como una media de las respuestas relacionadas con cada estilo (diagnstico e interactivo).
Las Tablas 6,7 y 8 analizan la fiabilidad y convergencia del constructo estilo de uso del SCG.
El anlisis factorial exploratorio muestra dos factores, los cuales explican el 58.756% del
total de la varianza del constructo. El Factor 1fue denominado uso interactivo del SCG, y
explicaba el 31.360 % de la varianza. El Factor 2 fue denominado uso diagnstico del SCG,
y explicaba el 27.396 % de la varianza. La fiabilidad interna de la escala de ambas variables supera el 0,7 con una alta correlacin tem-total de cada tem.
El anlicis factorial c o ~ a t o r i se
o realiz en base a estos dos factores (variables latentes), y
mostr que todos los tems tenan una fiabilidad adecuada (mayor que 0,5), y una fiabilidad
compuesta de ambos constructos mayor que el nivel recomendado de 0,7 Mair et al., 19981.
Adems, la varianza extrada fue tambin mayor el nivel miimo recomendado de 0,5.
(25) El mismo proceso de anlisis se realiz para las dems variables incluidas en el cuestionario.
David Naranjo-Gil
Salvando las dificullndesdel uso de la encuesta en la investigacin contnble de gestin
ART~CULOSDOCTRINALES
TABLA
6
h h S 1 S FACTORIAL EXPLORATORIO
~RIABLES
USO DIAGNSTICO
DEL SCG
USO INTERACTIVO
DEL SCG
tems
Correlacin temTotal
Alpha si tem
eliminado
tem 1
0,633
0,647
tem 3
0,589
0,658
tem 8
0,497
0,71O
tem 10
0,466
0,732
tem 2
0,677
0,814
tem 4
0,687
0,817
tem 5
0,683
0,817
tem 6
0,716
0,810
tem 7
0,715
0,810
tem 9
0,539
0,844
Alpha
0,745
0,851
(26) La medida de adecuacin muestra1 de Kaiser -Meyer-Olkin es un estadstico que indica la proporcin de varianza en
la variable que es una varianza comn (causada por factores subyacentes). Si el valor es menor que 0,5, puede que no sea
til realizar el anlisis factorial a los datos. Valores altos cercanos a 1,O suele indicar que los datos son adecuados para realizar un anlisis factorial. El test de esfericidad de Bartlett indica si la matriz de correlacin es una matriz identidad, lo cual
indicara que los tems no estn relacionados. El nivel de significacin proporciona el resultado del test. Valores muy pequeos (menores de 0,05) indican que hay relaciones significativas entre los tems. Un valor mayor que 0,l indica que los
datos no son apropiados para el anlisis factorial.
381
382
David Naranjo-Gil
Sdvando las dilicultades del uso do In encuesta en la invesbigocin contable de gestin
ART~CULOSDOCTNNALES
VARIABLES
hems
tem 1
USO DIAGN~STICO
DEL SCG
USO INTERACTIVO
DEL SCG
Cargas
Coeficiente
estandarizada
crtico
*
0,742
Fiabilidad
Individual
Fiabilidad
Compuesta
Varianza
Extrada
0,551
0,821
53,527%
0,914
64,256 %
tem
0,744
15,715
0,554
tem 8
0,729
16,127
0,532
item 10
0,711
13,877
0,505
tem 2
0,711
0,506
item 4
0,833
16,154
0,693
tem
0,782
16,230
0,612
item 6
0,845
15,107
0,714
tem 7
0,872
15,914
0,761
item 9
0,755
15,084
0,569
Finalmente se evalu si ste y los dems constnictos estaban relacionados entre s, en otras
palabras, si los diferentes constructos eran nicos lHair et al., 1998; Garca et al., 20031.
Se comprob que la correlacin entre cada par de constnictos era en todos los casos considerablemente menor que la raz cuadrada de la media de la varianza extrada de los
tems que miden cada variable. As, el rango medio de la varianza extrada oscilaba entre
0,724 y 0,801, donde el rango de las correlaciones oscilaba entre 0,010 y 0,707. Por lo tanto, podemos concluir que hay validez discriminante entre todos los constnictos analizados,
es decir, cada variable es nica y no est muy correlacionadacon las dems variables analizadas.
David Naranjo-Gil
Salvondo 1 s diculuies del uso de la encuesta en la investigacin contable de gestin
ART~CULOSDOCTRINALES
cuestionario, a la correcta administracin del mismo y a un detallado anlisis psicomtrico que evale la validez y fiabilidad de todas las medidas realizadas. Ello permitir recoger datos de calidad y demostrar que el mtodo de la encuesta en contabilidad de gestin
puede ser riguroso y muy relevante. Este trabajo ha realizado un anlisis exhaustivo del
proceso de diseo y distribucin del cuestionario, as como de la medicin de las variables,
las cuales muestran una alta fiabilidad y validez. Esto ayuda a crear un instrumento robwto y fiable que puede proporcionar resultados consistentes y vlidos para ser usados en
futuras investigaciones contables.
Este trabajo no recoge todas las tcnicas disponibles para realizar el proceso de la encuesta y mejorar la calidad de los datos, slo ha puesto de manifiesto distintas formas de salvar
las crticas al mtodo de la encuesta, eligiendo la ms idnea para el trabajo emprico que
se analizaba. Asimismo, el mtodo de la encuesta, como otros mtodos de investigacin, tiene limitaciones, la ms usual es la relacionada con la profundidad de los conceptos que se
pretenden medir, el escaso detalle de las variables se sacrica para llegar a una muestra
amplia que permita desarrollar inferencias estadsticas sobre la poblacin general. Otra limitacin de la encuesta es la cawalidad, que est implcita en estudios de tipo transversal
realizados en un determinado momento del tiempo. Sin embargo, la relacin causa y efecto puede ser justificada con una base terica slida que sirva para desarrollar hiptesis
bien argumentadas,junto con una recoleccin de datos de calidad (medidas fiables y vlidas) que permitan desarrollar anlisi estadsticos adecuados.
6. REFERENCIAS
ABEF~N~HY,
M. A., y BROWNELL,
P. [19991: The role of budgets in organizations facing strategic change:
an exploratory studp, Accounting, Organizations and Society, 24, pp. 189-204.
ASENJO,
M. A. [1999]: Las claves de la Gestin Hospitalaria, Gestin 2000 S . A., Barcelona.
BROWNELL,
P. [1995]: Research methods in management accounting, Coopers & Lybrand, Australia.
BRYMAN,
A. [2001]: Social Research Methods, Oxford University Press, Oxford.
CIEMW,R. H. [2003]: ((Management control systems design within its organizational context: findings
from contingency-based research and directions for the future)),Accounting, Organizations and Society, 28, pp. 127-168.
CHENHALL,
R. H., y LANGFIELD-Sm,
K. [19981: The relationship between strategic priories, management techniques and management accounng: An empiricai investigation using a systems approacb,
Accounting, Organizations and Society, 23, pp. 243-264. ,
C o s w i PUEYO,
D.[2000]: Gestin Cliica, Revista de Administracin Sanitaria, Vol.
brmiciernbre.
ERRASTI,
E. [1997]: Principios de Gestin Sanitaria, Daz de Santos S.A., Madrid.
16, Octu-
FINK,A., y KOSECOW,
J. [19981: How to Conduct Sunieys, 2nd ed, Thousand Oaks, CA, Sage.
FINKELSTEIN,
S., y HAMBRICK,
D. C. [19961: Strategic Leadership: Top Executives and Their Effects on Organizations, St. Paul, Minneapolis, West Publishing Company.
FORNELL,
C. R., y LARCKER, D. [l98ll: Stnictural equation modelc with observable variables and measurement error)),Journal of Marketing Research, 18, pp. 39-50.
GARC~A
BENAU,
M. A.; HUMPHREY,
C.; MOIZER,
P., y TURLEY,
S. [19931: (Auditing expectations and performance in Spain and Britain: a comparative analysis, International Journal of Accounting, 28,
pp. 281-307.
383
384
ART~CULOSDOCTRINALES
David Naranjo-Gil
Salvando los diucultades del uso de la oncucsta en la invcstimcin contnblo de gestin
GARC~AVALDERMMA,
T.; A~AUJO
PINZ~N,
P., y CUWAS
RODR~GUEZ,
G. 120031: Hacia la Medida de la Innovacin
Empresarial: El proceso de validacin de escalas)),Revista Espaola de Financiacin y Contabilidad,
v. XXXII, 116, pp. 17-61.
G w , K. E., y W ~ O N
B. S.
, [19881: Research in health cure settings, Applied Social Research Me-
IN Alain Thietart et al,,Doing Management Research:A comprehensive guide, Sage Pubiications, London, pp. 172-195.
MILES,
R. E., y SNOW,
C. C. 119781: Organizational Strategy, Structure, and Process. McGraw-Ilill Book
Company, New York.
NUNNALLY,
J. D. [1978]: Psychometn'c theow, 22."ed. New York, McGraw-Hill.
PEDHAZUR,
E. J., y PEDHAZUR,
L. [19911:Measurement. Design andAna1ysi.s:An IntegratedApproach, Lawrence Erlbaum Associates, United States.
PORTER,
M. E. [1985]: CompetitiveAdvantage: Creating and Sustaining Superior Performance; The Free
Press, New York.
REcK,J. L. [20011: The usefulness of nanciai and nonnancial performance information in resource
docation decisions)),Journal ofAccounting and Public Policy, 20, pp. 45-71.
REED,S. A. 119861: The impact of nonmonetary performance measures upon budgetary decision making in the public sector)),Journal ofAccounting and Public Policy, 5, pp. 111-140.
ROBERTS,
E. S. [1999]: .In defence of the survey method: An illustration hom a study of user information satisfactiom,Accounting and Finance, 39, pp. 53-77.
SANCHEZ,
M., y SARABIA,
E J. [19991: Validez y fiabilidad de escalas)), IN SARABIA,
F .J. (Coordhador):Me-
David Naranjo-Gil
Snlvando los dXcultndes del uso dc la cncucstn en la investigacin conlable dc gestin
ART~CULOS'DOCTRINALES 385
De acuerdo con las siguientes hases, por favor indique el uso general que hace del Sistema Contable de Gestin, considerando como el conjunto de tcnicas de contabilidad y control de gestin:
Para seguir el cumplimiento de metas u objetivos preestablecidos.
Para negociar y discutir los planes y objetivos establecidos.
Para establecer p'as para corregir y revisar desviaciones significativas.
Para motivar la asuncin de nuevos metas, prioridades y oportunidades.
Para sealar y localizar reas estratgicas claves.
Para fomentar la aparicin de nuevas ideas y formas de hacer las cosas.
Para involucrarse en una atencin permanente con sus subordinados.
Para evaluar y controlar estrechamente a sus subordinados.
Como una herramienta de aprendizaje.
Para alinear las medidas de rendimiento con las prioridades y metas estratgicas.
3. Implantacin de la Estrategia
En relacin con las lneas estratgicas marcadas por los servicios centrales de su Comunidad Autnoma, considere el grado de implantacin de las siguientes dimensiones en el rea de su hospital:
Descentralizacin de responsabilidades.
Participacin de los usuarios en la gestin.
Adaptacin y actualizacin del conocimiento del personal.
Programas de reduccin de coste y control rendimiento.
Cooperacin con otras unidades o direcciones del hospital.
Coordinacin y cooperacin con otras instituciones relacionadas con el hospital.
Programas de armonizacin y cooperacin dentro de su direccin.
Adaptacin y actualizacin de los sistemas informticos para la gestin.
Programas de control por lneas de productos o servicios.