Validez de contenido del cuestionario de Aceptación Tecnológica en Sistemas de Salud (ACEPTESS) en dos países latinoamericanos
Néstor Iván Cabrera-Mendoza1, Christian Díaz de León-Castañeda2, Consuelo Vélez Álvarez3, Patricia Pavón-León4, María del Carmen Gogeascoechea-Trejo4, Gaudencio Gutiérrez -Alba4, Yolanda Campos- Uscanga5, María Cristina Ortiz -León5
1. Programa de Doctorado en Ciencias de la Salud. Instituto de Ciencias de la Salud, Universidad Veracruzana, Xalapa, Veracruz, México.
2. Facultad de Enfermería, Universidad Michoacana de San Nicolás de Hidalgo, Morelia, Michoacán, México.
3. Facultad de Ciencias para la Salud, Universidad de Caldas, Manizales, Caldas, Colombia.
4. Instituto de Salud Pública, Universidad Veracruzana, Xalapa, Veracruz, México.
Enviado: 6 de octubre de 2022
Aceptado: 4 de abril de 2023
Contacto de correspondencia: María Cristina Ortiz -León
e-mail: cortiz@uv.mx
Resumen
Introducción: Algunos estudios realizados en Latinoamérica han evaluado el acceso y uso de Tecnologías de la Información y Comunicación (TIC) por parte de personal sanitario en servicios de salud, sin embargo, los instrumentos utilizados se orientaron en tecnologías particulares y contaron con limitada evidencia de validez y confiabilidad.
Objetivo: Desarrollar un cuestionario para evaluar la disponibilidad, aceptación y uso de TIC como mecanismos de coordinación asistencial y los factores que influyen en servicios públicos de salud y analizar su validez de contenido.
Material y métodos: Se diseñó el cuestionario de Aceptación Tecnológica en Sistemas de Salud (ACEPTESS), siendo adaptado para México y Colombia. Se analizó la validez de contenido mediante el método Delphi bajo tres fases: 1) fase preparatoria, 2) fase de consulta y, 3) fase de consenso. Participaron 19 jueces expertos/as en Tecnologías en Salud y Gerencia de Sistemas de Salud (8 en México y 11 en Colombia). Se utilizó un formato de validación digital para evaluar los ítems del cuestionario bajo cuatro categorías: suficiencia, claridad, coherencia y relevancia. La fase de consulta contempló dos rondas. Se determinó el grado de concordancia entre expertos según el coeficiente de validez de contenido.
Resultados: El cuestionario ACEPTESS obtuvo un índice global de concordancia ‘excelente’ en ambos países (México: 0.9541; Colombia: 0.9644). La versión final del cuestionario ACEPTESS incluyó 65 ítems divididos en cuatro secciones. Conclusiones: Los resultados sugieren que el cuestionario ACEPTESS cuenta con evidencia de validez de contenido para evaluar TIC como mecanismos de coordinación asistencial y los factores que influyen en servicios públicos de salud de México y Colombia.
Palabras clave:
estudio de validación, manejo de caso, sistemas de salud, técnica Delfos,
tecnología de la información
ABSTRACT
Introduction: Some studies conducted in Latin America have evaluated the access and use of Information and Communication Technologies (ICT) by healthcare personnel in health services. However, the instruments that were used focused on specific technologies and had limited evidence regarding validity and reliability.
Objective: To develop a questionnaire to assess the availability, acceptance, and use of ICT as mechanisms for care coordination and the factors influencing public health services, and to analyze its content validity.
Materials and Methods: The questionnaire ‘Technology Acceptance in Health Systems’ (ACEPTESS) was designed and adapted for Mexico and Colombia. Content validity was analyzed using Delphi method in three phases: 1) preparatory phase, 2) consultation phase, and 3) consensus phase. Nineteen judges, experts in Health Technologies and Health Systems Management participated (8 in Mexico and 11 in Colombia). A digital validation format was used to evaluate the questionnaire items based on four categories: sufficiency, clarity, coherence, and relevance. Consultation phase included two rounds; and degree of agreement among experts was determined using the content validity coefficient. Results: The ACEPTESS questionnaire obtained an overall "excellent" level of agreement in both countries (Mexico: 0.9541; Colombia: 0.9644). The final version of the ACEPTESS questionnaire included 65 items divided into four sections.
Conclusions: The results suggest that the ACEPTESS questionnaire has evidence of content validity for assessing ICT as mechanisms for care coordination and the factors influencing public health services in Mexico and Colombia.
Keywords: Validation study, Case
management, Health systems, Delphi Technique, Information Technology.
Introducción
Desde 2005, la Organización Mundial de la Salud (OMS) ha reconocido el potencial de las Tecnologías de la Información y Comunicación (TIC) para fortalecer los sistemas de salud y mejorar la calidad de la atención de los usuarios (1). Más tarde en 2020, al declararse la pandemia por coronavirus, esta organización instó a los estados miembros a incrementar el uso de las tecnologías en los sistemas sanitarios para reorganizar la prestación de servicios, incorporar servicios de eSalud o salud digital y afrontar los nuevos desafíos en materia de salud (2).
Las TIC en los servicios sanitarios son un importante recurso que favorecen el buen desempeño de los sistemas de salud (3) y contribuyen a mejorar la coordinación asistencial, definida como la concertación de todos los servicios relacionados con la atención del paciente, con independencia del lugar donde se reciban, de manera armónica y alcanzando un objetivo común (4). En este sentido, las organizaciones sanitarias adoptan distintas estrategias para la gestión compartida de la atención mediante el uso de mecanismos de coordinación asistencial, entre ellas las TIC, que permiten una mejor comunicación entre prestadores de servicios y favorecen el resguardo y manejo compartido de la información clínica (5). Sin embargo, la implementación de TIC en este contexto no es tarea fácil, pues el éxito en su aceptación y uso depende de diversos factores, como la estructura organizacional de las instituciones, los recursos financieros, de infraestructura y humanos (3,6). Es por ello que las investigaciones sobre la implementación y aceptación de TIC en los servicios de salud, se han centrado en la recopilación de perspectivas desde los prestadores de servicios y profesionales de la salud.
En Latinoamérica, algunos estudios han explorado el acceso y uso de las TIC como mecanismos de coordinación asistencial por parte de personal médico (7-9), sin embargo, los instrumentos utilizados no especificaron una metodología para el proceso de validación de contenido por jueces expertos, ni contemplaron modelos teóricos para evaluar la aceptación y uso de estas tecnologías. En este tema, existen modelos provenientes de la psicología social como el Modelo de Aceptación Tecnológica (TAM) propuesto por Davis, y la Teoría Unificada de Aceptación y Uso de Tecnología (UTAUT) planteada por Venkatesh, que han sido probados para evaluar la adopción de TIC en distintos contextos (10,11).
Asimismo, es importante destacar que, como en otros campos de investigación científica, en la investigación en adopción tecnológica, es necesario contar con instrumentos con evidencia de validez y confiabilidad. La validez se refiere a la capacidad del instrumento para medir lo que se desea medir. La validez de contenido determina el grado en que los elementos de un instrumento de evaluación son pertinentes y representativos de un constructo objetivo; también existen otros tipos de validez que aportan al desarrollo de un nuevo instrumento, tales como: validez de constructo, de criterio, facial, discriminante, convergente, predictiva y concurrente, pero la elegibilidad de éstos, dependerá de la variable que se pretende medir, el propósito del estudio, la población objetivo, las condiciones en que se aplicará y la metodología definida (12-14). Por ejemplo, la validez de constructo evalúa la relación del instrumento psicométrico con una teoría definida, mientras que la validez convergente evalúa la relación de los puntajes obtenidos con otro instrumento conceptual y teóricamente relacionado (12-14). Por otro lado, la confiabilidad del instrumento, evalúa su capacidad para generar mediciones consistentes en diferentes condiciones y puede ser evaluada a través de diferentes técnicas como la consistencia interna (coeficiente alfa y coeficiente omega), evaluación inter-observador e intra-observador (test-retest) (12-14). Previo a la aplicación de un instrumento, es importante la realización de una prueba piloto, que contribuye a optimizar la confiabilidad del mismo, al permitir la revisión de los ítems para garantizar su comprensión por parte de la población meta, la disminución de posibles sesgos y errores en la obtención de datos, y de ser necesario, a la mejora de la metodología planteada (15).
El trabajo presentado en este manuscrito tuvo los siguientes objetivos: 1) desarrollar un cuestionario para explorar la disponibilidad, aceptación y uso de TIC como mecanismos de coordinación asistencial y los factores organizacionales e individuales que influyen en servicios públicos de salud; y 2) obtener evidencia de validez de contenido del cuestionario en versiones adaptadas para México y Colombia a partir del juicio de expertos/as.
Metodología
Diseño del cuestionario: Se diseñó un instrumento denominado “Cuestionario de Aceptación Tecnológica en Sistemas de Salud (ACEPTESS)” para conocer la opinión de personal médico y directivo de distintos niveles asistenciales sobre la disponibilidad, aceptación y uso de TIC como mecanismos de coordinación asistencial y los factores organizacionales e individuales que influyen en servicios públicos de salud en México y Colombia durante la pandemia COVID-19. El cuestionario se basó en el instrumento COORDENA® (16) diseñado para evaluar el nivel de coordinación asistencial y el uso de mecanismos de coordinación, adaptado en países de habla hispana (16,17). El cuestionario ACEPTESS está conformado por cuatro apartados: 1) disponibilidad de TIC como mecanismos de coordinación asistencial, 2) aceptación de TIC como mecanismos de coordinación asistencial, 3) factores organizacionales relacionados con la coordinación asistencial y 4) factores individuales. El cuestionario se diseñó para dos países latinoamericanos (México y Colombia), inicialmente incluyó 65 ítems, para la mayoría de ellos se utilizaron escalas de respuesta dicotómicas o de tipo Likert.
Para analizar la validez de contenido se utilizó el método Delphi (18,19) bajo tres fases: preparación, consulta y consenso.
1) Fase de preparación
Selección de jueces expertos/as: Se conformó un grupo de expertos/as en cada país con un mínimo de siete integrantes. Los criterios de selección fueron: 1) poseer estudios de posgrado (maestría o doctorado); 2) tener como mínimo cuatro años de experiencia profesional en el área de la salud; 3) participar en una línea de investigación relacionada con tecnologías de información y comunicación aplicadas a la salud, administración o gerencia de sistemas de salud; 4) laborar en una institución de salud gubernamental, de investigación o educación superior en México o Colombia y; 5) para México, ser miembro del Sistema Nacional de Investigadores del Consejo Nacional de Ciencia y Tecnología, y para Colombia ser miembros del Sistema Nacional de Ciencia, Tecnología e Innovación coordinado por el Ministerio de Ciencia, Tecnología e Innovación. A cada candidato/a, se envió vía correo electrónico, una carta de consentimiento para extender la invitación formal a participar como juez/a y explicar el objetivo del proceso de validación de contenido del cuestionario ACEPTESS, se indicó que su participación sería anónima para formar parte del grupo de jueces.
Vía de consulta: Durante todo el proceso de validación, el correo electrónico fue la vía de comunicación con los/as expertos/as.
2) Fase de consulta
Validación de contenido: Para los/as candidatos/as que aceptaron participar, se envió vía correo electrónico la primera versión del cuestionario ACEPTESS y el formato de validación de contenido con las instrucciones para evaluar el instrumento en un formulario en Excel. Cada apartado del cuestionario y sus ítems, fueron evaluados bajo cuatro categorías de validez de contenido propuestas en la literatura (20,21): suficiencia, claridad, coherencia y relevancia (tabla 1). Para cada ítem se utilizó una escala Likert de cuatro niveles de respuesta: 1) No cumple con el criterio; 2) Bajo nivel de cumplimiento; 3) Moderado nivel de cumplimiento y; 4) Alto nivel de cumplimiento. Se incorporó un apartado para las observaciones de los/as evaluadores/as. A cada juez/a se le concedieron 15 días naturales para realizar la evaluación.
Tabla 1. Categorías para la validación de ítems por juicio de expertos
|
Categorías |
Indicadores |
|
Suficiencia: Los ítems que pertenecen a una misma dimensión bastan para obtener la medición de ésta |
1. Los ítems no son suficientes para medir la dimensión 2. Los ítems miden algún aspecto de la dimensión, pero no corresponden a la dimensión total 3. Se deben incrementar algunos ítems para poder evaluar la dimensión completamente 4. Los ítems no son suficientes |
|
Claridad: El ítem se comprende fácilmente, es decir, su sintáctica y semántica son adecuadas |
1. El ítem no es claro 2. El ítem requiere bastantes modificaciones o una modificación muy grande en el uso de las palabras de acuerdo con su significado o por la ordenación de éstas 3. Se requiere una modificación muy específica de algunos de los términos del ítem 4. El ítem es claro, tiene semántica y sintaxis adecuada |
|
Coherencia: El ítem tiene relación lógica con la dimensión o indicador que está midiendo |
1. El ítem no tiene relación lógica con la dimensión 2. El ítem tiene una relación tangencial con la dimensión 3. El ítem tiene una relación moderada con la dimensión que está midiendo 4. El ítem se encuentra completamente relacionado con la dimensión que está midiendo |
|
Relevancia: El ítem es esencial o importante, es decir debe ser incluido |
1. El ítem puede ser eliminado sin que se vea afectada la medición de la dimensión 2. El ítem tiene alguna relevancia, pero otro ítem puede estar incluyendo lo que mide éste 3. El ítem es relativamente importante 4. El ítem es muy relevante y debe ser incluido |
Fuente: Adaptado de Escobar y Cuervo (20)
Rondas de consulta: Se estipuló desarrollar las rondas necesarias hasta llegar a un consenso entre los/as jueces por país, se contempló realizar como mínimo dos rondas.
Procesamiento estadístico: Las evaluaciones emitidas por los/as jueces se analizaron a través del coeficiente de validez de contenido, que consistió en el cálculo de un índice de validez de concordancia (IVC) para cada ítem y un índice global de validez de concordancia (IGVC) (21,22) para todo el cuestionario. A partir del IVC, se consideró un nivel de concordancia ‘Excelente’ para aquellos ítems con un índice mayor de 0.90; con un nivel ‘Bueno’ aquellos con un índice mayor de 0.80 hasta 0.90 y, con un nivel ‘Deficiente’ aquellos con un índice menor o igual a 0.80. Los ítems con nivel ‘Deficiente’ fueron eliminados o modificados según las sugerencias de los jueces para iniciar una nueva ronda de validación. El IGVC se calculó al obtener la media de los IVC, para lograr un índice mayor a 0.80 en cada versión del cuestionario ACEPTESS. Los datos se procesaron con el software IBM SPSS versión 21.
3) Fase de consenso
Construcción del consenso: El consenso se logró cuando en cada grupo de jueces, se alcanzó un índice de concordancia mayor a 0.80 en cada ítem, según el análisis estadístico realizado.
Reporte de resultados: Al concluir el proceso de validación de contenido, se elaboró un informe final del proceso y se otorgó a cada juez/a una constancia de participación.
Elaboración final del cuestionario: Se elaboró la versión final del cuestionario ACEPTESS, y se atendieron sugerencias finales de los/as jueces sin afectar la validez de contenido.
Consideraciones éticas
La participación de cada juez/a se realizó con previa firma de un consentimiento informado. Se garantizó la confidencialidad y protección de los datos personales de acuerdo con la legislación vigente en cada país. El proceso de validación de contenido se realizó en el marco del proyecto de investigación “Disponibilidad, aceptación y uso de TIC como mecanismos de coordinación asistencial y los factores que influyen en dos redes de servicios públicos en México y Colombia”, el protocolo de investigación fue aprobado por los Comités de Investigación y Ética en Investigación del Instituto de Ciencias de la Salud de la Universidad Veracruzana, bajo el registro No. D099/2020 y, No.002/2021 respectivamente.
Resultados
La validación de contenido contempló dos rondas realizadas entre noviembre de 2020 y marzo de 2021.
Selección de jueces expertos/as
En la primera ronda de validación, en México se contactaron a 35 investigadores/as que cumplieron los criterios de selección, de los cuales ocho (22.8%) aceptaron participar; en Colombia se contactaron a 37 investigadores/as de los cuales siete (18.9%) consintieron participar. En la segunda ronda, se contó con todos/as los/as jueces mexicanos/as (100%) y tres jueces colombianos (42.8%) participantes en la primera ronda; por lo que se contactaron, bajo los mismos criterios de selección, a cuatro nuevos/as jueces colombianos/as para completar el grupo.
Caracterización de los jueces
Jueces mexicanos/as. El grupo se conformó por 8 expertos/as. El 62.5% fueron mujeres, con una edad promedio de 52 años (±3.96). El 75.0% cuenta con un doctorado como último grado de estudios y el 87.5% tiene experiencia académica o profesional en el área de Sistemas de Salud. El 62.5% afirmó laborar en instituciones educativas o de investigación. Todos/as los/as jueces participaron en ambas rondas de validación de contenido (Tabla 2).
Jueces colombianos/as. El grupo se conformó por 7 expertos/as. En la primera ronda, el 71.4% fueron hombres, con una edad promedio de 44 años (±7.41). El 57.2% cuenta con un doctorado como último grado de estudios y el 71.4% tiene experiencia académica o profesional en el área de Sistemas de Salud. El 85.7% afirmó laborar en instituciones educativas o de investigación. En la segunda ronda, el 57.1% del grupo fueron mujeres, con una edad promedio de 44 años. (±6.68). El 85.7% tiene una maestría como último grado de estudios y experiencia académica o profesional en el área de Sistemas de Salud. Todos/as los/as jueces afirmaron laborar en una institución educativa o de investigación (tabla 2).
Tabla 2. Caracterización de los/as integrantes del grupo de expertos/as en México y Colombia, 2021
|
|
México |
|
Colombia |
|||||
|
|
1ª y 2ª ronda n = 8 |
|
1ª ronda n = 7 |
2ª ronda n = 7 |
||||
|
Sexo a |
|
|
|
|
|
|||
|
Hombre |
3(37.5) |
|
5(71.4) |
3(42.9) |
||||
|
Mujer |
5(62.5) |
|
2(28.6) |
4(57.1) |
||||
|
|
|
|
|
|
||||
|
Edad b |
52 (3.96) |
|
44 (7.41) |
44 (6.68) |
||||
|
|
|
|
|
|
||||
|
Último grado de estudios a |
|
|
|
|
||||
|
Maestría |
1(12.5) |
|
3(42.8) |
6(85.7) |
||||
|
Doctorado |
6(75.0) |
|
4(57.2) |
1(14.3) |
||||
|
Posdoctorado |
1(12.5) |
|
0(0.0) |
0(0.0) |
||||
|
|
|
|
|
|
||||
|
Áreas de experiencia académica o profesional a |
|
|
|
|
||||
|
Sistemas de salud |
7(87.5) |
|
5(71.4) |
6(85.7) |
||||
|
Tecnología en salud |
5(62.5) |
|
4(57.1) |
4(57.1) |
||||
|
|
|
|
|
|
||||
|
Años de experiencia profesional b |
24 (7.9) |
|
17 (5.7) |
19 (6.5) |
||||
|
|
|
|
|
|
||||
|
Tipo de institución en la que labora a |
|
|
|
|
||||
|
Educativa o de investigación |
5(62.5) |
|
6(85.7) |
7(100) |
||||
|
Gubernamental |
3(37.5) |
|
1(14.3) |
0(0.0) |
||||
|
|
|
|
|
|
||||
|
Cargo a |
|
|
|
|
||||
|
Director/a o Jefe/a de área |
4(50.0) |
|
4(57.1) |
2(28.6) |
||||
|
Catedrático/a o investigador/a |
4(50.0) |
|
3(42.9) |
5(71.4) |
||||
a Los datos se representan como n (%)
b Los datos se representan como media (desviación estándar)
Rondas de validación de contenido
Primera ronda. Se evaluaron 65 ítems, la mayoría alcanzó un índice de validez de concordancia superior a 0.90 interpretándose con un nivel ‘Excelente’, principalmente en el grupo colombiano (58.5% en México; 76.9% en Colombia); poco más de un tercio de los ítems se valoraron con un índice de validez ‘Bueno’, especialmente en el grupo mexicano (33.8% en México; 21.5% en Colombia) y un bajo número se calificaron con un índice ‘Deficiente’ (7.7% en México; 1.6% Colombia). El índice global de validez de concordancia calculado en ambos grupos fue de 0.9014 en México y 0.9405 en Colombia, considerándose como ‘Excelente’ (tabla 3).
Segunda ronda. Se evaluaron 64 ítems, en ambos grupos la mayoría (96.9% en México; 95.3% Colombia) alcanzó un índice de validez de concordancia ‘Excelente’ y solo una minoría (3.1% en México; 4.7% Colombia) alcanzó un índice ‘Bueno’. En ninguno de los grupos hubo ítems valorados con un nivel ‘Deficiente’. El índice global de validez de concordancia calculado fue de 0.9541 en México y 0.9644 en Colombia, considerándose como ‘Excelente’ (tabla 3).
Tabla 3. Resultados del coeficiente de validez de contenido en México y Colombia, 2021
|
|
Primera ronda |
Segunda ronda |
||
|
|
México |
Colombia |
México |
Colombia |
|
Ítems contenidos en el instrumento a |
65 (100) |
65 (100) |
64 (100) |
64 (100) |
|
Ítems con índice de validez y concordancia ‘Excelente’ (>0.90) a |
38 (58.5) |
50 (76.9) |
62 (96.9) |
61 (95.3) |
|
Ítems con índice de validez y concordancia ‘Bueno’ (>0.80 y <=0.90) a |
22 (33.8) |
11 (21.5) |
2 (3.1) |
3 (4.7) |
|
Ítems con índice de validez y concordancia ‘Deficiente’ (<=0.80) a |
5 (7.7) |
1 (1.6) |
0 (0.0) |
0 (0.0) |
|
Índice global de validez de concordancia |
0.9014 |
0.9405 |
0.9541 |
0.9644 |
a Los datos se representan como n (%)
Versión final del cuestionario
Al finalizar la validación de contenido, el cuestionario ACEPTESS incluyó 65 ítems divididos en 4 apartados: a) disponibilidad de TIC como mecanismos de coordinación asistencial (22 ítems); b) aceptación de TIC como mecanismos de coordinación asistencial (23 ítems); c) factores organizacionales relacionados con la coordinación asistencial (12 ítems) y d) factores individuales (8 ítems). Dos ítems incorporan terminología propia de cada país, por ejemplo, computadora/computador, expediente clínico electrónico/historia clínica electrónica.
Discusión
El principal aporte de este estudio es el desarrollo del cuestionario ACEPTESS, centrado en evaluar la disponibilidad, aceptación y uso de TIC como mecanismos de coordinación asistencial y los factores organizacionales e individuales que influyen dentro de servicios públicos de salud en el contexto latinoamericano. Para evaluar la disponibilidad de TIC, se incluyeron ítems para la exploración integral del acceso a diferentes TIC, como equipo de cómputo, telefonía, internet, software especializado, plataformas de videollamada y aplicaciones de mensajería móvil. Este enfoque es similar a trabajos previos realizados en Latinoamérica (7-9).
En la evaluación de aceptación y uso de TIC, el cuestionario ACEPTESS incorporó variables relacionadas con fundamentos teóricos, como el TAM (10) y la UTAUT (11), que exploran dimensiones relacionadas con la percepción de utilidad, de facilidad de uso, actitud hacia el uso, condiciones facilitadoras, etc. Esto representa un valor importante al instrumento, ya que otros utilizados en la investigación en el campo, no incorporan ítems relacionados con estos modelos teóricos (7-9).
En relación al estudio de validez de contenido del cuestionario ACEPTESS, el método Delphi (18,19) permitió obtener un consenso fiable entre las opiniones de varios expertos/as en relación al contenido del instrumento para evaluar la disponibilidad, aceptación y el uso de las TIC como mecanismos de coordinación asistencial en servicios públicos de salud. Este método ha demostrado ser eficaz en otros estudios para la validación de instrumentos en distintos contextos, incluida la investigación en implementación de TIC (18, 23, 24), sin embargo, este método no puede considerarse único para realizar un proceso de validación de contenido por expertos/as (20).
En este estudio, se decidió invitar como jueces a profesionales con estudios de posgrado y amplia trayectoria en investigación para fortalecer la confiabilidad de los resultados a obtener (20), esto también se ha considerado importante en otros estudios para garantizar la obtención de información, evidencia, juicios y valoraciones de calidad hacia los instrumentos (22-24). Por otro lado, diversos autores/as varían en la cantidad adecuada de jueces a tomar en cuenta para la validación de contenido de un instrumento, recomendando desde un mínimo de dos hasta veinte (20,23); para este estudio se decidió considerar un mínimo de siete jueces según lo recomendado por investigadores/as de la Rand Corporation, desarrolladora del método Delphi (25).
En relación con la metodología de comunicación con los/as jueces expertos/as, se propuso que el correo electrónico fuera el medio por el cual se llevara a cabo la comunicación, debido a la dificultad para reunirlos/as físicamente (por cuestiones geográficas, limitantes económicas y de tiempo) o convocarlos/as mediante reunión virtual (debido a sus cargas laborales o de agenda). Este medio de comunicación permitió cumplir con uno de los preceptos del método Delphi, al seleccionar a los/as jueces de manera estratégica y anónima, resguardando en todo momento su identidad sobre el proceso de validación de contenido, lo que favoreció la autonomía de cada evaluador/a para emitir sus juicios y evitar posibles sesgos al ser posiblemente influenciados/as por la opinión de terceros/as (20,21).
Una limitante del estudio, fue la deserción de algunos/as jueces para continuar el proceso de validación, debido a incapacidad por contagio de COVID-19, lo que implicó retrasos en el proceso ante la necesidad de incorporar nuevos/as jueces e inducirlos/as para llevar a cabo la validación.
Cabe mencionar que el estudio se realizó durante la pandemia COVID-19, contexto que propició un uso más intensivo de las TIC, es por ello que el cuestionario ACEPTESS se diseñó para su uso en este contexto y contribuir a una mejor toma de decisiones.
Una de las fortalezas identificadas en este estudio, es el diseño del cuestionario ACEPTESS para servicios públicos de salud de México y Colombia, en los cuales se han implementado diversas políticas de TIC en salud (6,26), y que se vieron fortalecidas con la actual pandemia COVID-19 (27,28). Al comparar el cuestionario en ambos países, se obtuvieron pocas diferencias en la redacción de los ítems (p. ej. el término “historia clínica” en Colombia y “expediente clínico” en México) y los resultados en términos de la validación de contenido fueron similares. En este sentido, queda como oportunidad la adaptación y evaluación del cuestionario en países de habla hispana con otros contextos, por ejemplo, con otros modelos en su sistema de salud, o bien diferente nivel de desarrollo de TIC.
Asimismo, se considera como fortaleza del cuestionario ACEPTESS su visión global en cuanto a la evaluación de la disponibilidad, aceptación y uso de TIC como mecanismos de coordinación asistencial. Sin embargo, ACEPTESS también podría dar oportunidad al desarrollo de nuevos instrumentos que exploren estos aspectos para servicios específicos, por ejemplo, expedientes clínicos electrónicos, sistemas de atención a distancia (telesalud), sistemas electrónicos para la referencia y contrarreferencia de pacientes, servicios de eSalud, etc. Esto podría dar a una visión más amplia hacia el desarrollo de un instrumento integral para evaluar la implementación de TIC en sistemas de salud, como se ha realizado en otros países (7).
Finalmente, dado que ACEPTESS involucra algunos constructos provenientes de los modelos teóricos de adopción tecnológica, se plantea investigar la validez de constructo a través del análisis factorial, y para la confiabilidad, se propone la evaluación de la consistencia interna en la medición de estos constructos una vez obtenida la organización factorial. Previo a la aplicación del instrumento con fines de validación, se sugiere una prueba piloto que permita valorar la comprensión de los ítems y su adaptación al grupo poblacional en que se aplicará. De esta forma se garantiza que la información recabada en el estudio sea fidedigna y de calidad.
Conclusiones
A través del análisis realizado se obtuvo evidencia de la validez de contenido del cuestionario ACEPTESS, que se evaluó a través del juicio de expertos/as, la estructura de las dimensiones teóricas y la selección de ítems más relevantes y representativos para evaluar disponibilidad, aceptación y uso de TIC como mecanismos de coordinación asistencial y los factores que influyen en servicios públicos de salud de México y Colombia. Como paso siguiente se requieren estudios para evaluar la validez de constructo, de esta manera se podrá evidenciar que el instrumento representa y mide un concepto teórico determinado. Así mismo, dado que no existe un estándar de oro, podría revisarse las evidencias de validez basadas en la relación con otras variables (29).
Disponibilidad de la versión final del cuestionario ACEPTESS
La versión final del cuestionario puede ser solicitado por correo electrónico al autor de correspondencia.
Conflicto de interés
No hubo conflicto de interés durante la realización de la investigación
Financiación
NICM recibió una beca doctoral por parte del Consejo
Nacional de Ciencia y Tecnología (CONACYT), México. No. CVU: 415477. No. de beca: 746267
Referencias bibliográficas
1. Organización Mundial de la Salud. 58a Asamblea mundial de la salud. Resoluciones y decisiones. WHA58/2005/REC/1. Ginebra 2005;1–172. [Internet] Disponible en: http://apps.who.int/gb/ebwha/pdf_files/WHA58-REC1/A58_2005_REC1-sp.pdf
2. Organización Mundial de la Salud. Actualización de la estrategia frente a la COVID-19. 2020;1–20. [Internet]. Disponible en: https://www.who.int/docs/default-source/coronaviruse/covid-strategy-update-14april2020_es.pdf?sfvrsn=86c0929d_10
3. Díaz de León Castañeda C, Góngora Ortega J. eSalud en servicios de salud públicos en México: estudio de caso. Región y sociedad. 2020.32:e1256. doi: https://doi.org/10.22198/rys2020/32/1256
4. Longest B, Young G. Coordination and communication. In: Shortell S, Kaluzny A,
editors. Health care management. 4th ed. New York; 2000. p. 210–43.
5. Vázquez Navarrete ML, Vargas Lorenzo I, Mogollón-Pérez AS, Silva MRF, Unger JP, Paepe P. Redes integradas de servicios de salud en Colombia y Brasil: un estudio de casos. Editorial Universidad del Rosario. Textos de Medicina y Ciencias de la Salud Collection. ISBN:978-958-738-812-1. Bogotá, Colombia; 2018. p 390. doi: http://dx.doi.org/10.12804/tm9789587388121
6. Díaz de León Castañeda C. Las TIC en el sector público del Sistema de Salud de México: Avances y oportunidades. Acta Univ. 2020;30:e250. doi: https://doi.org/10.15174/au.2020.2650
7. Comite Gestor da Internet no Brasil. Pesquisa Sobre o Uso das Tecnologias de Informação e Comunicação nos Estabelecimentos de Saúde Brasileiros 2018. Creative Commons. ISBN 978-85-5559-085-6 São Paulo, Brasil; 2019. 412 p.
8. Curioso W, Gozzer E, Rodríguez-Abad J. Acceso y uso de las tecnologías de información y comunicación y percepciones hacia un sistema informático para mejorar la adherencia al tratamiento, en médicos endocrinólogos de un hospital público de Perú. Rev Med Hered. 2011;22(1):15–22. ISSN:1018-130X
9. Valenzuela JI, Camacho JC, Argüello A, Cendales JG, Fajardo R. Percepciones de los trabajadores del sector salud frente a internet y las tecnologías móviles en Colombia. Rev Panam Salud Pública. 2009;25(4):367–74. [Internet]. Disponible en: https://scielosp.org/article/rpsp/2009.v25n4/367-374/
10. Davis F, Bagozzi R, Warshaw P. User Acceptance of Computer Technology: A Comparison of Two Theoretical Models. Manage Science. 1989;35(8):982-1003. doi: https://doi.org/10.1287/mnsc.35.8.982
11. Venkatesh V, Morris M, Davis G, Davis F. User Acceptance of Information Technology: Toward a Unified View. Mis Q. 2003;27(3):425–78. doi: https://doi.org/10.2307/30036540
12. Haynes SN., Richard DCS., Kubay ES. Content Validity in Psychological Assessment: A Functional Approach to Concepts and Methods. Psychological Assessment, (1995):7(3), 238-247. Disponible en: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.452.5453&rep=rep1&type=pdf
13. Núñez-Ramírez MA, Mercado-Salgado P, Garduño-Realivazquez KA. Validez de un instrumento para medir capital intelectual en empresas. Investigación administrativa. Instituto Politécnico Nacional. México 2021:50(128):1-20. https://doi.org/10.35426/iav50n128.04
14. Ramada-Rodilla JM, Serra-Pujadas C, Delclós-Clanchet, GL. Adaptación cultural y validación de cuestionarios de salud: revisión y recomendaciones metodológicas. Salud Pública de México, 2013:55(1):57–66. https://doi.org/10.1590/S0036-36342013000100009
15. Mayorga Ponce RB, Virgen Quiroz AK, Martínez Alamilla A, Salazar Valdez D. Prueba Piloto. Educación y Salud. Boletín Científico Instituto de Ciencias de la Salud. Universidad Autónoma del Estado de Hidalgo, 2020:9(17): 69-70. https://doi.org/10.29057/icsa.v9i17.6547
16. Vázquez ML, Vargas I, García-Subirats I, Unger JP, De Paepe P, Mogollón-Pérez AS, et al. Doctors’ experience of coordination across care levels and associated factors. A cross-sectional study in public healthcare networks of six Latin American countries. Soc Sci Med. 2017;182:10–9. doi: https://doi.org/10.1016/j.socscimed.2017.04.001
17. Miranda-Mendizábal A, Vargas I, Mogollón-Pérez AS, Eguiguren P, Ferreira de Medeiros Mendes M, López J, et al. Knowledge and use of clinical coordination mechanisms in healthcare networks in Latin America. Gac Sanit. 2020;34(4):340–9. doi: https://doi.org/10.1016/j.gaceta.2018.09.009
18. Gil-Gómez B, Pascual-Ezama D. La metodología Delphi como técnica de estudio de la validez de contenido. Anales de Psicología. 2012;28(3):1011–20. doi: https://doi.org/10.6018/analesps.28.3.156211
19. García-Valdés M, Suárez-Marín M. Delphi method for the expert consultation in the scientific research. Rev Cub Salud Pública. 2013;39(2):253–67. [Internet]. Disponible en: http://scielo.sld.cu/pdf/rcsp/v39n2/spu07213.pdf
20. Escobar-Pérez J, Cuervo-Martínez Á. Validez de contenido y juicio de expertos: Una aproximación a su utilización. Avances en Medición. ISSN:1692-0023. 2008;6:27–36.
21. Galicia Alarcón L, Balderrama Trapaga J, Edel Navarro R. Validez de contenido por juicio de expertos: propuesta de una herramienta virtual. Apertura. ISSN-e:2007-1094. 2017;9(2):42–53. doi: http://dx.doi.org/10.32870/Ap.v9n2.993
22. Pedrosa I, Suárez Álvarez J, García Cueto E. Evidencias sobre la Validez de Contenido: Avances Teóricos y Métodos para su Estimación. Acción psicológica. ISSN:2255-1271. 2013;10(2):4–11. doi: https://dx.doi.org/10.5944/ap.10.2.11820
23. George Reyes CE, Trujillo Liñán L. Aplicación del Método Delphi Modificado para la Validación de un Cuestionario de Incorporación de las TIC en la Práctica Docente. Revista Iberoamericana de Evaluación Educativa. ISSN:1989-0397. 2018;11(1):113–35. doi: https://doi.org/10.15366/riee2018.11.1.007
24. Bernal-García MI, Salamanca-Jiménez DR, Pérez-Gutiérrez N, Paola Q-MM. Validez de contenido por juicio de expertos de un instrumento para medir percepciones físico-emocionales en la práctica de disección anatómica. Educ med. 2020;21(6):349–56. doi: https://doi.org/10.1016/j.edumed.2018.08.008
25. Mahajan V, Linstone HA, Turoff M. The Delphi Method: Techniques and Applications. 1st ed. USA. Addison-Wesley Publishing Company. ISBN 0201042932. 1975.
26. Bernal-Acevedo O, Forero-Camacho JC. Sistemas de información en el sector salud en Colombia. Rev. Geranc. Polit. Salud. ISSN: 1657-7027. 2011;10(21):85–100. [Internet]. Disponible en: http://www.scielo.org.co/pdf/rgps/v10n21/v10n21a06.pdf
27. Gobierno de México. Guía de continuidad para garantizar los servicios en las unidades médicas de la administración pública federal en la nueva normalidad. CDMX, México; 2020. p.1–30. [Internet]. Disponible en: https://coronavirus.gob.mx/wp-content/uploads/2020/09/Guia_Continuidad_Servicios_Salud_21Sep2020.pdf
28. Ministerio de Salud y Protección Social. Telesalud y Telemedicina para la prestación de servicios de salud en la pandemia por COVID-19. Colombia; 2020 p.1–19. [Internet]. Disponible en: https://www.minsalud.gov.co/Ministerio/Institucional/Procesos y procedimientos/PSSS04.pdf
29. Lozano LM, Turbany J. Validez. Módulo 3 psicometría. Universitat Oberta de Catalunya. 2013. GNUFDL. PID_00216204. Disponible en: https://openaccess.uoc.edu/bitstream/10609/69325/2/Psicometr%C3%ADa_M%C3%B3dulo%203_Validez.pdf