INTRODUCCIÓN

Los cuestionarios son instrumentos fundamentales de recolección de datos que proporcionan información (^{Vargas y Hernández, 2010}); pueden ser unidimensionales o multidimensionales, de respuesta dicotómica (verdadero/falso, sí/no), estar compuestos por ítems simples, formularse en base a la revisión bibliográfica, a la consulta con expertos en la materia (^{Martín, 2004}), o ser de una sola aplicación en el estudio (^{Campo-Arias y Oviedo, 2008}).

Al redactar las preguntas o ítems, es importante tener en cuenta los criterios de claridad, coherencia, relevancia y suficiencia (^{Escobar y Cuervo, 2008}; ^{Boluarte y Tamari, 2017}). Según ^{Martín (2004}), existen ciertas recomendaciones, tales como utilizar preguntas cortas y de fácil comprensión, no emplear palabras que induzcan hacia la opinión o creencia, redactar preguntas en forma positiva, evitar el uso de la interrogación “por qué”, evitar formular preguntas que induzcan a una respuesta deseada y evitar enunciados que obliguen a hacer cálculos o esfuerzos de memoria.

Para garantizar el éxito de los resultados obtenidos, el cuestionario debe estar bien diseñado, según los criterios de validez y fiabilidad (^{Lacave, Molina, Fernández, y Redondo, 2015}); en este sentido, es crucial medirlo para comprobar su utilidad (^{Esposito, Muñoz, Herrera, y Periáñez, 2015}), debido a que la validación de instrumentos es un proceso de constante evaluación y modificación (^{Campo-Arias y Oviedo, 2008}).

La validez se refiere al “grado en que un instrumento de medida mide aquello que realmente pretende medir o sirve para el propósito para el que ha sido construido” (^{Martín, 2004}, p. 28). En este sentido, tal como mencionan Urrutia, Barrios, Gutiérrez y Mayorga (2014) en ^{Boluarte y Tamari (2017}), la validez de contenido representa el primer nivel de validez y sirve para verificar si el cuestionario y los ítems redactados son indicadores de lo que se desea medir; así, durante el juicio por expertos, el cuestionario se somete a valoración por personas con trayectoria académica o laboral en el tema, que pueden brindar información, evidencia y juicios (^{Galicia, Balderrama, y Edel, 2017}; ^{Robles y Rojas, 2015}).

Por otro lado, la fiabilidad es el grado en que un instrumento ofrece resultados veraces y constantes en condiciones similares de medición con precisión y sin error. Así, la consistencia interna se refiere al nivel en que las diferentes preguntas de una escala están relacionadas entre sí, es decir, indica el grado de acuerdo entre las mismas, lo que determinará que estas se puedan acumular y dar una puntuación global (^{Martín, 2004}). Existen diferentes métodos para medir la consistencia interna; los más utilizados son el coeficiente alfa de Cronbach y el coeficiente KR₂₀ de Kuder-Richardson (^{Ekolu y Quainoo, 2019}), los cuales se consideran aceptables cuando sus valores se encuentran entre 0.70 y 0.90 (^{Sánchez y Gómez, 1998}) y aplicable en instrumentos que miden atributos o características (^{Campo-Arias y Oviedo, 2008}).

Algunos ejemplos de cuestionarios utilizados para estudiar diferentes situaciones son: dificultades de los alumnos durante el aprendizaje (^{Lacave et al., 2015}), formación en salud (^{Esposito et al, 2015}), salud mental (^{Fernández, Molerio, Herrera, y Grau, 2017}), cuestionario de índice de ansiedad y miedo dental en la población de mujeres embarazadas (^{Ríos, Palma, Herrera, Farías, Morales, Martínez, Lanyon, y Rojas, 2018}), cuidado propio de las mujeres en el posparto (^{Vargas y Hernández, 2010}), calidad de la docencia (^{Porras y Gil, 2014}) y las buenas prácticas de manufactura (BPM) (^{Fadda, Aymerich, Hugas, y Garriga, 2005}).

Las buenas prácticas de manufactura, buenas prácticas de elaboración o buenas prácticas de fabricación (^{Diaz, 2009}) son definidas como el conjunto de normas que determinan las actividades que se realizan durante la elaboración de un producto, las cuales permiten asegurar el cumplimiento de los estándares de calidad de acuerdo con el uso que tendrá y los requerimientos establecidos para comercializarlo (^{D. S. N.° 014, 2011}). Su implementación requiere un responsable y un conjunto de procedimientos operativos que se deben cumplir para disminuir los riesgos de contaminación y asegurar la calidad del producto terminado (^{Tamayo, 2011}).

Las BPM se complementan con los procedimientos operativos estandarizados de saneamiento (POES) (^{Diaz, 2009}) e incluyen actividades de limpieza y desinfección que deben ser realizadas rutinariamente antes, durante y después de cada proceso productivo (^{Quiñones, 2016}). Las BPM consisten principalmente en un manual de procedimientos y sus respectivos registros que incluyen aspectos como materias primas, instalaciones, equipamiento, capacitaciones e higiene del personal (^{Pérez, 2014}). Otros aspectos básicos en la aplicación de las BPM de biológicos son la documentación, materiales, control de producción y control de calidad (^{Quintana y Apezteguía, 2010}). Además, los manuales deben contar con objetivos definidos que incluyan programas y procedimientos relevantes, que permitan la eficiencia de las operaciones y que controlen la presencia de microorganismos (^{Quiñones, 2016}).

^{Diaz (2009}) detalla los siguientes aspectos de las BPM:

El objetivo de las BPM es obtener productos en condiciones sanitarias óptimas y disminuir fallas durante la producción, lo que permite mejorar la calidad y garantizar un producto confiable. Por otro lado, las ventajas de utilizar esta herramienta son: ser competitivo en el mercado, mantener la imagen, aumentar ganancias, y garantizar el cumplimiento de reglamentados vigentes (^{Puerto y García, 2015}). Esta herramienta de calidad es aplicada en varios tipos de industria, como la de alimentos, cosméticos y farmacéuticos (^{Oliva del Cid, 2011}). Varias investigaciones afirman que su implementación logra una buena calidad microbiológica y un efecto económico positivo en las empresas (^{Jerke, 2009}), permite optimizar recursos y cumplir con las normas nacionales e internacionales (^{Rodríguez, 2018}) y facilita la certificación, validación y capacitación del personal (^{Parra, 2015}).

Para realizar la implementación de las Buenas Prácticas de Manufactura se requiere utilizar un instrumento o lista de verificación que permita conocer el estado inicial del nivel de cumplimiento de BPM-POES, así como armar un plan de mejoramiento y alcanzar un mayor porcentaje de cumplimiento (^{Tamayo, 2011}). Este instrumento facilita las auditorías internas y externas; permite, de acuerdo con el valor obtenido, considerar si se cumple (valor obtenido igual o superior al 70%) o no con las BPM; y finalmente, permite correlacionar las BPM con la calidad microbiológica de un producto (^{Bastías, Cuadra, Muñoz, y Quevedo, 2013}). En Perú, ^{DIGEMID (2017}) regula y provee los manuales y listas de verificación a los diferentes rubros de la industria como, por ejemplo, guías de buenas prácticas de almacenamiento, distribución y transporte de productos farmacéuticos y actas de inspección para establecimientos de fabricación de cosméticos.

La industria a la que va dirigido el diseño de este instrumento es la de los agrobiológicos, bioinoculantes o inoculantes microbianos (^{Aguado, Rascón, y Luna, 2012}), los cuales están conformados por microorganismos del suelo que se asocian a las plantas o a su entorno, constituyen una alternativa para reducir el uso de productos químicos en la agricultura y representan una estrategia orgánica hacia la gestión integrada de plagas y enfermedades (^{Alvarez, Tucta, Quispe, y Meza, 2018}). Como lo indica la ^{Norma Técnica Colombiana NTC 5842 (2011}), son productos inocuos para los humanos, plantas y animales, por lo que resultan de interés para muchos exportadores (^{Zapata, 2001}).

Estos productos se aplican a cualquier cultivo de interés agronómico y pueden ser formulados industrialmente (^{Sanjuán y Moreno, 2010}); con base en bacterias benéficas como las rizobacterias, promotoras del crecimiento vegetal-PGPR (^{Terry, Leyva, y Díaz, 2005}); las fijadoras de nitrógeno, como Azotobacter chroccocum y Azospirillum sp.; las solubilizadoras de fosfato, como Pseudomonas spp; y las de control biológico, como Bacillus subtilis (^{Manitio, 2014}). Estos se aplican junto con hongos benéficos, como aquellos que tienen la capacidad de producir fitohormonas, como el Penicillum sp. y Aspergillus sp. (^{Santos, Parra, Herrera, Valenzuela y Estrada, 2018}); los micorrízicos arbusculares (^{Terry et al., 2005}); los controladores de plagas, como el Trichoderma sp. (^{García, Riera, Zambrano y Gutiérrez, 2006}); y los entomopatógenos, como el Metarhizium, Beauveria, y Verticillium (^{Monzón, 2001}).

Por consiguiente, esta investigación plantea expandir la aplicación de una lista de verificación en la industria de los productos biológicos para la agricultura con el fin de generar un impacto positivo en la calidad del proceso y contribuir en la entrega de productos óptimos que logren satisfacer las necesidades de los clientes y sus cultivos. En suma, el objetivo principal es diseñar un instrumento válido y fiable que permita evaluar el nivel de implementación de las buenas prácticas de manufactura (BPM-POES) en un rubro cada vez más presente, como lo es la producción de agrobiológicos o bioinsumos.

METODOLOGÍA

Se diseñó una lista de verificación o cuestionario con base en el Acta de inspección para establecimientos de fabricación de cosméticos DICER-FOR-014, establecida por ^{DIGEMID (2017}). Asimismo, se organizó el instrumento en una serie de preguntas o ítems agrupados en dimensiones de acuerdo con lo referido por ^{Quintana y Apezteguía (2010}), quienes estudiaron las BPM en productos biológicos.

Al igual que en las investigaciones de ^{Galicia et al. (2017}) y ^{Salazar, Freyle, Tamara y Álvarez (2016}), la validez de contenido del instrumento diseñado se determinó mediante el criterio de jueces, con la selección de un panel conformado por siete expertos con conocimiento y experiencia en este rubro de la industria. Los expertos pertenecen a tres filiales (México, Colombia y Perú) de una reconocida empresa dedicada a la formulación y comercialización de agrobiológicos.

Con el fin de afinar los criterios de suficiencia, pertinencia, redacción y opciones de respuesta (^{Fernández et al., 2017}), los expertos seleccionados evaluaron el instrumento; para esto se les solicitó calificar con el valor de “1” los ítems que cumplían los criterios, y con el valor de “0” los que no. Además, se aplicó la formula KR₂₀ de Kuder-Richardson para cuantificar la validez del instrumento (^{Ríos, Leonardo, Ballena, Peralta, Franzo, Díaz, y León, 2013}).

Debido a que el instrumento se basa en un patrón de respuesta dicotómica, el valor de la consistencia interna se determinó con el coeficiente de confiabilidad KR₂₀ de Kuder-Richardson utilizando la siguiente ecuación (^{Campo-Arias y Oviedo, 2008}):

Los valores obtenidos se evaluaron de acuerdo con los criterios establecidos por Kline (2013) en ^{Díaz, Tirado y Simancas (2017}), donde se considera que >0.90 es excelente; <0.85-0.75>, aceptable; y <0.60, bueno.

RESULTADOS

Para realizar el diseño de este instrumento, se contrastaron las referencias encontradas y se mantuvo comunicación con los expertos, lo que permitió realizar las modificaciones y reformulaciones en las preguntas. Luego de la última evaluación, los siete expertos llegaron a un consenso y consideraron que no era necesario realizar más modificaciones. Además, se determinó que la calificación de las preguntas se realizaría con valores de “SÍ” o “NO”; donde “SÍ” indica que se cumplió correctamente el ítem durante la implementación de las BPM, y “NO” indica que el ítem aún no se cumple.

La lista de verificación en BPM para la industria de agrobiológicos quedó conformada por 10 dimensiones. Las dos primeras están relacionadas con la información de la empresa (generalidades y clasificación comercial), y las siguientes ocho dimensiones comprenden los 210 ítems de calificación. Las dimensiones requeridas y su respectivo número de ítems se describen en la Tabla 1.

La primera dimensión presenta la información fiscal de la empresa y de las personas responsables del proceso productivo, mientras que la segunda muestra la clasificación comercial de la empresa. Ambas dimensiones no cuentan con preguntas ya que no aportan ninguna información al monitoreo de las BPM. La tercera dimensión se subdivide en aspectos de capacitación, higiene y salud ocupacional y dotación de ropa de trabajo. La cuarta dimensión está constituida por la situación o estado de las áreas internas y externas, los servicios sanitarios, vestidores, mantenimiento y áreas sociales. La quinta incluye los sistemas de suministro de aire, de agua y tratamiento de aguas residuales. La sexta dimensión se subdivide en materias primas (que incluye al ingrediente activo microbiano y a los componentes inertes), empaque y envase y producto terminado. La séptima dimensión incluye ítems relacionados a las áreas de cepario, biofermentadores y formulación con sus respectivas consideraciones de mantenimiento, limpieza y controles. La octava dimensión incluye ítems relacionados al control de calidad durante todo el proceso de elaboración, además de los procedimientos de quejas y reclamos. La novena presenta información sobre el manejo de la documentación en BPM, además de los manejos relacionados a etiqueta y empaque, materia prima y producto terminado. Finalmente, la décima dimensión incluye ítems relacionados a los procedimientos operativos estandarizados de saneamiento (POES). El documento completo se puede observar en el siguiente link de libre acceso: https://drive.google.com/file/d/1LsVqRLDOznPXMG1NciHUiy5yHL7YXK77/view?usp=sharing

La Tabla 2 muestra la validación a partir de la evaluación de siete jueces o expertos. Se asumieron todas sus observaciones y sugerencias para finalmente obtener el consenso de aplicabilidad. Se calculó la validez general de todo el instrumento y se obtuvo un valor de KR₂₀ igual a 0.80. Los valores parciales de validación son: 0.87, 0.72, 0.78, 0.88, 0.85, 0.75, 0.76 y 0.80 en cada una de las dimensiones personal, instalaciones y equipamiento, sistemas de apoyo crítico, área de almacenamiento, área de producción, control de calidad, documentación y limpieza y sanitización, respectivamente. Se observó que la calificación general y la mayoría de las dimensiones superaron el valor KR₂₀ = 0.75, por lo que se encuentran en el rango de aceptación.

La consistencia interna fue calculada mediante el coeficiente de Kuder-Richardson (KR₂₀) y dio un valor promedio igual a 0.81 para todas las dimensiones del instrumento, mientras que los valores parciales de consistencia en cada una de las dimensiones se observan en la Tabla 3. Todas las dimensiones presentaron puntuaciones mayores a 0.75, por lo que se consideraron aceptables.

El coeficiente de valor más alto se obtuvo en la dimensión “documentación” (KR₂₀= 0.88), mientras que el valor más bajo, pero aun así representativo y aceptable, se obtuvo en la dimensión “limpieza y sanitización” (KR₂₀ = 0.75).

DISCUSIÓN

Para definir la estructura de la lista de verificación fue necesario realizar una detallada búsqueda de información, seleccionar el formato que mejor se adaptara al proceso en estudio y luego contrastarlo con las sugerencias de los expertos. Esta secuencia de actividades permitió determinar las dimensiones y número total de preguntas, lo cual es sugerido por ^{Robles y Rojas (2015}) para realizar la validación del diseño y definir la objetividad del instrumento.

En un inicio, la lista de verificación constaba de 15 dimensiones y 250 preguntas, pero se fue reduciendo y ajustando a las actividades en las que se deseaba monitorear las BPM, hasta quedar establecida en 210 preguntas distribuidas en 10 dimensiones. Como recomiendan ^{Ríos et al. (2018}), el instrumento fue entregado nuevamente a los expertos para su aprobación final.

La lista de verificación contó con un promedio de 26 ítems o preguntas en cada dimensión, de las cuales, la dimensión “Área de producción” fue la de mayor cantidad (54) y la dimensión “Sistemas de apoyo crítico”, la de menor cantidad (12). Esto concuerda con lo indicado por ^{Martín (2004}), ya que si bien no existe un número ideal de ítems que permitan evaluar un proceso, lo mínimo sería contar con 6, en promedio 10 y máximo 90 ítems.

Con la estructura ya establecida, se procedió a someter al cuestionario a la evaluación de expertos y, aunque el número óptimo de jueces no se encuentra establecido, algunas investigaciones han incluido la participación de siete (^{Fernández et al., 2017}), diez (^{Boluarte y Tamari, 2017}) o doce expertos (^{Ríos et al., 2013}). En esta investigación no solo se contó con el aporte de siete personas conocedoras, sino también con perspectivas de tres filiales de una misma empresa, lo cual enriqueció la validez del instrumento.

La validez de contenido fue garantizada mediante la aplicación del coeficiente KR₂₀ de Kuder-Richardson, cuyo resultado fue el valor de 0.80, algo muy similar a lo presentado por ^{Vargas y Hernández (2010}), quienes obtuvieron un índice de validez de contenido general igual a 0.88 con el análisis de diez expertos.

Al igual que ^{Salazar et al. (2016}), la evaluación de la consistencia interna de la lista de verificación, con escala dicotómica, se realizó con la aplicación del coeficiente de Kuder-Richardson. El valor promedio del instrumento en general fue igual a 0.81, lo cual es aceptable para Kline (2013), como se citó en ^{Díaz et al., 2017}) y concuerda con lo sugerido por Nunnally y Bernstein (1995) en ^{Vargas y Hernández (2010}), quienes consideran aceptables los valores entre 0.59 y 0.68 durante los primeros estudios de validación. Por otro lado, ^{Roberts, Priest y Traynor (2006}) sugieren que la fiabilidad es adecuada si el coeficiente alcanza valores entre 0.80 y 0.90.

El mínimo valor obtenido en una de las dimensiones (0.75) y el mayor (0.88) no solo se consideraron dentro del rango aceptable, sino que además se consideraron adecuados, debido a que los valores de consistencia interna inferiores a 0.70 indican una pobre relación entre los ítems (^{Campo-Arias y Oviedo, 2008}) y los valores excesivos o por encima de 0.90 indican redundancia o duplicación (^{Esposito et al., 2015}).

Finalmente, como explican ^{Lacave et al. (2015}), el análisis de validez y fiabilidad de un instrumento es un proceso iterativo entre las partes interesadas, el cual debe estar en constante evaluación durante el establecimiento del diseño.

CONCLUSIONES Y RECOMENDACIONES

La propuesta planteada se basa en la importancia de contar con un instrumento o lista de verificación válida y fiable que pueda ser aplicada durante la implementación y monitoreo de las Buenas Prácticas de Manufactura en las diferentes empresas dedicadas a la producción de agrobiológicos.

Gracias al aporte de siete expertos, la lista de verificación en BPM diseñada presentó una aceptable validez de contenido, lo que reafirmó el propósito que se le pretende dar por la coherencia y facilidad de comprensión de sus 210 ítems distribuidos en 10 dimensiones.

Los valores obtenidos en la consistencia interna de cada una de las dimensiones de la lista de verificación permitieron confirmar la fiabilidad que tiene este instrumento y lo precisa que puede resultar su aplicación.