INTRODUCCIÓN

En la era digital, las empresas de desarrollo de software (EDS) desempeñan su rol en la evolución de la tecnología y la satisfacción de las demandas del mercado. El software es un componente esencial de la infraestructura digital desde las pequeñas empresas hasta las grandes corporaciones. El desarrollo de software toma una acción protagónica cuando se considera la diversidad de modelos de negocio que estas empresas adoptan. Algunas EDS se especializan en el desarrollo de software comercial y otras en la implementación de soluciones propietarias, que desarrollan para cubrir sus necesidades internas (Olsson & Bosch, 2020; Park & Kim, 2021).

El entorno altamente competitivo y dinámico en el que operan las EDS requiere no solo la entrega eficiente de productos de calidad, sino también la maximización de la rentabilidad para garantizar la sostenibilidad a largo plazo. Para ello, las EDS deben centrarse en la innovación, la eficiencia y la excelencia operativa (Blüher et al., 2023).

La Ingeniería de Software Empírica (ISE) es una rama que se enfoca en la aplicación de métodos empíricos para obtener conocimiento y evidencia sobre modelos específicos de desarrollo de software. Estos métodos incluyen la experimentación, la observación directa e indirecta, y la experiencia obtenida del desarrollo, operación y mantenimiento del software (Felderer & Travassos, 2019). Además, es una medición cuantitativa y cualitativa de los procesos y productos de la ingeniería de software que utiliza métodos de investigación empíricos, que proporciona información para la toma de decisiones que impacten la rentabilidad (Kitchenham et al., 2002; Tian et al., 2022).

La ISE posee diversas aplicaciones dentro de una EDS, la aplicación puede clasificarse en: gestión de proyectos de desarrollo de software, calidad del software, procesos de desarrollo y prácticas ágiles, y experiencia del usuario y usabilidad (Furia et al., 2023; Burak et al., 2016).

En este sentido, la adopción de procesos de ISE se ha propuesto como un enfoque efectivo para mejorar la calidad del software, el rendimiento de los proyectos y satisfacer las necesidades de los clientes, relacionado al ámbito financiero.

Por tanto, la rentabilidad es uno de los elementos de evaluación del desempeño de una organización, muestra las proporcionalidades generadas por las inversiones en: activos, capital humano, ventas, etc. (Nguyen & Nguyen, 2020). El análisis de la rentabilidad evalúa la eficiencia de los procesos de empresas y su capacidad para generar beneficios económicos. La evolución de los métodos empíricos en ingeniería de software ha contribuido a comprender los factores que influyen en la rentabilidad en los procesos de desarrollo de software (Felderer & Travassos, 2019).

La rentabilidad en las EDS se encuentra influenciada por varios factores: el desempeño financiero, capital intelectual y el gobierno corporativo. Se ha demostrado que el modelo de negocio empresarial y de aprendizaje de las empresas de software puede tener efectos significativos en su crecimiento y rentabilidad (Hakala, 2013). Además, se ha investigado empíricamente el impacto del capital intelectual en el desempeño financiero de las empresas de software, destacando la importancia de los activos intangibles para impulsar la rentabilidad (Bansal & Singh, 2020). El factor intelectual no es el único factor responsable de la rentabilidad de una empresa de software, pero, la evaluación de las habilidades de los ingenieros de software basada en métodos empíricos de ingeniería de software es esencial para garantizar la calidad y rentabilidad de los procesos de desarrollo de software (Tian et al., 2022). También, se enfatiza el papel de las pruebas de regresión para abordar los errores de software, lo que indica la necesidad de metodologías de prueba sólidas para mitigar los defectos (Meçe et al., 2020). Por otra parte, se indica que la calidad de un producto de software está íntimamente ligada a la calidad de los procesos utilizados en su desarrollo y mantenimiento (López Sisniega et al., 2021); los procesos de desarrollo de software y los esfuerzos destinados a solventar, mantener y mitigar errores se percibe como un producto defectuoso y afecta la generación de ingresos en las organizaciones, lo que abre el abanico de investigación de la ISE en procesos de análisis rentables basados en: el cliente, el producto y los empleados.

Un simulador de riesgos que surge como un instrumento para la evaluación y gestión de diversas categorías de riesgos en distintos dominios. Implica la utilización de modelos de simulación con el propósito de estimar e investigar potenciales riesgos, otorgando así a los responsables de la toma de decisiones la capacidad de efectuar elecciones fundamentadas (Glasserman, 2003).

La simulación Montecarlo es una herramienta la cual permite el análisis y evaluación de rentabilidad, la simulación permite modelar el impacto de varios factores que intervienen en un proyecto o inversión. En este método de simulación se generan múltiples escenarios cada uno basado en distribuciones probabilísticas de variables de entrada, proporcionando la visión integral de la gama de resultados potenciales y riesgos asociados (Sandhyavitri et al., 2022). La aplicación de la simulación Montecarlo dentro de un proyecto empresarial ayuda a evaluar el impacto de diferentes factores en la rentabilidad, considerando la incertidumbre y la variabilidad inherentes a los entornos financieros y económicos (Godfrey et al., 2021).

Este estudio reviste relevancia inherente, ya que la rentabilidad se revela como un factor trascendental para el éxito y la subsistencia de las empresas. El abordaje comparativo de la rentabilidad entre empresas que adoptan procesos de ISE y aquellas que no, promete arrojar información precisa y significativa sobre el impacto financiero de esta metodología.

La investigación se propone como objetivo investigar la rentabilidad en empresas de desarrollo de software a través de indicadores de ingeniería de software empírica mediante la recopilación de datos financieros pertinentes de empresas que emplean la ISE y aquellas que no. La aplicación de métricas financieras apropiadas se traducirá en un análisis cuantitativo pormenorizado con el propósito de evaluar la rentabilidad y contrastar los resultados obtenidos entre ambos conjuntos empresariales.

MÉTODOS

Se analizaron diferentes indicadores de desempeño (KPIs), para la evaluación del impacto económico respecto a la rentabilidad en EDS que aplican ISE y aquellas EDS que siguen modelos tradicionales, utilizando información financiera otorgada por cada una de las organizaciones correspondiente al ejercicio fiscal 2022, en la Figura 1 se establece el marco de trabajo una vez seleccionada, categorizada e identificada cada una de las variables tomadas en cuenta para el análisis rentable.

Figura 1.
Esquema para la obtención de información y análisis de resultados.

La metodología de investigación adoptada se basó en 4 ejes: investigación de campo exploratorio, revisión sistemática, análisis cuantitativo-estadístico y estudio de caso comparativo.

La selección de población objeto de estudio, se compone del conjunto de organizaciones que involucran a EDS Comercial y a EDS Propietario. Se trabaja a partir del listado proporcionado por la Cámara de Innovación y Tecnología Ecuatoriana donde se obtiene el listado de empresas candidatas. Cada EDS identificada fue evaluada para determinar si existe la aplicación o no de ISE en sus procesos operativos. Los criterios establecidos para definir la aplicabilidad de ISE fue la consulta directa con las empresas, en base a las métricas de: productividad, calidad de software y satisfacción al cliente. Como resultado se obtiene que el 53,3 % de las empresas aplican ISE y un 46,67 % de las empresas no lo aplica. Previo análisis con cada una de las organizaciones, aceptan trabajar en el estudio 30 empresas.

A continuación, las empresas fueron clasificadas dependiendo del tamaño en: grandes, medianas y pequeñas, para la cual se ha aplicado la ecuación [1]; según los activos totales de la empresa aplicando la función Logaritmo Natural, la cual es un indicador frecuentemente utilizado como aproximación del tamaño de una entidad, los valores referenciales para la clasificación están provistos en la tabla 1.

[1]

Tabla 1
Rangos de clasificación según resultado en el tamaño de la empresa

Tamaño	Rango
Grande	X >15
Mediana	11 ≤ X ≤ 15
Pequeña	X < 11

Tras la obtención de los resultados, se procedió a la clasificación de las empresas de acuerdo con el rango sugerido. La clasificación de las empresas determinó que existen 7 empresas grandes, 19 medianas y 4 pequeñas.

La elección y recopilación de datos pertinentes para el estudio se inició con la obtención de las ganancias fundamentales derivadas de la producción y las ventas, segmentadas en dos categorías principales: ingresos y costos.

Esta etapa representó la primera fase para la obtención de la ganancia bruta (Ecuación 2). En este cálculo, se determina el beneficio económico derivado de las operaciones comerciales (Triantoro & Bertuah, 2020).

Después se procedió a recopilar los gastos incurridos por las organizaciones, se calculó la ganancia neta (ecuación 3). Este indicador refleja el resultado financiero organizacional al término de un periodo, considerando la deducción de: los costos, gastos, impuestos y otros pasivos vinculados a la generación de ingresos (Bugshan et al., 2021).

[3]

Una vez obtenidos los datos financieros para el análisis de rentabilidad, se identificaron métricas fundamentadas en la ISE, la cual se sustenta en tres pilares: el software como producto, personal de desarrollado y relación con los clientes (Ayuningtiyas et al., 2023; Greevy & Ducasse, 2007).

Se han seleccionado dos variables para este estudio, el primero es el análisis de rentabilidad bajo cinco indicadores. Cuatro de estos indicadores están vinculadas a aspectos financieros: Ingresos Totales de las empresas, el patrimonio total, la inversión anual en capital humano y los ingresos específicos generados por contratos con nuevos clientes. El quinto indicador se centra en el número total de empleados en el área de desarrollo.

Estos indicadores permitieron una evaluación holística que abarca, tanto la salud financiera de las empresas, como la eficiencia y dinámica de su personal de desarrollo, así como su relación con los clientes y cómo estos fidelizan con la empresa, proporcionando una perspectiva integral para el análisis empírico en el ámbito de la Ingeniería de Software.

En el caso de la segunda variable representa el resultado del análisis de la Ganancia Neta en relación con los indicadores de la primera variable. Con los valores anteriores, se determinan los indicadores clave de desempeño que describen la rentabilidad alcanzada por la empresa en un periodo de tiempo (Tabla 2).

Tabla 2
Indicadores clave de desempeño KPIs

KPIs	Formula
Margen de Ganancia Neta	(Ganancia Neta / Ingresos Totales)
Rentabilidad sobre Patrimonio (ROE)	(Ganancia Neta / Patrimonio Total)
Beneficio por Empleado	(Ganancia Neta / Número total de Empleados)
Beneficio sobre Inversión en Capital Humano	(Ganancia Neta / Inversión Anual a Capital Humano)
Beneficio sobre Ingresos Recibidos por Clientes	(Ganancia Neta / Ingresos por Contrato con Clientes Nuevos)

Por último, la investigación abordó el análisis rentable de las EDS con la aplicación de un análisis de riesgo a partir del método de Montecarlo por medio de la evaluación de tres escenarios, modelados según una distribución triangular. Esta evaluación consideró la clasificación de las empresas en categorías de tamaño, junto con los indicadores propuestos.

La obtención de datos surgió de la recolección de información financiera, específicamente en los valores de los indicadores de desempeño presentes en el estudio para cada tipo de empresa. Los valores recopilados representan el escenario de mayor probabilidad, ya que provienen de datos reales de las empresas.

RESULTADOS

A continuación, se exponen los resultados obtenidos del análisis de rentabilidad y la simulación obtenida de acuerdo con los indicadores de desempeño.

La recopilación de datos y su clasificación fue el aspecto fundamental de la investigación, la clasificación de datos según: el tamaño de la empresa y la aplicación de ISE permitió la comparación de los resultados obtenidos mediante el cálculo del valor promedio de cada uno de los indicadores de desempeño. (Tabla 3)

Tabla 3
Valores promedio de KPIs para cada tipo de empresa

KPIs	Grande		Mediana		Pequeña
	Aplica	No Aplica	Aplica	No Aplica	Aplica	No Aplica
Margen de Ganancia Neta	0,3403	0,0347	0,3066	0,0642	0,6868	0,01058
Rentabilidad sobre Patrimonio (ROE)	0,1957	0,0137	0,4520	0,0543	0,8542	0,1455
Beneficio por Empleado	3023,76	1090,58	4798,67	823,57	3617,08	153,27
Beneficio sobre Inversión en Capital Humano	0,1371	0,0251	0,2724	0,04125	0,1847	0,0107
Beneficio sobre Ingresos Recibidos por Clientes	0,0442	0,0096	0,1138	0,0285	0,4796	0,0079

Experimentación

La simulación de riesgo bajo el método de Montecarlo incluyó tres escenarios: optimista, de mayor probabilidad y pesimista, modelados según una distribución triangular.

La obtención de datos para cada escenario corresponde a los valores de los indicadores de desempeño. Los valores recopilados representan el escenario de mayor probabilidad y además sirvió como la media de la distribución triangular, y mediante determinación estocástica se obtuvieron los valores mínimos y máximos para los escenarios optimista y pesimista.

Se diseñaron tres casos de prueba según el tamaño de las empresas (grande, mediana y pequeña), cada uno sometido a cinco mil iteraciones. Los escenarios presentados se utilizaron como supuestos de entrada para los casos de prueba, mientras que las salidas previstas se calcularon a partir de los indicadores de desempeño con un nivel de precisión del 95% y un nivel de error del 5%.

Para las empresas grandes el resultado de la simulación evidencia que las empresas 1,2,3,4 y 5 que son las que aplican ISE crecieron más frente aquellas que no las aplican (empresas 6 y 7). (Figura 2 y 3)

Figura 2.
Simulación Montecarlo indicadores de desempeño en empresas grandes.

Figura 3.
Simulación Montecarlo indicador de desempeño: beneficio por empleado en empresas grandes.

Para las empresas medianas el resultado de la simulación evidencia que las empresas crecieron, lo hacen en mayor proporción las empresas medianas que aplican ISE, empresa 1 a la empresa 10, el crecimiento se lo hace en menor proporción para las empresas medianas que no aplican ISE empresa 11 a la empresa 19 (Tabla 4).

Tabla 4
Simulación Montecarlo indicadores de desempeño en empresas medianas

Empresas	Margen de Ganancia Neta	Rentabilidad sobre Patrimonio (ROE)	Beneficio por Empleado	Beneficio sobre Inversión en Capital	Beneficio sobre Ingresos Recibidos por Clientes
Empresa 1	0,272	0,123	7348,430	0,596	0,094
Empresa 2	0,340	1,264	15485,250	0,338	0,201
Empresa 3	0,268	0,489	14676,840	0,645	0,083
Empresa 4	0,340	0,248	3592,670	0,222	0,095
Empresa 5	0,570	0,491	6039,147	0,320	0,341
Empresa 6	0,580	1,010	5729,380	0,484	0,172
Empresa 7	0,550	1,291	2556,950	0,138	0,049
Empresa 8	0,167	0,284	6351,070	0,373	0,106
Empresa 9	0,571	0,354	2842,950	0,191	0,143
Empresa 10	0,319	0,315	3618,860	0,228	0,188
Empresa 11	0,025	0,005	48,160	0,002	0,001
Empresa 12	0,036	0,200	529,680	0,030	0,027
Empresa 13	0,002	0,002	15,490	0,001	0,000
Empresa 14	0,004	0,006	73,620	0,004	0,002
Empresa 15	0,224	0,123	2082,760	0,172	0,023
Empresa 16	0,011	0,066	465,464	0,017	0,012
Empresa 17	0,212	0,077	3469,631	0,119	0,075
Empresa 18	0,158	0,103	2374,380	0,089	0,134
Empresa 19	0,074	0,045	991,422	0,049	0,059

Para las empresas pequeñas el resultado de la simulación evidencia que la empresa 4 que aplica ISE crece en mayor proporción frente aquellas que no las aplican (empresas 1, 2 y 3) (Figura 4 y 5).

Figura 4.
Simulación Montecarlo indicadores de desempeño en empresas pequeñas.

Figura 5.
Simulación Montecarlo indicador de desempeño: beneficio por empleado en empresas pequeñas.

La clasificación de datos permitió la comparación de los resultados obtenidos mediante el cálculo del valor promedio de cada uno de los indicadores de desempeño para la simulación de Montecarlo (tabla 5).

Tabla 5
Resultado de la simulación Montecarlo para cada tipo de empresa

KPIs	Grande		Mediana		Pequeña
	Aplica	No Aplica	Aplica	No Aplica	Aplica	No Aplica
Margen de Ganancia Neta	0,4364	0,0450	0,3975	0,0829	0,8787	0,0139
Rentabilidad sobre Patrimonio (ROE)	0,2555	0,018	0,5869	0,0695	1,11	0,1872
Beneficio por Empleado	3924,74	1417,89	6824,15	1116,73	5399,30	199,19
Beneficio sobre Inversión en Capital Humano	0,1754	0,0329	0,3535	0,0535	0,2342	0,014
Beneficio sobre Ingresos Recibidos por Clientes	0,05681	0,0124	0,1472	0,0370	0,6236	0,0103

Los resultados de la simulación arrojaron que, independientemente de la aplicación o no de ISE, las empresas crecen, los valores de crecimiento varían en escalas diferentes, dependiendo la aplicabilidad o no de ISE (tabla 6).

Tabla 6
Valores de crecimiento conforme los resultados de la simulación Montecarlo y valores promedio de KPIs

Nota: los valores se obtienen de la diferencia entre el resultado de la simulación de Montecarlo y los valores promedios determinados bajo la recolección de la información.

KPIs	Grande			Mediana		Pequeña
	Aplica	No Aplica	Aplica		No Aplica	Aplica	No Aplica
Margen de Ganancia Neta	0,0961	0,0103	0,0909		0,0187	0,1919	0,0033
Rentabilidad sobre Patrimonio (ROE)	0,0598	0,0043	0,1349		0,0152	0,2558	0,0417
Beneficio por Empleado	900,98	327,31	2025,48		293,16	1782,22	45,92
Beneficio sobre Inversión en Capital Humano	0,0383	0,0078	0,0811		0,0123	0,0495	0,0033
Beneficio sobre Ingresos Recibidos por Clientes	0,0126	0,0028	0,0334		0,0085	0,144	0,0024

DISCUSIÓN

El presente trabajo investigativo tuvo como objetivo investigar la rentabilidad en Empresas de Desarrollo de Software mediante indicadores de Ingeniería de Software Empírica. Para lograrlo, se aplicaron indicadores de desempeño y se realizó una simulación de riesgos bajo el modelo de Montecarlo para el análisis cuantitativo. Como resultado del proceso se obtuvo una correlación positiva y significativa entre la aplicación de la Ingeniería de Software Empírica y la rentabilidad en Empresas de Desarrollo de Software, el resultado respalda la teoría de Hakala (2013), cuyo estudio sostiene que la orientación empresarial y de aprendizaje (aplicación de métodos empíricos) tiene efectos sobre el crecimiento y la rentabilidad en el sector del software.

Rombach et al. (2008) indica que las empresas que reportan éxitos consistentes suelen utilizar técnicas claramente definidas para examinar el código y otros documentos, comúnmente referidos como técnicas de lectura. Además, integran revisiones en un sistema de retroalimentación que se basa en mediciones, lo que facilita la supervisión y mejora, así como la motivación de los revisores.

Lott y Rombach (1996) sostiene que realizar experimentos en ingeniería de software tiene beneficios para profesionales y la comunidad. Los profesionales pueden ganar confianza en nuevas técnicas antes de aplicarlas, en un entorno que genere ingresos y, la comunidad de ingeniería de software puede acumular un conjunto de conocimientos sobre la utilidad de diversas técnicas bajo diferentes características del proyecto, además, recomienda que se adopten experimentos repetibles como parte estándar de programas ingeniería y transferencia de tecnología.

Los resultados de estas investigaciones indican la existencia de correlación positiva entre la aplicación de la Ingeniería de Software Empírica y la rentabilidad en Empresas de Desarrollo de Software. Estos hallazgos respaldan la literatura existente sobre la importancia de aplicar métodos empíricos en una organización para mejorar sus ingresos ya que aprovechan la evidencia empírica para la toma de decisiones informadas, mitigar riesgos y optimizar los resultados del proyecto.

La aplicación de indicadores de desempeño adecuados basados en ISE permite a las organizaciones identificar qué tipo de inversión promoverá un mejor flujo de ganancias así se obtiene que: la inversión en capital humano, optimización de recursos en el patrimonio y los ingresos generados son esenciales en la escalabilidad de la rentabilidad de las EDS. Se sugiere que las Empresas de Desarrollo de Software promuevan la adopción de métodos empíricos relacionados a la Ingeniería de Software Empírica para fortalecer su margen de beneficio y así asegurar el éxito financiero y la prevalencia en el tiempo.

CONCLUSIONES

Los hallazgos de la investigación proporcionan una visión clara y concluyente sobre la aplicación de Ingeniería de Software Empírica en Empresas de Desarrollo de Software. Por un lado, se identifica que los indicadores de desempeño que mejor resultado ofrecen para las empresas son: Beneficio por Empleado (3924,74) en empresas grandes, (4798,67) en empresas medianas y (5399,30) en empresas pequeñas, Margen de Ganancia Neta (0,4364) en empresas grandes, (0,3066) en empresas medianas y (0,8787) en empresas pequeñas y Rentabilidad sobre Patrimonio (ROE) (0,2555) en empresas grandes, (0,4520) en empresas medianas y (1,11) en empresas pequeñas.

Se han encontrado diferencias sustanciales en relación con la rentabilidad entre aquellas empresas que aplican Ingeniería de Software Empírica, y aquellas empresas que no las aplican, el análisis de simulación de riesgos de Montecarlo arroja como resultado que todas las empresas crecen, pero en proporcionalidad las empresas que aplican Ingeniería de Software Empírica lo hacen a mayor medida: (900,98 - 2025,48) para el indicador Beneficio por Empleado, (0,0909 - 0,1919) para el indicador Margen de Ganancia Neta y (0,0598 - 0,2558) para Rentabilidad sobre Patrimonio (ROE). En comparación con las empresas que no aplican ingeniería de Software Emperica ya que crecen (45,92 - 327,31) para el indicador Beneficio por Empleado, (0,0033 - 0,0187) para el indicador Margen de Ganancia Neta y (0,0043 - 0,0417) para el indicador Rentabilidad sobre Patrimonio (ROE).

REFERENCIAS

Ayuningtiyas, K., Suryanto, S., & Herachwati, N. (2023). Smart Personality Development Model in Software Developer. In International Journal of Entrepreneurship Business and Creative Economy, 3(1), 43-49. https://doi.org/10.31098/ijebce.v3i1.739

Bansal, D., & Singh, S. (2020). Impact of Intellectual Capital on Financial Performance of the Indian Software Sector. Asia-Pacific Management Accounting Journal, 15(1), 1-29. https://doi.org/10.24191/apmaj.v15i1-04

Blüher, T., Maelzer, D., Harrendorf, J., & Stark, R. (2023). Devops for Manufacturing Systems: Speeding Up Software Development. Proceedings of the Design Society, 3, 1475-1484. https://doi.org/10.1017/pds.2023.148

Bugshan, A., Bakry, W., & Li, Y. (2021). Oil Price Volatility and Firm Profitability: An Empirical Analysis of Shariah-Compliant and Non-Shariah-Compliant Firms. International Journal of Emerging Markets, 18(5), 1147-1167. https://doi.org/10.1108/ijoem-10-2020-1288

Burak, T., Ayse, B., & Tim, M. (2016). Empirical Research for Software Engineering: Concepts, Analysis, and Applications. Chapman and Hall/CRC. https://doi.org/10.1201/b19292

Felderer, M., & Travassos, G. H. (2019). The Evolution of Empirical Methods in Software Engineering. http://arxiv.org/abs/1912.11512

Furia, C. A., Torkar, R., & Feldt, R. (2023). Towards Causal Analysis of Empirical Software Engineering Data: The Impact of Programming Languages on Coding Competitions. ACM Trans. Softw. Eng. Methodol., 33(1), 1-35. https://doi.org/10.1145/3611667

Glasserman, P. (2003). Monte Carlo Methods in Financial Engineering. Springer New York. https://doi.org/10.1007/978-0-387-21617-1

Godfrey, S., Ip, R. H. L., & Nordblom, T. L. (2021). Risk Analysis of Australia’s Victorian Dairy Farms Using Multivariate Copulae. In Journal of Agricultural and Applied Economics. 54(1), 72–92. https://doi.org/10.1017/aae.2021.23

Greevy, O., & Ducasse, S. (2007). How Developers Develop Features. 11th European Conference on Software Maintenance and Reengineering (CSMR’07), 265–274. https://doi.org/10.1109/CSMR.2007.27

Hakala, H. (2013). Entrepreneurial and learning orientation: Effects on growth and profitability in the software sector. Baltic Journal of Management, 8(1), 102–118. https://doi.org/10.1108/17465261311291687

Kitchenham, B., Pfleeger, S. L., Pickard, L. M., Jones, P. W., Hoaglin, D. C., Emam, K. El, & Rosenberg, J. (2002). Preliminary Guidelines for Empirical Research in Software Engineering. Ieee Transactions on Software Engineering, 28(8), 721–734. https://doi.org/10.1109/tse.2002.1027796

López-Sisniega, C. L., Díez, M. del C. G., Bordas-Beltrán, J. L., & Sáenz-Salinas, A. B. (2021). Calidad en El Desarrollo De Software en Economías Emergentes Versus Clase Mundial: Caso Chihuahua, México. Información Tecnológica, 32(6), 191–202. https://doi.org/10.4067/s0718-07642021000600191

Lott, C. M., & Rombach, H. D. (1996). Repeatable software engineering experiments for comparing defect-detection techniques. Empirical Software Engineering, 1(3), 241–277. https://doi.org/10.1007/BF00127447

Meçe, E. K., Paci, H., & Binjaku, K. (2020). The Application of Machine Learning in Test Case Prioritization - A Review. European Journal of Electrical Engineering and Computer Science, 4(1). https://doi.org/10.24018/ejece.2020.4.1.128

Nguyen, T. N. L., & Nguyen, V. C. (2020). The determinants of profitability in listed enterprises: A study from vietnamese stock exchange. Journal of Asian Finance, Economics and Business, 7(1), 47–58. https://doi.org/10.13106/jafeb.2020.vol7.no1.47

Olsson, H. H., & Bosch, J. (2020). Going Digital: Disruption and Transformation in Software‐intensive Embedded Systems Ecosystems. Journal of Software Evolution and Process, 32(6), e2249. https://doi.org/10.1002/smr.2249

Park, C., & Kim, M. (2021). Characteristics Influencing Digital Technology Choice in Digitalization Projects of Energy Industry. Environmental and Climate Technologies, 25(1), 356–366. https://doi.org/10.2478/rtuect-2021-0026

Rombach, D., Ciolkowski, M., Jeffery, R., Laitenberger, O., McGarry, F., & Shull, F. (2008). Impact of research on practice in the field of inspections, reviews and walkthroughs. ACM SIGSOFT Software Engineering Notes, 33(6), 26–35. https://doi.org/10.1145/1449603.1449609

Sandhyavitri, A., Arvin, A., & Restuhadi, F. (2022). Simulations of the Crude Oil Tank Refurbishment Project Risks Using Monte Carlo. Journal of Applied Materials and Technology, 3(1), 22–29. https://doi.org/10.31258/jamt.3.1.22-29

Tian, J., Yin, J., & Xiao, L. (2022). Software Requirements Engineer’s Ability Assessment Method Based on Empirical Software Engineering. Wireless Communications and Mobile Computing, 2022, 3617140. https://doi.org/10.1155/2022/3617140

Triantoro, D., & Bertuah, E. (2020). The Determinants of Capital Structures in Automotive and Component Industries as Listed in IDX (Indonesia Stock Exchange). International Journal of Science and Management Studies (Ijsms), 3(4), 91–102. https://doi.org/10.51386/25815946/ijsms-v3i4p110