Dear All,
I want to do a feature selection for predicting the kinematics characteristics (we have a total of 9) of tennis shots that better predict an outcome variable called quality of the shot (with three values, 1, 2 or 3, I think it is better not to go into details). I think it is a good idea to use ANOVA to select features (below I add some references that use this test to select variables for creating a prediction model) . But I have a question… My independent variables (kinematic variable 1, 2,..., 9) are continuous and my dependent variable (quality of the shot) is ordinal. It is correct if we select the better predictive variables comparing the kinematics variables for the three quality level of shots? (ANOVA comparing kinematic variable 1, 2, 3,...,9 between shot of quality 1, shot of quality 2 and shot of quality 3). Or it is better to categorize the independent variables (for example speed of the hand could be categorized as slow, medium and fast using terciles) and then compare the dependent variable (level of the shot) in those level of the independent variable (slow, medium and fast hand movement) using for example Kruskal Wallis.
Other ficticious example to make my question more undenstable. Imagine that we want to predict which of three anthropometric characteristics predict the level of the basketball player (beginner, competitive or elite): height, hip height or wingspan. It is correct to compare this characteristics between those three groups and select the better predictive variable of the level selecting the variables with the higher F values? Or it is better to categorize the independent variables (height, hip heigh and wingspan) and compare in each one the dependent variable with kruskall Wallis and then selecting the minor p values?
Thanks very much,
Gabriel
References:
Yamashita, Alexandre Yukio, et al. "The Residual Center of Mass: An Image Descriptor for the Diagnosis of Alzheimer Disease." Neuroinformatics (2018): 1-15.
Chen, Yi-Wei, and Chih-Jen Lin. "Combining SVMs with various feature selection strategies." Feature extraction. Springer, Berlin, Heidelberg, 2006. 315-324
Surendiran, B., and A. Vadivel. "Feature selection using stepwise ANOVA discriminant analysis for mammogram mass classification." International J. of Recent Trends in Engineering and Technology 3.2 (2010): 55-57.
Elssied, Nadir Omer Fadl, Othman Ibrahim, and Ahmed Hamza Osman. "Research Article A Novel Feature Selection Based on One-Way ANOVA F-Test for E-Mail Spam Classification." Research Journal of Applied Sciences, Engineering and Technology 7.3 (2014): 625-638.
Zaki, Wan Mimi Diyana Wan, et al. "Automated pterygium detection method of anterior segment photographed images." Computer methods and programs in biomedicine 154 (2018): 71-78.
Ali Khan, Sajid, et al. "Kruskal-Wallis-based computationally efficient feature selection for face recognition." The Scientific World Journal 2014 (2014).
I think I haven't formule the question properly (in ANOVA we always compare the dependent variable between the selected groups)… The issue is that I want to select features using ANOVA in the mentioned examples and I would like to know the procedures.
Thanks very much
Thanks Sourabh. I want to apply something simple as it is a pilot study. I think I will apply ANOVA but I will study the methods you recommend me
In comparison of continuous variables vs. ordinals or ordinals vs. ordinals in more than two situations to be compared, it is better to use nonparametric statistics, such as Kruskall wallis nonparametric variance analysis; as long as it is a single path (unifactorial). In case of two simultaneous comparisons of different meanings (2-way, two-factor), the Friedman test should be used.
En comparación de variables continuas vs ordinales u ordinales vs ordinales en más de dos situaciones a comparar, es mejor utilizar estadística no paramétrica, como el análisis de la varianza no paramétrica de Kruskall wallis; siempre y cuando se trate de una sola vía (unifactorial). En caso de dos comparaciones simultáneas de diferente sentido (2 vías, bifactorial) conviene utilizar la prueba de Friedman.
Muchas gracias Jose Luis García, muy clara la respuesta. Yo utilicé Krukal Wallis en este caso. Es que tengo un poco de confusión con la manera en que se hace la selección de variables utilizando el test ANOVA. Por ejemplo arriba he dejado algunos artículos relacionados con la inteligencia artificial que utilizan este test para reducir el modelo y en otros trabajos leo que no se puede utilizar el "p value" para seleccionar las variables... Seguro que hay algo que no he entendido bien.
Con frecuencia no está clara la forma como deben de seleccionarse las variables. Además no se necesita el valor de "p" para seleccionar variables, ya que estas se seleccionan durante el proyecto y proceso de investigación y hasta el final, según los resultados, se estima y analiza si tal proceder fue correcto.
En cuanto a los trabajos de Inteligencia Artificial, el asunto es diferente; ya que se tiene que partir de sistemas de información e instrumentos ya validados (Hay métodos y estadísticas para tal fin), así como procedimientos confiables (correlación real validado vs prototipo de prueba.
Generalmente se llega a ello por medio de una investigación metodológica. Después de dicha validación, se lleva a cabo la automatización con programación utilizando códigos y algoritmos de inteligencia artificial.
José Luis
Muchas gracias José Luis, creo que me falta una amplia base de conocimiento estadístico para poder entender tu respuesta. Ahora estoy tratando de utilizar un modelo de efectos mixtos (ya que analizamos varios golpes de cada jugador, por lo que tenemos varias observaciones por jugador). Lo mejor será que me busque un amigo estadístico.
Muchas gracias de nuevo
Bueno si es conveniente trabajar con otros investigadores conocedores y expertos de metodología y estadística, mientras nosotros mismos durante nuestra vida como investigadores, vamos desarrollando también dicha experiencia.
the following research articles give u better idea for your research:
1. Article Kruskal-Wallis-Based Computationally Efficient Feature Selec...
2. https://statistics.laerd.com/spss-tutorials/kruskal-wallis-h-test-using-spss-statistics.php
3. https://www.statisticssolutions.com/kruskal-wallis-test/
- Badges
- Science topic
- Similar topics
- Linguistics
- Composition Studies
- Writing