Hello Samrat,

Unfortunately, you'll need to elaborate your query in order to get a helpful response. Are you asking: (a) what sample size is required to detect that Fleiss' kappa is non-zero; (b) what a "respectable" sample size for a kappa estimation might be; (c) whether kappa is significantly different from 1.00; (d) what sample size is required to estimate kappa to within some level of precision (e.g., +/-.025); or (e) something else?

The answer will vary depending on the specific aim.

Good luck with your work.

Hola David Morse. El respetable tamaño no es otra cosa que el nivel de confianza que quieras alcanzar, para las tres categorías de los evaluadores puedes considerarlos como estratos en esta hoja de calculo

Jaime Eduardo Gutiérrez Ascón Muchas gracias. Le agradezco que comparta esta calculadora en Excel. Estoy escribiendo en español a través del traductor de Google, así que disculpas si hay algunos errores. Cuál es el significado de :AccionistasFuncionariosPersonal técnico. Para qué será Número de categorías, número de evaluadores.¿Esto nos da una muestra para los evaluadores o los elementos a calificar? ¿La calculadora es específica para 3 categorías? Supongamos que tenemos solo dos categorías. Entonces, ¿cómo cambiarlo en la calculadora?

David Morse Thank you for your answer. It would be a level of precision of 0.6.

Saludos Samrat Chatterjee: Son los estratos o clases en un estudio, lo que pasa es que son hojas de calculo orientados a estudios de Ingeniería Industrial y los "dueños del problema" o sujetos son los que se necesita muestrear. Solamente identifica los "estratos" en tu campo de estudio y aplica. Recuerda que solo es necesario muestrear cuando la población "N" pasa de 100

Hello again, Samrat,

I'm still not clear on what your primary goal is. A "precision" of 0.6 implies that you wish to estimate the population value for Kappa to within +/- 0.6. As Kappa only varies between 0-1, that's not a very precise estimate. The good news is, if this is truly what you intended, then the requisite sample size would be very low.

If that's not what you had in mind, it would be helpful if you could elaborate your query.

Good luck with your work.

David Morse Greetings. Thank you for getting back. I want to see if the agreement between x number of raters for categorising a clinical image (y number of images) into either 2 or 3 categories with a precision of 0.6 Fleiss Kappa or more. A kappa of 0 is too low and clinically does not make sense in this, and 1 is too large (too precise). I am not sure whether I should fix the number of x or y for sample size such that the study has a power of 80% and alpha 0.05. This is the first time I am doing this. I hope this provides some amount of clarity