A  starting point can be expert validity, getting the opinions of persons you deem expert in the subject area.  Getting personal opinions and comments from others is foundational.  Rating importance of items is a beginning.  If published lists of items appearing on your rubric can be cited, then that too can be given as validity evidence.  Users of the rubric can provide feedback in a field trial.  So, triangulation is possible from three sources.

Dr. Palmer:

Thanks for the answer. Actually, i'm already using experts method you coment. But i'm wondering if it's andy statistic method as Factorial Analysis or any measure related. Anything that alow to make statistic relations with constucts. 

Hola Jorge, ¡tanto tiempo!

Hace muchos años que no trabajo con rúbricas, así que es posible que mi respuesta pueda ser solo medianamente útil para ti. 

Como instrumento de evaluación, por ejemplo, la rúbrica está pensada para evaluar determinadas "dimensiones" o "variables". El análisis factorial exploratorio, como técnica estadística, te permitiría saber en qué dimensiones se agrupan si es que no hay una teoría claramente definida previamente. Si tu teoría previamente definida es más clara, las ecuaciones estructurales de un análisis factorial confirmatorio te podrían servir mejor, para saber si el grado de ajuste entre tu modelo y los datos es apropiado. 

Ahora, tu mencionas algunas limitaciones, como, por ejemplo, que los ítemes tengan diferente cantidad de niveles. En rigor, el análisis factorial se emplea con variables numéricas, idealmente continuas o, al menos, ordinales. También es ideal que tus variables tengan de 3 niveles hacia arriba (en otras palabras, no tiene sentido emplearlo con variables dicotómicas). 

Una limitación metodológica respecto al uso de análisis factoriales: para validar hay que tener al menos 5 casos por "variable" (ítem), idealmente 10. 

Finalmente, tampoco olvides que hay otros tipos de validez, como criterio concurrente y divergente, en las que un simple análisis de correlación entre las dimensiones de tu rúbrica y otro indicador externo que supuestamente se deba relacionar podrían decirte mucho acerca de qué tan idóneo es el instrumento. 

Hola Osvaldo.

Si harto tiempo, que bueno que andabas por acá, me aclaraste harto. Y tienes razón, no había pensado en los otros métodos.

Saludos!