Informe Universidad 2000 (Informe Bricall)
VII. CALIDAD Y ACREDITACIÓN

1.- Garantizar la calidad

1.1. Cultura de la calidad

1. En la actualidad, ya no se debate en las universidades la conveniencia de medir y evaluar la calidad de su docencia, su investigación, sus servicios y su organización. La necesidad de desarrollar programas de evaluación de las distintas actividades universitarias es ampliamente aceptada; más bien, son las características y cada uno de los aspectos concretos de la evaluación los que deben ser motivo del análisis. Ha comenzado a fructificar una cultura de la calidad. Es por ello que, aceptada su necesidad, las cuestiones reales a plantear son:

- los medios que debe poner la Universidad al servicio del proceso evaluador;

- la clase de evaluación a realizar, ya se trate de una evaluación interna efectuada por la propia Universidad o, en su caso, externa mediante expertos debidamente seleccionados;

- los beneficios o las mejoras que producirán estos procesos en el conjunto de la institución universitaria.

No existe un modelo único de evaluación, que pueda aplicarse a cualquier país. Es preciso tener en cuenta su realidad social, cultural y política y analizar los aspectos que favorecen o dificultan su implantación. Según esto, la evaluación puede considerarse en sentido estricto -como evaluación de programas- o amplio -como evaluación institucional-; puede estar más o menos relacionada o controlada por la Administración; puede vincularse a los procesos de "habilitación" o de "acreditación", consistentes en conceder a la institución universitaria el derecho a otorgar títulos o diplomas. La acreditación, por su parte, puede contrastarse según criterios que tienen en cuenta los conocimientos adquiridos o las competencias profesionales.

También es importante determinar el grado de influencia del resultado de la evaluación en la financiación de las instituciones universitarias por sus efectos en las fórmulas de financiación o en el establecimiento de contratos-programa.

2. En el futuro inmediato, la conjugación de la autonomía universitaria con la responsabilidad social halla en la evaluación de la calidad el medio más adecuado para equilibrar y armonizar ese binomio.

En la vida social, la descentralización de decisiones en distintas unidades tiene su complemento y justificación en la asunción por parte de cada una de éstas de los efectos de su conducta. Es por tal circunstancia que, en particular, la autonomía de las universidades debe llevar consigo la responsabilidad de sus órganos de gobierno y administración. Por esto, como ya se ha indicado (véase II, 50), el aumento de la autonomía ha ido aparejada de un mayor peso de las evaluaciones de su actividad acompañadas de consecuencias positivas y negativas. La evaluación de la calidad juega pues un papel central en la actual política universitaria.

3. La transformación de la Universidad española ha supuesto un desarrollo cuantitativo que no siempre ha ido acompañado de un desarrollo paralelo de su calidad. Cuando así ha sido, se ha debido más a meritorios esfuerzos individuales o de instituciones por su propia cuenta que a un esfuerzo coordinado y sistemático de búsqueda de la calidad en la docencia, en la investigación y en la gestión.

Las Administraciones Públicas y las universidades, en colaboración con otros sectores económicos y sociales partícipes de la calidad universitaria, deben proseguir los esfuerzos y actividades de sensibilización de la comunidad universitaria respecto a la cultura de la calidad, como elemento de equilibrio entre la autonomía universitaria y la responsabilidad social.

1.2. Preocupación por la calidad en la universidad

4. El hecho de que la calidad sea un concepto difícil de definir, complejo y multidimensional, no puede servir de excusa para no intentar comprenderlo en sus distintas acepciones y en su cambiante formulación a lo largo de la historia de cualquier institución y en concreto de la Universidad.

La academia, desde siempre, ha gozado de una cierta confianza de la sociedad para mantener su propio sistema de control de la calidad. Los académicos han establecido a lo largo de los años sus propios sistemas de calidad que incluían normalmente mecanismos de aseguramiento de:

- la calidad de los profesores, a través de los diversos sistemas de selección, promoción y nombramiento;

- la calidad de los estudiantes, a través de sistemas de admisión selectiva, exámenes y pruebas, becas y premios;

- la calidad de la investigación, a través de la financiación y ayudas a los proyectos de investigación, los índices de citaciones y publicaciones, evaluaciones internas y externas periódicas;

- la calidad de los planes de estudio, de los cursos y de la enseñanza en general, a través de la evaluación o acreditación de programas y de cursos, de cuestionarios a los estudiantes, de evaluación del profesorado, de programas de formación en habilidades docentes;

- la calidad del personal de administración y servicios, a través de los diversos sistemas de selección y formación.

Las universidades deben seguir manteniendo estos objetivos y mecanismos de aseguramiento de la calidad, aunque probablemente en los últimos tiempos ha cambiado el concepto de calidad aplicable y, en consecuencia, también están cambiando los objetivos y los métodos. La creciente importancia de la Universidad como agente social explica que en nuestros días los responsables de evaluar la calidad de estas instituciones no sean únicamente los propios académicos.

Actualmente, el concepto de calidad tiene distintas acepciones.

En primer lugar, el concepto de calidad se confunde a veces con el concepto de excelencia y distinción. Se considera de calidad una universidad que se distingue en algunas de sus características: los profesores, los estudiantes, los recursos financieros y el precio de sus tasas, sus instalaciones, su historia, o simplemente su fama y reconocimiento públicos. Este concepto puede ser todavía útil para ciertas universidades de élite, a la manera tradicional, o para universidades que intentan diferenciarse y especializarse en segmentos concretos de la formación o investigación. Pero, no es este un concepto demasiado útil en el ámbito docente, para un sistema universitario público cuyo objetivo es dar educación superior a una amplia población estudiantil. En cambio, el valor de esta acepción guarda su vigencia en el ámbito de la investigación, donde los sistemas actuales de valoración de la calidad dan un cierto peso al concepto de excelencia. No es posible, sin embargo, comparar resultados de evaluación de titulaciones diferentes ni de departamentos de campos científicos alejados, pues las diferencias de contexto afectan a estas actividades.

En segundo lugar, la calidad se puede definir como conformidad con unos estándares. La acreditación de una universidad para otorgar títulos cae dentro de este concepto: la acreditación asegura que se cumplen unos estándares previos mínimos de calidad y que el estudiante que ha conseguido aprobar todo el plan de estudios cumple o supera estos requisitos mínimos.

En tercer lugar, la calidad se define también como la adecuación a un objetivo o finalidad ("fitness for purpose"). La diferenciación de la enseñanza superior y la diversidad de cada institución obliga a definir cuidadosamente la calidad de cada uno de los componentes de este mundo complejo que se resiste a una medida única de calidad. Un amplio debate técnico-académico se desarrolla en el mundo universitario para medir el grado de consecución de la misión y objetivos de una universidad. El concepto de calidad se ha relacionado entonces con la eficacia en conseguir los objetivos institucionales. La autonomía y la diversificación universitaria obligan a las universidades a definir su propia estrategia y sus propios objetivos. La calidad se mide por la capacidad de los equipos de gobierno en conseguir las metas y objetivos que ellos mismos se han definido.

La Universidad se convierte así en primera responsable de establecer mecanismos de aseguramiento de la calidad. Cada universidad debe desarrollar unos instrumentos de planificación estratégica que permitan a las unidades y programas que la integran contar con objetivos expresos, en tanto que la evaluación mide el grado de cumplimiento de los objetivos propuestos.

En cuarto lugar, el concepto de calidad se ha relacionado, asimismo, con la eficiencia y el coste de la Universidad. No es de extrañar que el aumento de los costes de un extenso sistema de educación superior haya focalizado el interés en mejorar la eficiencia en el uso de los recursos económicos, humanos, técnicos, de infraestructuras. El concepto de calidad se ha extendido pues a los ámbitos de la gestión y administración.

En quinto lugar, el concepto de calidad se ha definido como la aptitud para satisfacer las necesidades de los usuarios, destinatarios o clientes. Este es un concepto plenamente aceptado en la industria y en los servicios pero sigue teniendo un cierto nivel de incomprensión y a veces de resistencia en la Universidad. En realidad hay distintos "stakeholders" o partícipes de las instituciones de enseñanza superior -estudiantes, académicos, el conjunto de la sociedad y el mundo profesional y laboral, la Administración- que formulan requerimientos distintos, no siempre compatibles, a la Universidad. Una misma universidad puede ser de calidad para unos e insatisfactoria para otros.

5. Finalmente, ha aparecido un nuevo concepto de calidad, relacionado con la capacidad de transformación y cambio de la Universidad. Este concepto es paralelo al de gestión de calidad total que pone el énfasis en la necesidad de gestión del cambio ante las nuevas demandas de la sociedad, de mejora y reingeniería de procesos, de introducción de la tecnología actual, de adaptación de los recursos humanos y de nuevas formas de organización institucional. Los sistemas implantados deben tomar como objetivo fundamental la mejora de la calidad que debe incorporarse a los planteamientos reguladores o de acreditación.

La aparición de nuevos conceptos de calidad no elimina la validez de los conceptos anteriores. Es por ello que se ha definido la calidad como un concepto multidimensional y complejo.

6. Los sistemas de calidad en las universidades deben cumplir las siguientes funciones:

- Preparar los mecanismos para la acreditación de instituciones o programas: el incremento en el número de universidades, la masificación de estudiantes, el rápido crecimiento de nuevas titulaciones y programas, la internacionalización de títulos han creado una cierta preocupación por asegurar mínimos de calidad institucional o de calidad de los programas.

- Mejorar la docencia, la investigación y la administración: todo programa de calidad debería implicar la adopción de medidas de mejora de los procesos y actividades de la Universidad. No siempre ello es así y algunas de las críticas a los sistemas actuales se refieren a su falta de resultados concretos de mejora.

- Servir de instrumento para rendir cuentas al gobierno y a la sociedad: ambos reclaman mecanismos que les permitan conocer los resultados obtenidos por los recursos que se han asignado en la institución universitaria.

- Suministrar información pública y transparencia a los estudiantes y al mercado laboral: éste es un objetivo cada vez más importante al hacerse el sistema universitario más competitivo y diferenciado. Los estudiantes quieren disponer de información sobre la calidad de las distintas universidades, de sus programas y de sus instalaciones para decidir la elección de aquella en que quieren seguir sus estudios. El mercado laboral, por su parte, desea conocer mejor el perfil profesional de los graduados por cada universidad en particular.

- Operar como mecanismo para decidir una financiación diferencial de las universidades: en algunos países los sistemas de evaluación de la calidad se establecen con el objetivo de tener indicadores objetivos que permitan la asignación de fondos de financiación, en función de los resultados obtenidos y de la consecución de algunos objetivos predeterminados.

7. En cuanto a los métodos utilizados, cabe optar por un modelo de autorregulación, en el que la responsabilidad en la iniciativa y ejecución se sitúe en la propia universidad, o por un modelo de control externo gubernamental, en el que la responsabilidad recaiga en órganos ajenos a la institución. Como modelo mixto, aparecen en algunos países esquemas que se basan en la creación de agencias independientes aprobadas por el gobierno o por la asociación de las propias universidades. La tendencia en muchos casos es combinar una primera autoevaluación interna con la evaluación externa.

La organización y gestión de los procesos de evaluación externa deberían encomendarse a organismos autónomos, independientes de las Administraciones y de las instituciones de enseñanza superior, pero establecidos como resultado de un acuerdo entre ambas.

2.- Experiencias de evaluación

2.1. Experiencias en otros países

8. La evaluación de las instituciones universitarias es una práctica generalizada en los países del entorno europeo y tiene una larga tradición en los de cultura anglosajona.

En los Estados Unidos, los sistemas de evaluación surgen por la necesidad de permitir el trasvase de estudiantes entre centros y para poder realizar una valoración de la calidad de los títulos. Los estudios de las propias universidades y las revisiones externas de sus programas constituyen uno de los métodos habituales de análisis y evaluación en dicho país. Fueron las propias instituciones universitarias las que iniciaron, hace ya bastantes años, investigaciones sobre la eficiencia de su propio funcionamiento, las revisiones de programas y la planificación estratégica. En particular, se procedía a la acreditación por agencias regionales especializadas -en muchas ocasiones de carácter privado- basada en la revisión de la estructura organizativa de las universidades y en las visitas a las mismas de grupos evaluadores externos. En los años 60, diversos Estados empezaron a ejercer algún tipo de control sobre las instituciones de educación superior, en particular sobre las universidades, directamente o a través de las acreditaciones por las agencias; hoy en día más de dos tercios de los Estados disponen de un sistema de evaluación de la calidad para las instituciones de enseñanza superior de su territorio. Un aspecto al que se dedica un interés especial en los Estados Unidos es la valoración de los resultados del proceso educativo, es decir, el valor añadido que representa el proceso educativo para los estudiantes.

Un caso distinto es el modelo de evaluación utilizado en Australia. Allí una agencia estatal HERDSA ("Higher Education Research and Development Society"), siguiendo las recomendaciones de la CTEC ("Commonwealth Tertiary Education Commission") -que es la organización responsable de la educación superior- prepara la metodología de las revisiones que deben realizar las universidades, de modo que el control sobre las mismas se ejerce solicitando sus autoevaluaciones cada tres años.

En el Reino Unido, el sistema de evaluación hace especial hincapié en el uso de los indicadores de rendimiento frente a la evaluación autoregulada; tradicionalmente la calidad docente ha estado garantizada por examinadores externos nombrados por las propias universidades. Es la "Academic Audit Unit", organismo creado en 1990 por la Conferencia británica de rectores (Committee of Vice-chancellors and Principals (CVCP)) para asistir a las mismas instituciones universitarias, quien inspecciona los centros por invitación negociada. La Academic Audit Unit es un ente independiente que, en 1992, se integró en el Higher Education Quality Council (HEQC).

En Dinamarca se creó en 1992 un Centro para garantizar la calidad y la evaluación de la Educación Superior, dependiente del Ministerio de Educación. Este centro realiza las evaluaciones de los programas de enseñanza y establece las áreas de actuación prioritaria. El proceso de evaluación concluye con un informe de evaluación que contiene las recomendaciones oportunas sobre el área evaluada. Las evaluaciones son requeridas por los consejos de educación, los programas educativos implantados, o a instancias del propio ministerio. Los planes de evaluación tienen carácter periódico.

El "Comité National d’Evaluation" de Francia es un organismo autónomo, con independencia administrativa. Se encarga de evaluar los aspectos docentes e investigadores de las universidades, pero carece de competencias para evaluar a las personas, para habilitar los "curricula" o para distribuir las subvenciones del Estado. Las universidades no han de elaborar ningún informe previo a la visita, únicamente deben facilitar los datos requeridos. El Comité no tiene capacidad de reglamentación ni de gestión; analiza los datos, recogidos por un equipo reducido que visita las instituciones, recaba la información y elabora un informe público. El "Comité National d’Evaluation" está constituido por miembros destacados de la comunidad académica y por personalidades de otros organismos del Estado.

En Holanda, el sistema de gestión de la calidad se inició a mediados de los años ochenta con la publicación del documento sobre "Educación superior: autonomía y calidad", por el Ministerio de Educación, Cultura y Ciencia. Según este texto, todas las instituciones de educación superior deben ser responsables de asegurar la calidad de sus programas educativos y de su evaluación interna, de la que han de rendir cuentas públicamente. La evaluación procede según ciclos de seis años y combina la autoevaluación y la evaluación externa, haciendo público el informe final. La Administración Pública debe asumir un "control remoto" sobre el sistema de educación superior. En 1987 la Asociación de Universidades de los Países Bajos (VSNU) implantó un sistema de revisión de la calidad de los distintos programas educativos. Las recomendaciones que recogen los informes de calidad -periódicas y públicas- tienen que ser implantadas.

9. Paralelamente han surgido iniciativas a nivel de las instituciones de educación superior.

Así, en los Países Bajos, la universidad tecnológica de Delft concede un alto valor a la evaluación de su calidad, entendida como cumplimiento de los objetivos institucionales, apreciando tanto la calidad de su docencia e investigación, como la eficacia de la gestión universitaria, la calidad de sus recursos humanos, la de su organización y de sus sistemas de decisión. A este respecto, esta universidad además de experimentar los programas de evaluación previstos para el conjunto de las universidades holandesas se ha sometido a un sistema de acreditación internacional. Periódicamente Delft acredita sus programas a través de agencias reconocidas internacionalmente (en 1995 el programa de ingeniería aeroespacial, en 1997 el de ingeniería eléctrica por el "American Accreditation Board for Engineering and Technology", etc.).

La Universidad de Twente, junto a otras diez universidades europeas (entre ellas la Universidad Autónoma de Barcelona) agrupadas en el "European Consortium of Innovative Universities", ha iniciado un programa piloto de acreditación internacional.

Sus responsables defienden un sistema de revisión y reconocimiento internacional entre universidades parecidas y para nuevos programas innovadores. Este es un modelo que permite que las universidades miembros de la red actúen de hecho como agencias externas de acreditación y que se refuercen mútuamente los procesos de evaluación y gestión de la calidad. Este modelo parte pues de la heterogeneidad y especialización creciente de los sistemas universitarios nacionales y de la necesaria colaboración internacional.

El sistema de calidad habría de permitir acomodar los nuevos métodos de aprendizaje a distancia y las nuevas necesidades y demandas de los estudiantes "no tradicionales". La acreditación de nuevas titulaciones y esquemas innovadores debería tener un tratamiento especial.

2.2. Experiencias en España

10. A finales de la de la década de los ochenta, el Consejo de Universidades inició una línea de trabajo para diseñar y poner en marcha mecanismos de evaluación con el objetivo de dotar al sistema universitario de estándares de calidad basados en la definición de los requerimientos (recursos humanos y materiales) que la determinan. Los resultados de esta estrategia resultaron poco satisfactorios de forma que, a partir de 1990 y con el objetivo de favorecer la incorporación de medidas concretas para mejorar la calidad universitaria, el Consejo optó por impulsar una línea alternativa orientada a favorecer la elaboración de pautas de evaluación basadas en una concepción análoga a los modelos de evaluación extranjeros, cuyo primer resultado –tras un debate en el plenario del Consejo- fue el Programa Experimental de Evaluación de la Calidad de las Universidades, desarrollado en España entre 1992 y 1994 y la participación, inmediatamente después, en el Proyecto Piloto de la Unión Europea.

Este proceso tiene una continuidad institucional, de carácter regular, sistemática, en el Plan Nacional de Evaluación de la Calidad que, a propuesta del Consejo de Universidades (25 de septiembre de 1995), aprobó el gobierno en diciembre de 1995 (Real Decreto 1947/1995, de 1 de diciembre por el que se establece el Plan Nacional de Evaluación de la Calidad de las Universidades).

El cuadro que se inserta a continuación (Cuadro VII-1) resume las etapas del sistema de evaluación en España.

Cuadro VII-1 Cronología de la evaluación de la universidad en España Ámbito Administrativo Ámbito universitario.

Actividades Consejo de Universidades Actividades Unión Europea 1990-1991 · Debate sobre el alcance de la evaluación (estudios, seminarios, publicaciones) orientada a mejorar la calidad.

1992-1994 ·Programa ESMU · Programa Experimental de Evaluación.

1994-1995 · · Plan Nacional de Evaluación · Valoración del Programa Experimental · Acuerdo del Consejo de Universidades por el que propone al Gobierno la adopción de un Plan Nacional de Evaluación.

· Coordinación del Proyecto piloto Europeo · Proyecto PilotoEuropeo · Conferencia final del Proyecto Piloto Europeo 1996-1997 · 1ª Convocatoria del Plan Nacional de Evaluación · Participación directa en el Plan de algunas Comunidades Autónomas · Desarrollo del Plan de evaluación · 1er Informe sobre la calidad de las Universidades.

· Propuesta de recomendación de la Comisión de la Unión Europea sobre garantía de la calidad en la enseñanza superior 1998-1999 · 2ª y 3ª Convocatoria del Plan Nacional de Evaluación · Constitución de Agencias regionales de Evaluación · Desarrollo del Plan de evaluación · Modelo Europeo de Evaluación · Creación de la Red Europea de Agencias de Evaluación

11. El objetivo principal del Programa Experimental de Evaluación fue desarrollar y poner a prueba un método periódico de evaluación de la calidad de la Universidad, inspirado en las experiencias internacionales.

El Consejo de Universidades optó por combinar un proceso de autoevaluación y de evaluación externa mediante expertos para evaluar de forma integrada los programas de enseñanza, la investigación y los servicios y organización de la Universidad.

El programa se estructuró en tres niveles que ampliaban sucesivamente la escala e incorporaban una mayor complejidad organizativa y metodológica. El objetivo del primer nivel era construir un sistema de evaluación global referido a la totalidad de la institución universitaria. En un segundo nivel, el análisis se circunscribía a determinados aspectos de los ámbitos de la enseñanza, la investigación, y la organización. Finalmente, el tercer nivel se diseñó de forma que el proceso de autoevaluación pudiera completarse con elementos de juicio de expertos externos y entrevistas semiestructuradas con diferentes componentes de la comunidad universitaria, incluidos los recién graduados.

En términos generales, la metodología seguida fue valorada satisfactoriamente por los Comités de Evaluación de las universidades participantes y por el grupo de expertos internacionales a los que se les pidió una revisión de los procedimientos y de los resultados obtenidos.

12. Entre 1991 y 1994, acogiéndose a una financiación de la Unión Europea a través de ESMU -entidad para la gestión estratégica de universidades con sede en Bruselas-, se impulsó un programa piloto de gestión de la calidad aplicado al área administrativa de las universidades. Impulsado por la Universidad de Barcelona, en el programa participaron 17 universidades, trece de las cuales eran españolas. El programa significó un impulso importante a la cultura de la calidad entre los gerentes y ámbitos administrativos y de servicios de las universidades españolas, que acabó teniendo su repercusión en el Plan Nacional de Evaluación, al adoptar para la evaluación institucional en el ámbito de la administración las ideas del modelo europeo para la calidad de la EFQM (European Foundation for Quality Management).

En 1994, coincidiendo con la conclusión del programa experimental español, la Unión Europea puso en marcha un Proyecto Piloto para la Evaluación de la Calidad de la Enseñanza Superior que ha permitido desarrollar un Modelo Europeo para la Evaluación de la Calidad.

En mayo de 1997 la Comisión de las Comunidades Europeas presentó al Consejo de la Unión Europea una Propuesta de recomendación relativa a la cooperación europea en materia de garantía de la calidad en la enseñanza superior que recoge las conclusiones de la conferencia final del proyecto piloto europeo, celebrada bajo la presidencia española en Las Palmas en diciembre de 1996. Dicha propuesta fue vista por el Parlamento Europeo el 18 de noviembre de 1997 y, como consecuencia, la Comisión realizó una modificación de la propuesta de recomendación el 2 de febrero de 1998.

La Propuesta incorpora los siguientes elementos:

- El sistema de evaluación ha de asegurar la autonomía e independencia de las autoridades encargadas de la gestión, coordinación y desarrollo de la evaluación y de la garantía de la calidad.

- El proceso de evaluación debe permitir la adecuación entre los procedimientos de evaluación y el perfil de los centros.

- En el método de evaluación deben confluir elementos internos y externos y participar todas las partes interesadas.

- El proceso de evaluación supone la publicación de los informes de evaluación.

El Comité Español del Proyecto Europeo estuvo constituido tanto por representantes de la Administración Pública, de la comunidad académica, de organizaciones profesionales, como por expertos en evaluación y por profesionales de reconocido prestigio de las disciplinas que se evaluaron, y utilizó los servicios técnicos del Consejo de Universidades. El grupo encargado de la evaluación externa estuvo compuesto por expertos en evaluación o en las disciplinas cientifico-docentes.

La Administración española encargó al Consejo de Universidades coordinar la participación de las instituciones españolas en el proyecto europeo, por dos razones. En primer lugar para contrastar la aplicabilidad de los procedimientos ensayados en el programa experimental y comprobar si la metodología y las dificultades del proyecto europeo eran básicamente idénticas a las del programa experimental previo, si bien el proyecto europeo de evaluación se limitó a la enseñanza, incluyendo únicamente temas de investigación y de gestión universitaria cuando se relacionaban directamente con los programas de estudio.

Se pretendía además adaptar a la situación española la guía y el cuestionario de evaluación europeos. De esta manera se cubrían algunas deficiencias del programa experimental.

13. El Plan Nacional de Evaluación de la Calidad de las Universidades se fundamentaba en diferentes argumentos: Ante todo, las organizaciones deben incorporar políticas orientadas a mejorar la calidad de los productos y servicios que justifican su creación. Las universidades no pueden permanecer al margen de esta tendencia que constituye actualmente uno de los objetivos prioritarios en todas las organizaciones sociales, máxime cuando por su propia naturaleza son instituciones con una vocación irrenunciable de excelencia académica y científica.

Además, la incorporación de España a la Unión Europa exigía igualmente una homologación con las políticas educativas vigentes dentro de la Unión. La evaluación de la calidad de las universidades constituye una política impulsada a través de diversas directrices y recomendaciones comunitarias.

Finalmente, las instituciones universitarias, financiadas con recursos públicos, están obligadas -al igual que el resto de las instituciones sociales- a dar cuenta sobre su utilización y el rendimiento obtenido. Esta información es imprescindible tanto para los gobiernos a la hora de tomar decisiones sobre las políticas educativas como para los usuarios del sistema.

Con ello se pretendía conseguir tres objetivos: promover la evaluación institucional de la calidad de las universidades, propiciar la elaboración de un método de evaluación integrado en la práctica vigente en la Unión Europea y proporcionar una información objetiva como base para la adopción de decisiones.

14. El método de evaluación coincide plenamente con el Modelo Europeo de Evaluación, formulado en las recomendaciones de la Comisión de las Comunidades Europeas. Las previas experiencias del Programa experimental y del Proyecto Piloto de la Unión Europea permitieron adoptar un modelo de evaluación equivalente al empleado en países con más experiencia.

Siguiendo el criterio de la Comisión Europea, los métodos de evaluación de la calidad se conciben como reglas de procedimiento, más que de contenido. Esto significa que definen el procedimiento de evaluación de la calidad (sujetos y modalidades de participación, aspectos a examinar, etc.), pero no establecen criterios definidores de la calidad de un centro universitario, basados en estándares. Se atribuye a cada universidad la responsabilidad de decidir su propia noción de calidad vinculada a sus objetivos. El plan, de una duración de cinco años, se ha concretado anualmente mediante convocatorias públicas de la Administración para la financiación de proyectos de evaluación, en las que voluntariamente participan universidades públicas y privadas.

15. El proceso de evaluación integrado se compone de tres etapas principales:

- Evaluación interna: Se inicia con la recogida y sistematización de la información referida a la unidad objeto de evaluación. Esta información se compone de estadísticas, datos de gestión e indicadores sobre los inputs, procesos y resultados de la actividad de la propia unidad. El estudio elaborado por el Comité interno de evaluación integra esta información con las observaciones, opiniones y valoraciones generadas en el proceso.

- Evaluación externa: Un Comité externo de evaluación –revisión de los pares (Peer Review)- analiza el autoestudio y realiza una visita a la unidad evaluada. A partir de sus propias observaciones y de las informaciones, opiniones y valoraciones, recogidas en las entrevistas, emite un informe externo. Este informe es sometido a la consideración de la propia unidad evaluada, a fin de que ésta presente las alegaciones o consideraciones pertinentes.

- Informe de evaluación: La síntesis ponderada y comprensiva del autoestudio y del informe externo da lugar al definitivo informe de la unidad evaluada que debe tener la adecuada y pertinente difusión y publicidad.

La difusión de sus resultados sirve también para incrementar el conocimiento del entorno social de cada universidad sobre los niveles de calidad alcanzados y sobre el esfuerzo realizado para mejorar sus prestaciones. Las administraciones disponen, a su vez, de los resultados de la evaluación para diseñar sus planes de actuación en materia de desarrollo y financiación del sistema universitario.

Aunque todo proceso de evaluación institucional se justifica en función de dos finalidades fundamentales - rendir cuentas y proponer mejoras - procede subrayar que la filosofía que inspira el Plan opta por la mejora excluyendo, por tanto, su vinculación a procesos de financiación o de acreditación administrativa. Es cada universidad la que debe impulsar y desarrollar políticas de calidad y la que debe estar más interesada en arbitrar sistemas de evaluación, que incidan en la mejora de los productos y servicios que éstas ofrecen a la sociedad.

16. Con diferente intensidad, en las tres convocatorias del Plan Nacional de Evaluación de la Calidad han participado prácticamente la totalidad de las universidades españolas públicas y privadas.

El Pleno del Consejo de Universidades reunido en diciembre de 1997 valoró positivamente el desarrollo del proceso de evaluación, si bien consideró que podría ser susceptible de mejoras en posteriores convocatorias. A juicio del informe

"la debilidad más significativa ha sido la inadecuación de los datos disponibles, que ha propiciado desequilibrios importantes en la distribución del tiempo de las fases del proceso. En ocasiones, la búsqueda de la información, necesaria para el desarrollo de la evaluación, ha consumido gran parte del tiempo que debería haberse dedicado a la valoración".

Se trata de una primera valoración positiva que contrasta con las dificultades que padecieron la resolución de la primera convocatoria (nueve meses después de los previsto) y la publicación de la segunda (dos años después), de modo que a pesar de haber transcurrido cuatro de los cinco años de duración del Plan en septiembre de 1999 no había concluido aún la segunda de las cinco convocatorias anuales inicialmente previstas.

Si se repasan los objetivos del Plan -véase anteriormente apartado VII-13- puede concluirse que se han cubierto satisfactoriamente los dos primeros, pero no ocurre lo mismo con el tercero. En efecto, el Plan ha permitido la implantación efectiva de mecanismos evaluación institucional dentro de las universidades y la superación de enfoques de evaluación centrados exclusivamente en la valoración de la docencia.

Aunque todavía exista camino por recorrer, se puede afirmar que se ha contribuido decisivamente a generar una "cultura evaluativa" en el interior de las instituciones universitarias.

Respecto al segundo de los objetivos propuestos, la valoración de su cumplimiento también es positiva ya que las características metodológicas son coincidentes con las recomendaciones de la Unión Europea y con la práctica de los países que vienen desarrollando mecanismos de evaluación.

Sin embargo, los resultados son, por el contrario, todavía poco satisfactorios respecto al tercer objetivo, puesto que el actual sistema no permite disponer de la información objetiva para la toma de decisiones. Muchos de los informes redactados sobre las titulaciones y las universidades adolecen de informaciones contrastadas o consensuadas que se puedan utilizar a este efecto. En ocasiones, ni siquiera algunas de las propuestas de mejora que se formulan se apoyan en informaciones objetivas.

17. El proceso de la evaluación de la calidad de las universidades en España parece haber superado pues una etapa inicial, suficientemente sólida para el sistema de evaluación y acreditación, que parece convenir al futuro del sistema de enseñanza superior español. Es preciso, con todo, notar que las demandas de calidad son cada vez de una mayor exigencia. Los planes actuales de evaluación tienen evidentes debilidades, debido a su carácter voluntario, a la falta de percepción sobre la utilidad de los resultados en el desarrollo de programas de mejora de la calidad, y a la eficacia de sus resultados. Se necesita dar un paso más y sustituir un programa de evaluación estricto, sin consecuencias, por otro de evaluación y acreditación. No es sino la consecuencia lógica de una mayor desregulación del conjunto, de una mayor flexibilidad de las estructuras y de una profundización en el ejercicio de la autonomía universitaria.

Es conveniente que los programas de evaluación actuales tengan continuidad. El balance del Plan Nacional de evaluación de la Calidad de las universidades debe servir de base para la realización de posteriores programas con objetivos más concretos y selectivos y para aumentar el grado de exigencia en los resultados.

3.- Un sistema de evaluación y acreditación

3.1. El sistema

18. El objetivo de asegurar la calidad de las instituciones de enseñanza superior requiere el establecimiento de un sistema coherente que comprometa a la propia institución así como al conjunto de los responsables del sistema universitario, Conferencia de rectores y Administraciones Públicas.

El primer eslabón del proceso se encuentra en la propia Universidad, cuyo esfuerzo por preservar o mejorar la calidad debería ser objeto de acciones coordinadas en torno al Plan estratégico de cada una de las universidades (véase apartado VIII-44).

19. El segundo eslabón se configura en torno a la evaluación como un método idóneo para pilotar y supervisar el desarrollo de los objetivos educativos y la eficiencia de las instituciones. De ahí, los procedimientos de evaluación que a este propósito se han establecido, mediante la coordinación de las Administraciones Públicas y responsables de las universidades.

No hay un paradigma único de evaluación que pueda ser de aplicación general a todas las circunstancias y países; no basta, por tanto, la utilización de los indicadores de rendimiento. Éstos suelen ser de tres tipos:

- Indicadores de rendimiento interno; como son la tasa de graduación y los tipos de grados obtenidos, la atracción de fondos para investigación o la tasa de éxito en los grados superiores y el tiempo requerido para completarlos.

- Indicadores de rendimiento externo; entre los cuales se cuentan el primer destino profesional de los graduados, las publicaciones y trabajos en congresos del profesorado o las patentes, inventos y consultorías.

- Indicadores de rendimiento operativo; de este tipo son el tamaño de las clases, la disponibilidad de ordenadores o la carga docente.

Recordemos que el proceso de evaluación presenta una doble vertiente: en relación con el exterior del sistema universitario, debe asegurar que la sociedad y particularmente los estudiantes conozcan la calidad de la oferta de programas académicos; en relación con el interior de la institución, constituye un instrumento para la observación de sus puntos fuertes y sus puntos débiles, y para impulsar, en consecuencia, las estrategias para conseguir mejoras en la calidad.

A pesar de su importancia, los efectos del proceso de evaluación no se agotan en las anteriores consideraciones: las Administraciones Públicas esperan de sus resultados criterios para orientar la financiación que reciben directamente las instituciones de enseñanza superior e informar a la sociedad.

En suma, los resultados del proceso de evaluación son un factor valioso en el proceso de acreditación.

20. El tercer eslabón del proceso es la acreditación. Tradicionalmente el principal mecanismo de garantía de la calidad a disposición del sistema universitario se ha basado en una lógica administrativa de racionalidad rutinaria que emplea el binomio autorización-homologación. El primero para la autorización previa por la Administración para la puesta en marcha de las enseñanzas y el segundo para convalidar los planes de estudios. Se supone con ello que si se cumplen las condiciones previstas por el ordenamiento, si se cuenta con los recursos y con un plan docente adaptado a las prescripciones normativas, necesariamente los resultados serán los correctos en términos de calidad. En la práctica no es posible contar con normas suficientemente detalladas y flexibles que permitan contrastar la adecuación de los recursos y del plan, más allá de una nueva comprobación formal.

Sustituir el proceso de homologación y de autorización por otro de acreditación, equivale a transformar progresivamente los mecanismos de intervención previa -que ponen a salvo la responsabilidad del gestor- por instrumentos de auditoria, que ponen en cuestión la calidad de la gestión. Como se verá, es posible dar el paso de un sistema de garantías "a priori" a otro que incorpore un sistema adicional de acreditación. Sin embargo, en la nueva cultura de la calidad, el establecimiento de un sistema obligatorio de evaluación de la calidad, unido a las tendencias y exigencias de diversificación del sistema universitario, puede no ser suficiente según los procedimientos contemplados en los programas de los Planes Nacionales de Evaluación de la Calidad Institucional de las universidades.

Por "acreditación", entendemos la concesión a una institución del derecho a otorgar títulos, cuya calidad se encuentra contrastada según criterios que tienen en cuenta los conocimientos adquiridos o las competencias profesionales.

21. El creciente papel que desempeña la movilidad de estudiantes y de profesionales y la europeización e internacionalización del espacio de la educación superior, muestran la insuficiencia de los programas nacionales de evaluación. Se precisará pues la internacionalización y homologación -sobre todo en el área europea- de los programas de calidad y la introducción de procedimientos de acreditación de los estudios que también garantice que los graduados de un programa que haya sido acreditado, están adecuadamente preparados para iniciar -y continuar- la práctica de una profesión.

3.2. La calidad en el Plan Estratégico

22. Cada universidad debería introducir en su Plan Estratégico (véase apartado VIII-40) los mecanismos adecuados para garantizar el nivel satisfactorio de calidad en los procesos docentes y de investigación, y en la gestión.

El Plan Estratégico debe identificar y medir los parámetros que informen sobre los puntos fuertes y débiles de la docencia, la investigación y la administración de cada universidad. Para su implantación han de cumplirse las condiciones comunes a la introducción de un sistema de calidad en cualquier organización. En consecuencia, el Plan Estratégico debe participar de los principios de la cultura de la calidad, de acuerdo con los objetivos del Plan Nacional de Evaluación Institucional de la Calidad de las universidades.

Los programas de calidad contenidos en el Plan Estratégico deben ser objeto de un seguimiento atento por parte de la universidad y a este respecto deben ser liderados por el rector y deben afirmar su carácter institucional abarcando la totalidad de organismos que la constituyan. De ahí su concepción transversal, que impide su integración jerárquica en los respectivos organigramas. Su elaboración ha de contar con la participación de todos los estamentos universitarios, para obtener el compromiso activo de docentes, estudiantes y gestores.

23. La elaboración y el desarrollo de los programas de calidad contenidos en el Plan Estratégico deben corresponder a un grupo de trabajo específico compuesto por profesores y técnicos responsable ante el rector y órganos centrales.

El objetivo último de los programas de calidad del Plan Estratégico es la mejora de la calidad. Por tanto, su credibilidad depende de conseguirla en el menor plazo posible, particularmente en la docencia. Para conseguir esta eficacia los programas que deben formar parte del Plan Estratégico exigen una cuidadosa selección, combinando el realismo con la voluntad de renovar aquellos aspectos que necesitan mejora e innovar en temas cuya futura demanda se perfila como segura.

24. La diversidad de programas de calidad integrables en un Plan Estratégico pueden agruparse, temáticamente.

Ante todo, programas relativos a la organización y a la gestión:

- Programas de mejora de la calidad de la organización y la estructuración universitarias (como evaluación de la toma de decisiones, definición de estrategias de eficiencia, análisis de la coordinación entre órganos de gobierno personales y colegiados, etc.).

- Programas de mejora de la calidad de la vida universitaria (como formación de adultos, formación y reciclaje del personal de administración y servicios, facilidad en el acceso informático, mejora de la información a la comunidad, integración de centros dispersos, formación extra-académica de los estudiantes, iniciativas de apoyo a los titulados recientes).

- Programas de extensión de la cultura de la calidad (organización de encuentros y seminarios sobre temas de calidad, intercambio de experiencias con otras universidades, información periódica, etc.).

- Programas de mejora de la calidad en la atención a las demandas sociales (por ejemplo, estímulo de las relaciones con las empresas del entorno, solidaridad y cooperación con países en desarrollo, calidad de vida y desarrollo sostenible, etc.).

Otra serie de programas, correspondientes a aspectos netamente académicos, que podrían apuntarse son:

- Programas de formación del profesorado (para estimular la valoración de actividades pedagógicas en el profesorado; la movilidad de los jóvenes docentes; nuevas vocaciones académicas entre los mejores estudiantes; la formación y las estancias en otros países, etc.).

- Programas para la evaluación de los doctorados en las universidades (examen de los puntos fuertes y puntos débiles de la enseñanza, de la investigación y de la gestión en la formación de doctores; propuesta de medidas concretas, que signifiquen mejoras en los estudios, ordenados según su prioridad y su desarrollo temporal, para que los pertinentes órganos tomen las decisiones oportunas de manera fundamental y eficaz, etc.).

- Programas destinados a mejorar los aspectos de calidad en los estudiantes para conocer las aptitudes y motivación que adquieren en sus estudios secundarios así como la relación con la enseñanza secundaria y el sistema de transición entre ésta y la universidad. También han de subrayarse aquellas iniciativas destinadas a asesorar y orientar a los estudiantes; a la participación de los estudiantes en la vida y la gestión de la universidad, desarrollando la cultura de la solidaridad y fomentando entre los estudiantes la conciencia de su responsabilidad como ciudadanos, habida cuenta especialmente de la ayuda pública que significa el precio de las matrículas actuales -y su contribución porcentual en el presupuesto- en la Universidad española.

3.3. Unidades o Consorcios de Evaluación

25. Más allá de la política que cada universidad elabore para conocer su funcionamiento e identificar los caminos factibles de mejora debe existir un segundo nivel, que corresponde a una evaluación externa que compruebe y revise la autoevaluación. Sin embargo, las experiencias del Programa Experimental, del Proyecto Piloto Europeo y de las primeras convocatorias del Plan Nacional confluyen en la dificultad de emitir juicios de valor sobre la calidad de programas de enseñanza o líneas de investigación que no cuentan con metas y objetivos institucionales expresos, que permitan contrastar si efectivamente se cumplen.

De acuerdo con las recomendaciones de la Unión Europea –de modo especial, las surgidas a raíz del Proyecto Piloto Europeo de 1995- parece de una importancia capital que la organización y gestión de los proyectos y procesos de evaluación se encomiende a organismos autónomos, que gocen de independencia respecto a la Administración y las universidades en la toma de sus decisiones.

26. A este respecto y dadas las transferencias a las Comunidades Autónomas, el sistema de evaluación podría partir de Unidades o Consorcios de Evaluación de las Universidades radicados en el territorio de las Comunidades Autónomas, aunque sería recomendable que donde el número de instituciones sea pequeño, las Unidades pudieran abarcar instituciones universitarias que operasen en diversas Comunidades. Las Unidades deberán ser organismos autónomos dirigidos por personalidades independientes, técnicos, profesores y personas externas, nombrados por acuerdos entre la Administración autonómica –o Administraciones autonómicas, en su caso- y los órganos correspondientes de representación de las universidades en cada territorio.

Las Unidades o Consorcios deberían:

- Comprobar el nivel de eficiencia y eficacia de la gestión de los recursos de las universidades y de sus centros, así como de la organización docente y administrativa.

- Analizar la adecuación de las infraestructuras destinadas a los estudios universitarios, y conocer el nivel de ocupación.

- Analizar la relación efectiva de las universidades con los sectores sociales, económicos y productivos, y su incidencia en estos ámbitos.

- Establecer el nivel de eficacia en la prestación y la atención efectiva al estudiante, usuario de los servicios de las universidades.

- Analizar los planes de estudio universitarios y evaluar su efectiva implantación, los resultados de sus reformas y modificaciones, y su grado de experimentalidad.

- Efectuar evaluaciones específicas de la calidad de la docencia, especialmente de la formación inicial y de casos singulares de la formación permanente impartida por el profesorado de las universidades, analizadas por departamentos, titulaciones, centros, institutos o en el conjunto de la universidad.

- Realizar evaluaciones de la calidad en la investigación que se efectúa en los departamentos universitarios y valorar su incidencia en la docencia que imparten.

27. Del amplio contenido actual de la evaluación institucional se pueden destacar algunos temas que deberían actualmente ser considerados prioritarios. En el ámbito de la enseñanza destaquemos:

- Los objetivos de la titulación y el perfil del graduado, en especial el análisis de la demanda y del empleo de la titulación.

- Programa de formación, en especial la estructura y organización de las enseñanzas y de los planes de estudio.

- Desarrollo de la enseñanza e innovación en calidad docente y, en especial, las metodologías docentes, la atención tutorial y los métodos de evaluación de los estudiantes y la evaluación del profesorado.

- La información y la orientación a los estudiantes, especialmente de nuevo ingreso.

- La selección, evaluación y desarrollo del personal, especialmente el profesorado y el personal investigador.

- La proyección externa de la titulación y, en especial, la colaboración y comparación internacional.

28. En el ámbito de la investigación podrían subrayarse como temas prioritarios:

- Las relaciones entre docencia e investigación, en especial, la contribución de ésta última en la actualización de los contenidos de los planes de estudio.

- Existencia explícita de objetivos y planes de investigación y desarrollo.

- La implicación de la investigación en el marco de la política científica.

- Resultados de la investigación, indicadores de rendimiento y calidad científica.

29. En el ámbito de la administración, finalmente (véase apartados VII-27 y VII-28) se podrían mencionar, en concreto:

- El liderazgo académico e institucional y la planificación estratégica.

- La organización académica y científica.

- La organización de la administración y servicios.

- Los sistemas efectivos de gestión de la calidad.

- La valoración de los recursos y, en especial, la utilización de las tecnologías de la información y comunicación.

3.4. Agencia de Acreditación

30. En los términos definidos en el apartado VII-20, la acreditación cumple una doble función que actualmente llevan a cabo:

- el gobierno de la Comunidad Autónoma correspondiente al autorizar la impartición de una enseñanza en un determinado centro o institución,

- el Consejo de Universidades al comprobar si el plan de estudios de este centro o institución cumple los requisitos legales y puede ser aprobado, en su caso, para darle rango oficial.

El procedimiento que se propone elevaría a definitiva (a medio plazo) la acreditación provisionalmente concedida por la Administración, que se indica en el apartado III-45.

Hasta ahora, las exigencias en cuanto a profesorado y a medios materiales para aceptar o autorizar la creación de una universidad –o reconocerla, si es privada- no han venido acompañadas de ninguna revisión a lo largo de sus años posteriores de actividad académica. Tampoco la aprobación y homologación de un plan de estudios previo se ha acompañado de ningún seguimiento de sus resultados, aunque en la legislación de 1987 sobre la reforma de las enseñanzas había alguna previsión al respecto.

En los estudios de contenido profesional se deben vincular las actuaciones de acreditación con las demandas y necesidades formativas que sugieran los distintos organismos profesionales, para proceder a su necesaria transformación.

En suma, la tendencia en la mayoría de países occidentales en la regulación de los sistemas de calidad va hacia una menor implicación de la Administración Pública y a una mayor orientación hacia cumplir las demandas sociales y económicas. La Universidad debería tener en cuenta los intereses sociales externos en relación con las titulaciones y cursos, especialmente aquéllos de carácter profesional.

El sistema de Acreditación, debe cooperar, pués, con distintos organismos profesionales, y en conformidad con estándares internacionales.

31. Para proceder a la acreditación se propone la creación para toda España de una Agencia de Acreditación, suficientemente alejada de los problemas y condicionantes que pueda ocasionar la proximidad de las universidades y las Administraciones Públicas. Debería, por tanto, gozar de autonomía en su actuación y libertad en la toma de decisiones como condición básica en la responsabilidad que se le encomendaría. Podría estar integrada por un número reducido de personalidades del mundo académico y profesional, nacionales o extranjeras, de reconocido prestigio y larga trayectoria en actividades y funciones relacionadas con el análisis de la calidad del sistema universitario, asistidos por un número suficiente de técnicos y personal de apoyo.

Se debería acudir a fórmulas de nombramiento por acuerdo entre el consejo de coordinación que se sugiere (véase apartado II-51) y la conferencia de rectores de universidades españolas, con periodos no coincidentes, en su duración, con los calendarios políticos y una renovación que garantice la continuidad en su trabajo (por ejemplo, renovación por tercios o mitades). Lo que se pretende al confiar la acreditación a esta Agencia es parecido a lo que se ha logrado con precedentes ejemplares en el sistema universitario español: nos referimos en particular al prestigio que ha acompañado desde su origen en 1989 a la Agencia Nacional de Evaluación y Prospectiva (ANEP).

Conviene que la Agencia de Acreditación opere mediante procesos de negociación con las universidades interesadas, de modo que se establezcan plazos dentro de los cuales puedan corregirse las carencias o eliminar las debilidades que impiden la acreditación. No es la mejor fórmula que el proceso de acreditación se limite a emitir informes estrictos favorables o desfavorables –según los casos-, sin dar oportunidad a las correcciones.

32. Una última cuestión concierne a la evaluación del profesorado, regulada en el R.D.

1086/1989. No hay objeciones a la evaluación de la investigación, sobre lo que parece existir un consenso en cuanto a su continuidad, por lo menos en lo que se refiere a sus objetivos y métodos.