Las actividades de evaluación que se llevan a cabo en la AEI se basan en el criterio de personas expertas independientes. El personal de la AEI no evalúa directamente las propuestas, sino que gestiona todo el procedimiento de evaluación.

Los procesos de evaluación se basan exclusivamente en los aspectos técnicos y el rigor científico, independientemente del origen o la identidad de los solicitantes.

Todos nuestros colaboradores/as científicos firman un compromiso de responsabilidades, normas deontológicas y tratamiento de los conflictos de interés.

Con el afán de dar la mayor transparencia posible al proceso, todos los criterios de evaluación se publican en las convocatorias y en las bases reguladoras correspondientes. De igual manera se hace público el listado de todos los colaboradores que forman parte de los equipos de coordinación de las Áreas Temáticas (presidentes, coordinadores y gestores) así como de los evaluadores, una vez finalizado el proceso de selección, y se hace llegar a los interesados el resultado de la evaluación de sus propuestas.

Todos los expertos/as y personal de la AEI que participan en el proceso de evaluación se comprometen con las condiciones de confidencialidad antes de iniciar la evaluación. Todas nuestras aplicaciones informáticas tienen mecanismos que garantizan la confidencialidad de los expertos/as y la trazabilidad de todas las operaciones.

La AEI está comprometida con el objetivo de evitar cualquier sesgo de género en los procesos de evaluación. Continuamente se trabaja en implantar medidas, criterios o acciones que favorezcan la igualdad de género en el ámbito de la evaluación científica.

• Áreas Temáticas. Áreas científico-técnicas (ACT) en las que se organizan las disciplinas científicas en la AEI.
• Paneles temáticos de la AEI. Los colaboradores forman parte de paneles temáticos de la AEI, que se establecen para cada área y subárea temática. Los colaboradores pueden tener las responsabilidades de Presidentes de Área, Coordinadores de subárea o Gestores.

• Experto/a. Es una persona externa a la AEI con experiencia científico-técnica probada que evalúa o valora una o varias solicitudes presentadas a una convocatoria. Las personas expertas pueden desarrollar su tarea individualmente, en remoto, a través de las aplicaciones de la AEI, o bien formando parte de una comisión técnica (presencial o telemática). Cuando estas personas participan en las evaluaciones de la AEI lo hacen en calidad de “colaboradores científicos y tecnológicos” de la Ley de la Ciencia, la Tecnología y la Innovación (14/2011, de 1 de junio)

¿Qué diferencia hay entre un experto/a remoto y un experto/a presencial?
El experto/a remoto hace la evaluación de una solicitud de forma aislada, no conoce el resto de solicitudes y por tanto no puede comparar entre ellas. El/la experto/a presencial hace la evaluación de varias solicitudes de una misma convocatoria, y evalúa cada solicitud teniendo en cuenta el resto de solicitudes, así mismo, normalmente participan en las Comisiones técnicas en las que se discuten el total de solicitudes presentadas. Es decir, hace una evaluación relativa al total de solicitudes que revisa.

La evaluación de las solicitudes puede realizarse por expertos/as remotos (evaluación por pares), por comisiones científico-técnicas presenciales (CT) o por una combinación de ambas modalidades. En algunas convocatorias pueden requerirse condiciones específicas, por ejemplo, que los expertos sean internacionales (convocatorias Severo Ochoa y María de Maeztu). En cualquier caso los procedimientos y criterios de evaluación están siempre establecidos en las bases reguladoras y las convocatorias de las ayudas.

Una vez admitidas las solicitudes (tras un proceso de revisión y subsanación) estas son asignadas a las áreas científico técnicas correspondientes en las que el proceso de evaluación se gestionará por los equipos de coordinación de las mismas.

Una vez asignadas las solicitudes, las etapas de la evaluación son las siguientes:

1. Selección y asignación de expertos/as. Los colaboradores de las ACT seleccionan expertos de perfil adecuado para la evaluación de cada solicitud, evitando los posibles conflictos de interés. Cada solicitud tiene un mínimo de dos evaluaciones (evaluación por pares). En el caso de evaluadores presenciales la Subdivisión de Coordinación y Evaluación determina el número de evaluadores necesarios por comisión y pueden requerir el Vº Bº de los funcionarios de la División de Coordinación, Evaluación y Seguimiento Científico Técnico de los expertos propuestos por los colaboradores de las ACT para ser nombrados por la dirección de la AEI.

    

2. Reunión de la Comisión Técnica (CT). En las CT se analizan las valoraciones realizadas para cada solicitud en el contexto de todas las solicitudes presentadas en cada ámbito temático, con objeto de hacer una valoración global y única por consenso para cada solicitud, de acuerdo con los criterios y sub-criterios de evaluación establecidos en la convocatoria y teniendo en cuenta los informes elaborados previamente por los expertos.

    

3. Propuesta de financiación. La propuesta de financiación de cada ayuda seleccionada se hará teniendo en cuenta los comentarios de los informes de expertos y de los informes de la CT, así como el presupuesto disponible previsto para cada área o subárea.

    

4. Comisión de evaluación (CE). Es el órgano colegiado que formula la propuesta de concesión de las ayudas. Su composición viene determinada en las bases reguladoras y en las convocatorias. A la vista de los informes de las CT, propone la lista de ayudas para ser financiadas y el presupuesto asignado a cada una de ellas.

Los aspectos científico-técnicos de las alegaciones y recursos son analizados por los responsables de las áreas científico técnicas. En aquellos casos en los que se considere oportuno, la jefatura de la Subdivisión de Coordinación y Evaluación puede solicitar una nueva evaluación contando con expertos/as remotos que no hayan participado en la evaluación inicial.

En su caso, si el resultado de la alegación considera que la solicitud debe ser financiada, la CE decidirá sobre la priorización y la financiación de la solicitud, comunicando el resultado a la División de la AEI correspondiente, que procederá a la notificación mediante la publicación de la propuesta de resolución definitiva y al envío a los solicitantes de los informes de respuesta a las alegaciones.

Todas las personas que forman los paneles científico-técnicos, así como las expertas y expertos que intervienen en el proceso de evaluación, reciben una retribución por su trabajo, de acuerdo con las tarifas vigentes aprobadas por el Ministerio de Hacienda.

La actuación de las personas que colaboran con la Agencia, formando parte de los equipos de coordinación de las áreas científico técnicas o realizando evaluaciones remotas o presenciales, se rige por los principios y buenas prácticas comunes a toda deontología profesional: respeto a la persona, sentido de la responsabilidad, honestidad, sinceridad, competencia profesional y solidez de la fundamentación objetiva y científica de su intervención profesional. Antes de iniciar su colaboración o de aceptar la evaluación de una solicitud, firman un documento comprometiéndose a respetar las normas deontológicas y a comunicar todos los posibles conflictos de interés.

Todas las personas que participan en el proceso deben ser imparciales y mantener la mínima relación personal y profesional con el equipo de investigación solicitante/entidades solicitantes de las actuaciones a evaluar. La persona que evalúa una solicitud, al aceptar dicha evaluación, se compromete formalmente a no transmitir información sobre los contenidos de la solicitud, la evaluación realizada y su propia identidad. Por su parte, la AEI garantiza mantener la confidencialidad sobre la identidad de los evaluadores/as en relación con las solicitudes y áreas evaluadas.

Las personas que siendo colaboradores o expertos de la AEI participen en una solicitud de la convocatoria que estén gestionando o evaluando, o que consideren que concurren motivos personales o profesionales capaces de comprometer la ecuanimidad y probidad de su actuación respecto de una solicitud, deberán comunicar esta circunstancia a la presidencia del área temática y a la Subdivisión de Coordinación y Evaluación.

Las aplicaciones de evaluación de la AEI tienen completa trazabilidad, de manera que cualquier acción que se realice sobre cada una de las solicitudes a evaluar queda registrada (asignación de evaluadores/as, modificación del estado de los expedientes, apertura, cierre o corrección de informes). Queda también registrada la persona que realiza la acción, así como la fecha y hora a la que se realiza.