Il riconoscimento della competenza degli operatori di orientamento

1. Motivi del riconoscimento della competenza degli operatori di orientamento

L'orientamento gioca un ruolo fondamentale nel promuovere la partecipazione degli adulti nelle attività formative (Council of European Union 2004, 2008a; European Ministers of Vocational Education and Training, and the European Commission 2002; Lisbon European Council 2000), ma nella maggior parte dei paesi europei la preparazione degli operatori di orientamento è basata in maniera consistente sull'apprendimento non formale e informale (CEDEFOP 2009). Questo riduce la fiducia dei cittadini nei servizi di orientamento e rende più complicata l'assunzione di operatori di orientamento da parte di agenzie orientative e dei servizi pubblici.

Negli ultimi anni sono stati sviluppati una serie di dispositivi per il riconoscimento della competenza degli operatori di orientamento, fra i quali EVGP (IAEVG senza data), MEVOC (sito MEVOC 2011), EAF (Evangelista 2011), NVQ 3 Advice and Guidance (ENTO 2006).

In questo articolo definiamo operatore competente chi è in grado di svolgere una professione o determinati compiti lavorativi secondo uno standard predefinito.

Questo articolo evidenzia gli aspetti principali relativi al riconoscimento della competenza di persone al lavoro in generale e discute poi la struttura dei dispositivi per il riconoscimento della competenza di operatori di orientamento elencati in precedenza.

L'articolo è basato sulla ricerca Study on Existing Frameworks to Validate Competence of Career Guidance Practitioners (Evangelista 2011) e sulle Linee Guida IMPROVE per la validazione di lavoratori competenti (IMPROVE Project partners 2011), entrambi prodotti nell'ambito del progetto IMPROVE Improving Validation of Not-Formal Learning in European Career Guidance Practitioners. IMPROVE è un progetto europeo che intende sviluppare linee guida per il riconoscimento della competenza di operatori di orientamento (sito IMPROVE 2011).

In molte professioni la competenza degli operatori è assicurata richiedendo determinati titoli di studio. Questo approccio è inadeguato per le numerose professioni per cui non esistono percorsi formativi ufficiali, come ad esempio nell'orientamento. Inoltre la richiesta di un titolo di studio è discriminatoria verso coloro che non hanno tempo e/o denaro per frequentare un regolare corso di studi, o che preferiscono modalità di apprendimento diverse da quelle scolastiche, o ancora che hanno ottenuto un titolo di studio (ad esempio all'estero) non riconosciuto. Un altro elemento da considerare è che le conoscenze tecniche e le capacità trasversali di natura cognitiva che in genere sono sviluppate da percorsi formativi formali sono solo alcuni dei fattori da cui dipende una buona prestazione.

Negli ultimi anni la Commissione Europea ha iniziato a richiedere agli stati membri di sviluppare dei sistemi per il riconoscimento di key skills and competencies, including those acquired mainly outside the formal learning system (Council of the European Union 2008b) e una serie di dispositivi sono stati sviluppati da soggetti pubblici e privati. Alcuni di questi sono generali, si applicano cioè a un gran numero di professioni, altri invece sono rivolti solo all'orientamento.

2. La struttura dei dispositivi di riconoscimento della competenza

EVGP Educational and Vocational Guidance Practitioner è il dispositivo per accreditare operatori di orientamento a livello internazionale lanciato nel 2007 da IAEVG International Association for Educational and Vocational Guidance. Il dispositivo accredita lo Educational and Vocational Guidance Practitioner (IAEVG senza data). Il dispositivo è basato su 91 elementi, dei quali 11 obbligatori e altri 7-10 possono essere scelti dall'operatore che richiede il riconoscimento. Sono previsti requisiti minimi obbligatori relativi a formazione e esperienza. La valutazione degli operatori viene svolta tramite l'esame del CV e del racconto dell'esperienza dell'operatore, la verifica dei titoli di studio e dell'esperienza posseduti, e l'autovalutazione.

MEVOC è un dispositivo messo a punto tramite un progetto europeo con lo stesso nome cooridnato nel 2003-2006 da IBW Institute for Research on Qualification and Training of the Austrian Economy (sito MEVOC 2011). Il dispositivo permette di ottenere lo European Certificate For Career Guidance Counselors (Petermandl, senza data) ed è basato su 35 elementi (140 nella versione completa). La valutazione degli operatori viene svolta attraverso un test online (focalizzato sulle conoscenze specialistiche e metodologiche necessarie ai consulenti di orientamento), un Assessment Centre (focalizzato sulle capacità trasversali, vedi una definizione più in basso), una prova scritta basata sulle teorie della consulenza educativa e dell'orientamento (Petermandl, senza data).

EAF European Accreditation Framework For Career Guidance Practitioners è un dispositivo messo a punto dall'Autore a seguito della sua partecipazione nel progetto europeo EAS European Accreditation Scheme for Careers Guidance Counsellors svoltosi negli anni 2006-2008 (Evangelista 2008). Il dispositivo permette di ottenere il Certificato EAF in uno o più di uno delle 3 attività principali (elementi) del dispositivo: 1. Fornire informazioni orientative come attività a sé stante, 2.Svolgere colloqui di orientamento, 3.Svolgere attività di orientamento in piccoli gruppi. Per rendere più accurata la valutazione ogni attività principale è suddivisa in sotto attività, con una struttura simile alle radici di un albero. Nella versione attuale la valutazione dell'operatore viene svolta attraverso l'analisi del CV e la PFI Performance Focused Interview (per una descrizione vedi dopo). Il dispositivo sarà utilizzano nella sperimentazione del progetto IMPROVE.

NVQ 3 Advice and Guidance è stato sviluppato nel 2002 da Employment NTO, una organizzazione inglese incaricata di sviluppare e gestire gli standard occupazionali nell'orientamento per l'Inghilterra e il Galles. Una versione aggiornata è stata prodotta nel 2006 e un'altra è in fase di sviluppo. Il dispositivo permette di ottenere una qualifica in Advice and Guidance a vari livelli di expertise , in questo articolo ci riferiamo alla versione del 2006. Il dispositivo è basato su 30 elementi (attività principali). Per rendere più accurata la valutazione ogni attività principale è suddivisa in sotto attività, con una struttura simile alle radici di un albero. La valutazione viene svolta con metodi concordati con l'operatore (Read 2006). Gli strumenti più utilizzati sono l'osservazione sul posto di lavoro, la Professional Discussion, testimonianze di colleghi e superiori, l'esame della documentazione prodotta sul lavoro.

Tutti i dispositivi esistenti per il riconoscimento della competenza di persone al lavoro (sia generalisti che specifici per l'orientamento) sono composti di 4 componenti:

1. Quello che è riconosciuto o assegnato alla fine del processo di valutazione
2. Gli elementi che l'operatore deve possedere o padroneggiare per essere riconosciuto competente
3. Gli strumenti per raccogliere le evidenze che dimostrano il possesso o la padronanza degli elementi
4. Il processo di valutazione.

3. Quello che è riconosciuto o assegnato alla fine del processo di valutazione

Il riconoscimento può prendere la forma di un titolo, una qualifica, un attributo a una qualifica o un certificate. Ad esempio il dispositivo IAEVG assegna il titolo di Education and Vocational Guidance Practitioner; il Sistema Toscano delle Competenze la qualifica di Consulente di orientamento (Evangelista 2009), il dispositivo EuroPsy rivolto a psicologi permette di diventare Registered EuroPsy Psychologist (qui abbiamo un attributo Registered EuroPsy aggiunto al titolo di Psicologo) (EFPA website 2011), mentre EAF assegna il Certificato EAF relativo all'attività principale in cui si è ottenuto il riconoscimento e MEVOC l'European Certificate for Career Guidance Counselors .

4. Gli elementi che l'operatore deve possedere o padroneggiare

Gli elementi che l'operatore deve possedere o padroneggiare per essere riconosciuto competente possono essere caratteristiche personali quali ad esempio conoscenze, capacità trasversali, capacità tecniche, atteggiamenti, tratti i personalità, etc. Caratteristiche personali sono ad esempio Social and cross-cultural sensitiveness e Ability to communicate effectively with colleague or clients, using the appropriate level of language in EVGP e To plan and manage activities in MEVOC.

Gli elementi possono essere anche compiti lavorativi (job tasks) da padroneggiare, in questo caso anche sotto attività (sub tasks ) vengono prese in considerazione. In EAF ad esempio uno degli elementi (main task ) in cui è possibile richiedere il riconoscimento della competenza 2.Svolgere colloqui di orientamento è suddiviso nei subtasks 2.1. utilizzare tecniche appropriate per la conduzione di colloqui, 2.2. assistere il cliente a identificare un obiettivo professionale o formativo, 2.3. assistere il cliente a stendere il proprio piano d'azione per raggiungerlo, 2.4. assistere il cliente a mettere in atto il proprio piano d'azione, inclusa quando prevista la propria ricerca di lavoro.

In NVQ 3 Advice and Guidance l'elemento AG 2 Support clients to make use of the advice and guidance service ha come sotto attività (sub tasks) 2.1 Enable clients to decide whether to use the service, 2.2 Agree with clients their use of the service ; 2.3 Identify and provide the information required by clients.

Gli elementi sono individuati attraverso una job analysis, vale a dire lo studio sistematico delle attività che vengono svolte in un determinato lavoro. Le attività vengono identificate disegnando un diagramma di flusso che descrive come viene svolto il compito lavorativo e in questo modo attività e sub attività vengono visualizzate con una struttura simile alle radici di un albero, dove la combinazione di sotto attività più semplici permette l'esecuzione di attività più complesse. La job analysis permette di identificare una gerarchia delle attività, dalle più importanti e generali (attività principali o main tasks ) a quelle più atomizzate (attività e sotto attività – sub tasks). Le caratteristiche personali necessari per svolgere ciascuna attività vengono poi individuate.

Ci sono fondamentalmente due approcci nella scelta degli elementi di un dispositivo. Nel primo gli elementi considerati importanti e richiesti all'operatore sono le caratteristiche personali antecedenti e legate da un rapporto di causa-effetto con la prestazione lavorativa, quali ad esempio determinate conoscenze, capacità trasversali, capacità tecniche, atteggiamenti, tratti i personalità, etc. Qui la valutazione viene svolta verificando il possesso di tali caratteristiche. Nel secondo approccio gli elementi sono specifici compiti lavorativi che l'operatore deve padroneggiare e la valutazione viene svolta analizzando la prestazione lavorativa, direttamente o sulla base di una ricostruzione. In questo approccio l'analisi prende avvio dalle attività più atomizzate (sotto attività).

Un punto importante quando si vuole riconoscere la competenza di persone al lavoro è che l'approccio basato sull'analisi della prestazione è più efficace, perché quello basato sulle caratteristiche personali è indiretto, cioè ipotetico: se l'operatore possiede determinate caratteristiche personali probabilmente sarà capace di svolgere bene determinate attività lavorative. L'approccio basato sulla prestazione invece valuta direttamente quello a cui siamo interessati, cioè la buona prestazione lavorativa.

Questo è probabilmente il motivo per cui nessun dispositivo è basato solo sulle caratteristiche personali. EVGP e MEVOC sono misti, alcuni degli elementi sono caratteristiche personali mentre altri sono attività lavorative. Ad esempio in EVGP oltre alle caratteristiche personali troviamo anche attività lavorative quali ad esempio: Accurately and thoroughly conceptualize and diagnose clients' needs based on different assessment tools and techniques, Identify situations requiring referral to specialized services, Maintain up-to-date listings of referral sources , etc.

Lo stesso in MEVOC: oltre alle caratteristiche personali troviamo anche attività lavorative quali ad esempio Identify clients' training needs to advance their career, Analyse clients' needs, Interviewing , etc.

Probabilmente questa mescolanza dipende dall'assenza di una rigorosa impostazione teorica. Sia EVGP che MEVOC sono stati perfezionati chiedendo a esperti e operatori cosa ritenessero importante per essere dei buoni operatori di orientamento, e questi hanno elencato fattori appartenenti a impostazioni diverse.

EAF e NVQ 3 Advice and Guidance sono invece entrambi basati sulla prestazione perché i loro elementi sono solo attività lavorative.

Nei dispositivi basati sulla prestazione gli elementi che l'operatore deve padroneggiare non sempre corrispondono esattamente a quelli che vengono valutati. In genere oltre alle sotto attività vengono valutati anche conoscenze e atteggiamenti. L'analisi diretta delle conoscenze (di per sé una modalità di analisi delle caratteristiche personali) è utile per evitare di dover attendere che tali conoscenze risultino dall'osservazione della prestazione, questo permette di ridurre i tempi di osservazione della prestazione.

Ad esempio nella valutazione della sotto attività 2.3 Identify and provide the information required by clients del NVQ 3 Advice and Guidance l'operatore deve dimostrare la conoscenza di the types of information clients seek and the different reasons they have for seeking it, why it is important to confirm the information required, etc.

Allo stesso modo in EAF, dove durante l'analisi dell'attività principale 2.Svolgere colloqui di orientamento viene rilevata la conoscenza delle informazioni orientative.

Per quello che riguarda gli atteggiamenti, può essere deciso che svolgere determinate attività secondo un determinato standard può non essere abbastanza, e che l'operatore deve avere anche determinati atteggiamenti durante lo svolgimento della propria attività, quali ad esempio attenzione alla privacy , alle tematiche di genere, al costante miglioramento delle proprie conoscenze e capacità, e così via. Di nuovo, può essere necessario troppo tempo per rilevare tali atteggiamenti nell'analisi della prestazione, così è utile indirizzare la valutazione direttamente su di essi.

In EAF ad esempio la valutazione viene svolta anche su attenzione alla privacy, al costante miglioramento delle proprie conoscenze e capacità, allo sviluppo delle competenze orientative degli utenti.

5. Gli strumenti per raccogliere le evidenze

Le evidenze dimostrano possesso o padronanza degli elementi identificati nel precedente capitolo. Le evidenze possono essere già esistenti (ad esempio attestati o documentazione prodotta sul lavoro) o prodotte appositamente per la valutazione (ad esempio le testimonianze di colleghi e supervisori).

Ad esempio in EVGP una laurea in psicologia viene considerate un'evidenza del possesso di determinate conoscenze per lavorare come operatore di orientamento. Le evidenze relative al padroneggiamento di determinate attività lavorative possono risultare dall'osservazione diretta (qui le evidenze sono le azioni che operatore svolge), dalla discussione di case studies , dall'intervista all'operatore su come svolge la propria attività (qui le evidenze sono le risposte date dall'operatore), etc.

Le evidenze che dimostrano il possesso di determinate caratteristiche personali possono essere raccolte/risultare dai seguenti metodi di valutazione:

• 1. Esame del CV e del racconto dell'esperienza dell'operatore
• 2. Verifica dei titoli di studio e di attestati formativi
• 3. Verifica delle esperienze professionali
• 3. Interrogazione o test scritti riguardo alle conoscenze tecniche
• 4. Test (capacità trasversali, personalità, atteggiamenti, etc.)
• 5. Role Playing focalizzato sulle capacità trasversali (come ad esempio la Leaderless Discussion nell' Assessment Centre )
• 6. Il colloquio focalizzato sulle capacità trasversali (come ad esempio la BEI Behavioral Event Interview ).

La Leaderless Discussion è una discussione in piccolo gruppo dove non c'è un leader designato e a cui il valutatore partecipa solo come osservatore.

Nella BEI l'intervistato descrive cosa ha detto, pensato, sentito, e fatto in sei episodi –tre positivi e tre negativi- capitati sul lavoro.

Sia nella Leaderless Discussion che nella BEI le caratteristiche personali sono codificate per frequenza e livello di complessità.

Le evidenze che dimostrano la padronanza di attività lavorative possono essere raccolte/risultare dai seguenti metodi di valutazione:

• 1. Osservazione dell'operatore mentre sta svolgendo il suo lavoro
• 2. Professional Discussion
• 3. PFI Performance Focused Interview
• 4. Discussione di case studies
• 5. Testimonianze di colleghi e supervisori
• 6. Testimonianze di clienti
• 7. Esame di documentazione prodotta sul lavoro
• 8. Esame di un Portfolio di prodotti
• 9. Simulazione di attività lavorative

La Professional Discussion può essere definita come un colloquio in cui l'operatore descrive la sua attività lavorativa e in che modo la sua prestazione raggiunge gli standard predefiniti.

La PFI è una Professional Discussion strutturata in cui tutti gli operatori devono rispondere alle stesse domande e le domande sono centrate su aspetti predeterminati della attività lavorativa.

Il Portfolio è una raccolta di prodotti del lavoro dell'operatore che mostrano il suo livello di padronanza delle varie attività.

La Professional Discussion e la PFI sono diverse dalla BEI perché nella BEI le domande sono relative alle caratteristiche personali e non alla prestazione.

Di solito i dispositivi per il riconoscimento della competenza sono basati su una valutazione esterna (eterovalutazione) svolta da uno o più valutatori, che viene ritenuta più affidabile della autovalutazione. Di solito l'autovalutazione deve comunque essere supportata da documenti o testimonianze.

Ad esempio in EVGP la padronanza dei vari compiti lavorativi e il possesso delle capacità trasversali viene svolta tramite autovalutazione, ma l'operatore deve fornire una documentazione a supporto delle proprie affermazioni. Può trattarsi di titoli di studio o attestati di partecipazione ad attività formative, testimonianze di colleghi o supervisori o altre evidenze di questo tipo.

L'autovalutazione senza evidenze a supporto è utile per verificare le proprie conoscenze e il proprio processo di apprendimento, e può essere utilizzata come una preparazione alla valutazione, come da esempio il questionario di autovalutazione sul sito MEVOC (sito MEVOC 2011).

EAF e NVQ 3 Advice and Guidance ricorrono solo all'eterovalutazione.

Ogni dispositivo usa determinati strumenti di raccolta delle evidenze (vedi il capitolo 2). EVGP e EAF usano strumenti indirizzati a caratteristiche personali e padronanza delle attività lavorative; MEVOC solo strumenti indirizzati verso caratteristiche personali, NVQ 3 Advice and Guidance solo strumenti indirizzati alla valutazione della prestazione.

6. La procedura di valutazione

 La procedura di valutazione stabilisce come strutturare il processo di analisi, quali evidenze raccogliere, con quali strumenti e come valutare le evidenze, come formare e supervisionare i valutatori e così via.

La principale sfida in ogni procedura di valutazione è trovare un compromesso fra efficacia e peso della procedura. Una procedura di analisi può essere molto efficace ma se richiede molto tempo e denaro avrà una possibilità minima di diffondersi (a meno che non sia imposta da un soggetto pubblico). D'altro canto una procedura che richiede poco tempo ma poco efficace sarà ugualmente poco utile (IMPROVE Project Partners 2011).

7. Fonti di errore nei dispositivi di riconoscimento della competenza

Gli errori rendono le procedure di analisi poco efficaci e i loro risultati poco attendibili e possono verificarsi in ciascuno delle quattro componenti descritte al capitolo 2: gli elementi che l'operatore deve possedere o padroneggiare per essere riconosciuto competente, gli strumenti per raccogliere le evidenze che dimostrano il possesso o la padronanza degli elementi, il processo di valutazione.

Errore 1. Inadeguata individuazione degli elementi che l'operatore deve possedere o padroneggiare. Questo errore si verifica quando gli elementi scelti: A. sono esterni al settore, B. sono poco chiari, troppo generici o troppo generali, C. sono scontati, D. hanno una relazione debole con la prestazione o si riferiscono ad attività lavorative secondarie.

Riguardo al punto C., ci sono dozzine di fattori che possono danneggiare la prestazione. Per esempio cattiva conoscenza di strumenti informatici, scarse capacità espressive scritte e orali, scarsa igiene personale, deficit di attenzione, dipendenza da sostanze, determinate malattie croniche, incapacità di resistere allo stress e alla frustrazione, mancanza di puntualità, cattivo carattere, pigrizia, incapacità di sintetizzare, disonestà e molti altri. Per fortuna gli operatori normalmente sono persone nella media, e per questo motivo nella valutazione è poco utile focalizzarsi su tali fattori. C e D sono i motivi per cui EVGP ha 91 elementi e MEVOC versione completa 140.

Vediamo alcuni esempi con elementi presi dai diversi dispositivi:

• 4.6.5 . Assist clients in sexual identity (EVGP). Questo è chiaramente al di fuori del settore orientamento (errore 1.A.).
• S pecific skills for handling difficult target groups (MEVOC). Quali capacità? Quali target groups ? L'elemento appare troppo generico e generale (1.B.)
• Basic telephone communication (MEVOC) (1.C.)
• Not being afraid of new experiences or changes (MEVOC), AG 17. Provide support for other practitioners (NVQ 3 Advice and Guidance ) (1.D., scarsa relazione con la prestazione )
• 2.1 Enable clients to decide whether to use the service, 3.3 Bring interactions to an end (NVQ 3 Advice and Guidance ) (1.D., attività lavorativa secondaria).

I punti A, B dirigono l'analisi verso elementi esterni al settore, poco chiari o troppo aggregati, e così il risultato è una valutazione non utile o inaffidabile.

I punti C, D portano una moltiplicazione degli elementi. Anche questo danneggia il processo di valutazione, perché maggiori sono gli elementi meno accurato o più costoso sarà il processo.

Errore 2. Inadeguata scelta degli strumenti per la raccolta delle evidenze. Questo errore si verifica quando gli strumenti per raccogliere le evidenze non sono coerenti con gli elementi. Il caso più eclatante è in MEVOC: molti elementi del dispositivo sono attività lavorative, ma nessuno dei tre strumenti utilizzati per la raccolta delle evidenze (test online, Assessment Centre, prova scritta) verifica le loro modalità di svolgimento.

 Errore 3. Procedura di valutazione inadeguata. Questo errore si verifica quando gli strumenti per raccogliere le evidenze sono adeguati, ma la procedura di valutazione ha dei difetti. Ad esempio gli strumenti per raccogliere le evidenze non sono usati correttamente, le evidenze sono valutate male, il sistema di attribuzione dei punteggi non è preciso, etc.

Possiamo indicare alcuni principi generali che rendono la procedura di valutazione più efficace e imparziale:

1. La procedura di valutazione deve includere un esame faccia a faccia dell'operatore
2. Va preferito l'esame di tutti gli elementi invece che un esame a campione
3. Il processo di analisi, gli strumenti per la raccolta delle evidenze e il contenuto di test e colloqui (per esempio i case studies e le domande nei colloqui) devono essere gli stessi per tutti i candidati
4. L'attribuzione di punteggi deve essere basata su criteri espliciti e misurabili
5. Il processo di analisi, gli strumenti per la raccolta delle evidenze e l'attribuzione di punteggi devono essere applicati in maniera uniforme da tutti i valutatori
6. Il processo di analisi, gli strumenti per la raccolta delle evidenze devono essere strutturati e gestiti in modo che gli operatori non devono avere la possibilità di frodare.  

Riferimenti

CEDEFOP. Professionalizing Career Guidance. Practitioners competences and qualification routes in Europe . Luxembourg: Office for Official Publications of the European Communities, 2009.

 Council of the European Union. Resolution of the Council and of the representatives of the Member States meeting within the Council on Strengthening Policies, Systems and Practices in the field of Guidance throughout life in Europe, 2004. Retrieved on April 3, 2011 at http://ec.europa.eu/education/policies/2010/doc/resolution2004_en.pdf.

Council of the European Union. Resolution of the Council and of the Representatives of the Governments of the Member States, meeting within the Council of 21 November 2008 on better integrating lifelong guidance into lifelong learning strategies, 2008a. Retrieved on April 3, 2011 at http://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=OJ:C:2008:319:0004:0007:EN:PDF.

Council of the European Union. Council conclusions of 22 May 2008 on adult learning, 2008b. ( Measures to be adopted by the Member States, with the support of the Commission, Annex, point 8). Retrieved on August 1, 2011 at http://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=OJ:C:2008:140:0010:0013:EN:PDF.

ECGC website retrieved on February 3, 2011 from http://www.ecgc.at/index.php?option=com_content&task=view&id=5&Itemid=13.

EFPA website. Retrieved on August 1, 2011 at http://www.efpa.eu.

ENTO Employment NTO. National Occupational Standards for Advice and Guidance, 2006.

European Ministers of Vocational Education and Training, and the European Commission. The Copenhagen Declaration, 2002. Retrieved on April 3, 2011 at http://ec.europa.eu/education/pdf/doc125_en.pdf.

Evangelista, L. How EAF Accreditation Framework for the European Career Guidance Practitioners was developed, 2008. Orientamento.it. Retrieved on February 3, 2011 at http://www.orientamento.it/orientamento/1a.htm#document.

Evangelista, L. La valutazione e la certificazione delle competenze nel Sistema Toscano delle Competenze, 2009. Orientamento.it. Retrieved on February 3, 2011 at http://www.orientamento.it/orientamento/1a.htm#document.

Evangelista, L. Study on Existing Frameworks to Validate Competence of Career Guidance Practitioners. Version 2 dated 24 April 2011 , 2011. Mimeo. Retrieved on August 1, 2011 at http://www.improveguidance.eu/sites/default/files/Evangelista_2.pdf.

IAEVG. Application for Educational and Vocational Guidance Practitioner EVGP, no date. Retrieved on February 3, 2011 at http://www.cce-global.org/Downloads/EVGP/app-en.pdf.

IMPROVE Project partners. IMPROVE Guidelines for the validation of competence of people at work (version 11 July 2011) , 2011. Retrieved on August 1, 2011 at http://www.improveguidance.eu/sites/default/files/Guidelines.pdf.

IMPROVE website. Retrieved on August 1, 2011 at http://www.improveguidance.eu.

Lisbon European Council. Presidency Conclusions, 2000. Retrieved on April 3, 2011 at http://www.europarl.europa.eu/summits/lis1_en.htm.

MEVOC Standards. Retrieved on February 3, 2011 at http://www.mevoc.net/EN/htm/fs.htm.

MEVOC website. Retrieved on February 3, 2011 at http://www.mevoc.net/EN/htm/fs.htm.

Petermandl, M. ECGC Strategy Paper, no date. Retrieved on February 3, 2011 at http://www.ecgc.at/images/stories/SPAPER/ecgc-strategy%20paper-en.pdf.

Read, H. Excellence in assessing. Reads On Publications, 2006.

E' possibile inserire un commento dal link qui sotto:

Leggi i commenti a questo articolo / Aggiungi un tuo commento   45 Commenti

Issues on recognizing competent Career Guidance practitioners

1. Reasons for recognizing competent Career Guidance practitioners

Career guidance practitioners play a fundamental role in fostering adults participation in education (Council of European Union 2004, 2008a; European Ministers of Vocational Education and Training, and the European Commission 2002; Lisbon European Council 2000) , but in most European countries the qualifications of careers guidance practitioners are mainly based on informal and not formal learning and not formally recognized (CEDEFOP 2009). This reduces trust in career guidance services and makes problematic hiring career guidance practitioners.

In the last years several frameworks for officially recognizing competent career guidance practitioners have been developed, amongst the others EVGP (IAEVG no date) , MEVOC (MEVOC website 2011), EAF (Evangelista 2011), NVQ 3 Advice and Guidance (ENTO 2006). We define here competent worker: a person able to carry out an occupation or job task up to a predetermined standard . Official recognition can take several forms described later.

This article highlights the issues involved in recognizing competent workers in general and from this we discuss the structure of the frameworks addressed to career guidance practitioners listed above.

This article is based on the Study on Existing Frameworks to Validate Competence of Career Guidance Practitioners written by the Author (Evangelista 2011) and on the IMPROVE Guidelines (IMPROVE Project partners 2011), both produced in the project IMPROVE Improving Validation of Not-Formal Learning in European Career Guidance Practitioners. IMPROVE is a European Project aiming to develop and test guidelines for recognition of competence of career guidance practitioners (IMPROVE website 2011).

In many occupations competence of workers is assured by requiring a specific educational and/or vocational qualification. This approach is increasingly recognized as not fully satisfying. It proves inadequate in the many sectors where formal paths of education don't exist or are not widespread, as in the case of career guidance. Moreover request of a formal qualification is discriminating with whom has not time or money to attend a formal educational course, has a preference for learning outside a classroom or has gained an educational qualification (for example in another country) that is not recognized. Finally, the technical knowledge and transversal cognitive skills related with formal qualifications are only part of the factors by which good performance depends.

In the last years the European Commission has started asking member states to develop systems for recognition of key skills and competencies, including those acquired mainly outside the formal learning system ( Council of the European Union 2008b) , and several new frameworks have been developed by public authorities and private organizations. Some of them are general, i.e. apply to a large number of occupations, some others are focused only on career guidance.

2. Structure of frameworks

EVGP Educational and Vocational Guidance Practitioner is the framework for accrediting career guidance practitioners at international level launched in 2007 by IAEVG International Association for Educational and Vocational Guidance. The framework accredits the Educational and Vocational Guidance Practitioner (IAEVG no date). The framework is based on 91 elements, of which 11 are compulsory and other 7-10 can be chosen by the candidate. Some minimum requirements about educational qualification and experience are compulsory. Assessment is carried out based on examination of candidate's narrative of professional biography, control of possession of educational qualifications and other educational or training certificates, control of possession of proven experience, self assessment of the elements.

MEVOC is a framework created through a European project with the same name coordinated in 2003-2006 by IBW Institute for Research on Qualification and Training of the Austrian Economy (MEVOC website 2011). The framework allows to get a European Certificate For Career Guidance Counselors (Petermandl, no date). The framework is based on 35 elements (140 in the full version). A minimum requirement of experience is compulsory. Assessment is carried out based on online (web based) test (focused on the specialist and methodical knowledge relevant for career guidance counselors), Assessment centre tests (focused on transversal skills, see a definition below), written paper (focused on theory of educational counselling and career guidance) (Petermandl, no date).

EAF European Accreditation Framework For Career Guidance Practitioners is a framework developed by the Author, following his participation in the European Project EAS European Accreditation Scheme for Careers Guidance Counsellors carried out in 2006-2008 (Evangelista 2008). The framework allows to get the EAF Certificate on one or more than one of the 3 main tasks (elements) of the framework: 1. Deliver information related to career guidance as a separate activity , 2. Perform career guidance interviews , 3. Carry out career guidance activities in small groups. For assessment purposes, each of the main tasks is divided in several sub elements (subtasks) with a tree roots structure. In the current version assessment is carried out with examination of candidate's CV and the PFI Performance Focused Interview (see a definition below). The framework is going to be used in the IMPROVE project.

NVQ 3 Advice and Guidance has been developed by Employment NTO, an English organization in charge of developing and maintaining the UK National Occupation Standards for Career Guidance, and made operative in 2002. An update has been produced in 2006 and a new version is currently being developed. The framework allows to get an award in Advice and Guidance at several levels of expertise, here we'll refer to level 3 and to the 2006 version. The 2006 version is based on 30 elements (tasks). For assessment purposes, each of them is divided in several sub elements (subtasks) with a tree roots structure. Assessment is carried out based on assessment methods agreed with candidate (Read 2006). Usual means are direct observation of the person whilst carrying out his/her work, professional discussion, testimonies from colleagues and supervisors, examination of documentation produced by the person whilst carrying out his/her work.

All existing frameworks for recognizing competent workers (from now onward we call them validation frameworks), addressed either to occupations in career guidance (as that briefly described at previous chapter) or to all occupations are made of four components:

• A. What is recognized or granted at the end of the assessment procedure
• B. The elements the candidate has to possess or master to be recognized competent
• C. The tools to collect the evidences that demonstrate possession or mastering of the elements
• D. The assessment procedure.

3. What is recognized or granted

Official recognition can take the form of a title, a qualification, an attribute to a qualification, or a certificate. For example IAEVG framework grants the title of Education and Vocational Guidance Practitioner, the Sistema Toscano delle Competenze (Tuscany Italian Region general validation framework) grants the qualification of Consulente di orientamento (career counselor) (Evangelista 2009), the Europsy framework addressed to psychologists allows to become Registered EuroPsy Psychologist (here we have the attribute Registered EuroPsy added to a the psychologist qualification) (EFPA website 2011), while MEVOC grants the European Certificate for Career Guidance Counselors.

4. The elements the candidate has to possess or master

The elements the candidate has to possess or master to be recognized competent can be personal features such as specific knowledge, transversal skills, technical skills, attitudes, character traits, etc. Examples of personal features in EVGP are Social and cross-cultural sensitiveness and Ability to communicate effectively with colleague or clients, using the appropriate level of language , and in MEVOC Thinks positively (also in less encouraging situations) and To plan and manage activities .

The elements can also be job tasks to master, in this case also sub elements (sub tasks) are taken in consideration. In EAF one of the elements (main tasks) the practitioner has to master is 2. Perform career guidance interviews and some of the related sub elements are 2.1. Use appropriate interview techniques to manage the interview, 2.2. Assist clients to identify professional or learning goals, 2.3. Assist clients to determine action plans related to work or learning, 2.4. Assist clients to implement the action plans developed, including job search.

In NVQ 3 Advice and Guidance the element AG 2 Support clients to make use of the advice and guidance service has the sub elements 2.1 Enable clients to decide whether to use the service , 2.2 Agree with clients their use of the service ; 2.3 Identify and provide the information required by clients .

The elements are identified through a job analysis, i.e. a systematic study of the tasks that are performed in a work role. The actions are identified drawing a flowchart describing how a job is carried out and this way main tasks and tasks are described as a tree root, where combination of simpler actions allow to carry out the more complicate. The job analysis allows identifying a hierarchy of tasks, from the most important and general (main tasks) to the minor ones (tasks and sub tasks). Then personal features needed to carry out each task are also inferred.

There are basically two main approaches in the choice of the elements of a framework. In the first approach the elements considered worth and requested to a competent worker are the antecedents of good performance, that is to say the personal features causally related with good performance (these are specific knowledge, transversal skills, technical skills, attitudes, character traits). Here the assessment is based in checking possession of these elements. In the second approach the elements are specific job tasks that the practitioner has to master and the assessment is instead based on assessing or reconstructing performance. In this last case work performance is analyzed starting from the minor tasks.

An important point to stress is when dealing with assessing performance of people at work, the performance based approach scores best, because the other is indirect, that is to say speculative. If the candidate posses the prescribed personal qualities than probably will be capable to carry out the main task(s) for which accreditation is sought. The performance based approach instead focuses and assesses directly what we are interested in, good work performance that is to say competence at work.

This is probably the reason why no framework is based only on personal features. EVGP and MEVOC are mixed, some of their elements are personal features while other are job tasks. For example in EVGP together with personal features we find job tasks such as: Accurately and thoroughly conceptualize and diagnose clients' needs based on different assessment tools and techniques, Identify situations requiring referral to specialized services , Maintain up-to-date listings of referral sources , etc. The same in MEVOC, where together with personal features we find job tasks such as Identify clients' training needs to advance their career, Analyse clients' needs, Interviewing , etc.

We think this mixture depends by lack of a rigorous theory when developing these frameworks. Both EVGP and MEVOC have been refined by asking experts or practitioners what they thought important to be a good career guidance practitioner, and these listed factors following different approaches.

EAF and NVQ 3 Advice and Guidance are both performance based because the elements the practitioner has to possess or master are all job tasks.

In performance based frameworks the elements the practitioner has to master are different from the one that are assessed. Mastering of main tasks is assessed examining performance in minor tasks and by assessing other factors, usually knowledge and attitudes.

Direct inquiry of knowledge (in itself an element of the personal features based approach) it is useful to avoid to wait for observation of the performance where that knowledge is used, so it can be used to shorten the assessment of performance.

For example in assessment of sub element 2.3 Identify and provide the information required by clients of NVQ 3 Advice and Guidance the practitioner must know the types of information clients seek and the different reasons they have for seeking it, why it is important to confirm the information required, etc.

The same in EAF, where in the assessment of element 2. Perform career guidance interviews knowledge by the practitioner of career guidance information is checked.

As for attitudes, it can be decided that performing up to the requested standard cannot be enough, but the practitioner must have specific attitudes embedded in his/her practice such as specific attention to privacy, gender issues, constant improvement of own knowledge and skills, etc. Again, it can take too long to spot these observing performance, so to save time it can be worth to focus assessment directly on these attitudes.

In EAF for example assessment is focused directly also on attention to privacy and ethical practice, constant improvement of own knowledge and skills, development of clients' career skills.

5. The tools to collect the evidences

The evidences demonstrate possession or mastering of the elements identified in the previous chapter. The evidences can be already existing (such as educational certificates or documentation produced by the person whilst carrying out his/her work ) or produced on purpose for being assessed (for example testimonies from colleagues and supervisors).

For example in EVGP a degree in psychology is considered an evidence of possess of some specific knowledge useful for working as a Career Guidance practitioner. Evidences of mastering specific job tasks can result by direct observation (the evidences here are the actions the practitioner does), by discussion of case studies, by interviewing the candidate to validation on how he/she perform the job tasks (in these cases the evidences are the answers the practitioner gives), etc.

The evidences demonstrating possess of specific personal features can be collected/elicited by the following assessment methods:

• 1. Examination of candidate's CV or of narrative of professional biography
• 2. Control of possession of educational qualifications and other educational or training certificates
• 3. Control of possession of proven experience
• 3. Interview or written test about technical knowledge
• 4. Tests (skills, personality, attitudes, etc.)
• 5. Role Playing focused on transversal skills (such as the Leaderless Discussion in the Assessment Center )
• 6. Interview focused on transversal skills (as in BEI Behavioral Event Interview).

The Leaderless Discussion is a group discussion for which a formal leader has not been designated and in which an instructor does not participate. Participants are observed by assessors and their behavior evaluated.

In the Behavioral Event Interview (BEI) the interviewee describes, in his/her own words, what he/she said, thought, felt, and did in six episodes—three positive and three negative—at work.

In both Leaderless Discussion and BEI personal characteristics are coded both for frequency of occurrence and for the level of complexity.

The evidences demonstrating mastering of job tasks can be collected/elicited by the following assessment methods:

1. Direct observation of the person whilst carrying out his/her work
2. Professional Discussion
3. PFI Performance Focused Interview
4. Discussion of case studies
5. Testimonies from colleagues and supervisors
6. Testimonies from clients
7. Examination of documentation produced by the person whilst carrying out his/her work
8. Examination of Portfolio of Work
9. Simulation of job tasks.

A Professional Discussion can be defined as a n interview conducted between an assessor and candidate (assessed person), in which the candidate describes his/her job tasks and how his/her performance achieves requirements set by standards.

The PFI is a structured Professional Discussion in which all the candidates are asked the same list of questions and the questions are focused on predetermined aspects of performance.

A Portfolio of Work is a collection of products of a person's work showing mastering of some job tasks.

Professional Discussion and PFI differs from BEI because in BEI the questions are focused on personal features and not on performance itself.

Usually the validation frameworks are based on evaluation of the practitioner by an evaluator. This is considered more reliable than self evaluation, but some frameworks include also some practitioner's self evaluation. Usually the self evaluation has to be supported by other documents or testimonies.

For example in EVGP mastering of job tasks and possess of transversal skills is carried out by self evaluation, and for each of these the practitioner has to provide documentation supporting his/her conclusion. It can be documentation proving attendance to a formal training course, testimonies by people who have observed the practitioner or other suitable means.

Self assessment without documents or testimonies to support it is useful to check its own knowledge and learning process and it can be used as a preparation for the assessment, as the MEVOC Self Assessment Tool (MEVOC website 2011).

EAF and NVQ 3 Advice and Guidance make use only of external evaluation.

Every framework uses a specific set of tools to collect or elicit evidences (see chapter 2). EVGP and EAF use tools collecting information about personal features and proving mastering of job tasks, MEVOC only tools focused on personal features, NVQ 3 Advice and Guidance only tools focused on mastering of job tasks.

6. The assessment procedure

The assessment procedure sets how to structure the process, which evidences to collect, by which tools and how to score them, how to choose, train and supervise the evaluators and so on.

The main challenge in every assessment procedure is to find a workable compromise between efficacy and weight of the assessment procedure. A procedure may be very effective but if it requires significant dedication of time and economic resources it will have minimal possibility to become established and widely implemented (unless it is enforced by a public authority). On the other hand, a procedure which requires little time, but is less effective also presents the weakness of minimal utility (IMPROVE Project Partners 2011).

7. Sources of error in frameworks

Errors cause the procedure of assessment to be of little or no effectiveness and results not reliable. Errors can result from choices regarding components described at chapters 4.The elements the practitioner has to possess or master , 5.The tools to collect the evidences , 6.The assessment procedure.

Error 1. Poor individuation of the elements the practitioner has to possess or master. This occurs when the chosen elements A. are external to the sector, B. are not clear, too generic or too general, C. can be taken for granted, D. have a weak relation with performance or refers to minor tasks.

As for point C, there are dozens of factors that can harm job performance. For example poor ICT skills, poor writing and communication skills, poor personal hygiene, attention deficits, substance addiction, specific chronic diseases, inability to cope with stress and frustration, lack of punctuality, bad temper, restlessness, tardiness, inability to summarize, dishonesty, and many others. Luckily practitioners usually are at acceptable standard, so is not worth to focus assessment on them. C and D are the reasons why EVGP lists 91 elements and MEVOC full version 140.

We list some elements taken from the diverse frameworks as exemplas:

• 4.6.5 . Assist clients in sexual identity (EVGP). This is clearly outside the career guidance sector (error 1.A.).
• S pecific skills for handling difficult target groups (MEVOC). Which skills? Which target groups? The element appears too generic and general (1.B.)
• Basic telephone communication (MEVOC) (1.C.)
• Not being afraid of new experiences or changes (MEVOC), AG 17. Provide support for other practitioners (NVQ 3 Advice and Guidance) (1.D., weak relation with performance)
• 2.1 Enable clients to decide whether to use the service, 3.3 Bring interactions to an end (NVQ 3 Advice and Guidance) (1.D., minor tasks)

Points A, B direct assessment towards elements external to the sector or not clear or too much aggregate, so the results of the assessment are not significant or not reliable.

Points C, D bring a multiplication of elements. This too affects assessment, because the more elements you have to consider, the less accurate or the more cumbersome the process will be.

Error 2. Poor choice of the tools to collect the evidences. This error occurs when the tools to collect the evidences are not coherent with the elements. Perhaps the most evident error of this kind is in MEVOC: many elements of the framework are job tasks, but none of the three tools for assessment ( on online test, Assessment centre tests, written paper) check performance on these.

Error 3. Poor assessment procedure. This occurs when the tools to collect the evidences are right, but the assessment procedure has flaws. For example the tools to collect the evidences are not used properly, evidences are not examined well, the scoring system is not precise, etc.

It is possible to draw some principles to make the assessment procedure more effective and impartial:

1. Assessment has to include a face to face examination of the practitioner
2. Systematic inquiry (as opposed to sample inquiry) of elements is to prefer
3. The assessment process, the assessment tools and the content of the tests and interviews (for example case studies or questions in interviews) must be the same for all the practitioners
4. The scoring has to be based on explicit and measurable criteria
5. The assessment procedure, the assessment tools and the scoring criteria must be applied uniformly by all the evaluators
6. The assessment procedure and the assessment tools must be structured and managed in a way the practitioners must not have the possibility to cheat.

References

See under the version in Italian above.