a cura di Viviana Vinci

 

La valutazione appare come un universo “denso” di significati: essa è stata definitiva in vari modi, ad esempio come l’insieme delle attività collegate utili per esprimere un giudizio argomentato per un fine pubblico (Bezzi, 2010), come attribuzione di valore (Scriven 1991), come formulazione di un giudizio sul valore di un fenomeno (Leithwood 1994), come uno sguardo critico sull’azione (Turcotte, Tard, 2000), come raccolta sistematica di informazioni sulle attività di un programma al fine di formulare un giudizio sullo stesso (Patton 1997), come esperienza che ciascuno di noi si trova a esercitare quotidianamente nella sua esperienza di rapporto con il mondo (Castoldi, 2010, p. 83), come rappresentazione codificata di una realtà oggetto di valutazione (Barbier, 1989), come giudizio di valore soggettivo, situazionale, negoziato, che deriva dal confronto tra elementi concernenti l’oggetto reale da valutare ed elementi che concernono le attese, il piano ideale dell’oggetto da valutare (Hadji, 1995). Vi sono tante altre definizioni e connotazioni che complessificano la possibilità di pervenire ad una definizione univoca del lemma “valutazione”, in grado di far dialogare, oltre alle diverse prospettive epistemologiche di riferimento, anche i diversi ambiti concreti in cui si attua la valutazione (quali il contesto scolastico, quello educativo-sociale, quello organizzativo, quello manageriale ecc.). I significati attribuiti al concetto valutazione, pur se differenti, sono accomunati da alcuni elementi trasversali, fra cui, in primis, il suo interesse migliorativo e trasformativo, teso al supporto della qualità (Perla, 2004; Pandolfi, 2012; Ulivieri Stiozzi, Vinci, 2016) e che si esplica, ad esempio, nella soluzione di problemi o nella scelta di una decisione da intraprendere attraverso il giudizio sul valore e qualità di un oggetto (sia esso un programma, un’azione, un progetto); in secondo luogo, la compresenza di finalità e soggetti plurimi che interagiscono e condizionano fortemente il processo valutativo, quali l’evaluando, la committenza, il valutatore, i beneficiari, gli stakeholders (Bartezzaghi, Guerci, Vinante, 2010; Torre, 2010).

Più che cercare di definire in maniera univoca l’oggetto e i significati della valutazione – che, come si è detto, appaiono assai diversificati, soprattutto se consideriamo i diversi ambiti specifici di riferimento della valutazione – Claudio Bezzi sottolinea l’importanza di comprendere la logica del disegno valutativo (o, meglio, della ricerca valutativa) che definisce come “quell’insieme di riflessioni e procedure che conducono il valutatore a realizzare concretamente una ricerca valutativa dal problema cognitivo iniziale che costituisce il suo mandato” (Bezzi, 2010, p. 51). Tale definizione rimanda al carattere progettuale della ricerca valutativa, che non deve essere confusa riduttivisticamente con tecniche a-priori applicabili a qualsiasi progetto, ma che rappresenta un vero e proprio percorso, caratterizzato da precise logiche e scelte metodologiche: è il progetto che consente di condurre una analisi valutativa efficace, rilevante, utilizzabile, è il frame, la logica, la teoria che sottende la ricerca valutativa.

I livelli di un disegno della ricerca valutativa si snodano su tre piani differenti per grado di astrazione: ad un primo livello epistemologico-metodologico la riflessione è centrata sulla conoscibilità dell’oggetto della valutazione, sulle precondizioni necessarie per avviare la valutazione e sulle conseguenze della valutazione (conseguenze sul piano etico, deontologico, organizzativo, metodologico e operativo); ad un secondo livello, dotato di un livello di astrazione più basso, la riflessione è centrata su un piano metodologico-operativo, che traduce il primo livello epistemologico-metodologico in un determinato percorso valutativo adattato ad un contesto specifico; ad un terzo livello incentrato sulle definizioni operative relative alla raccolta e analisi delle informazioni, infine, la riflessione si concretizza nella scelta delle tecniche che soddisfano le precondizioni del livello metodologico-operativo e delle modalità di utilizzo e di analisi.

Nove le fasi di un disegno valutativo capace di orientare l’agire del valutatore (Bezzi, 2010):

1) la definizione del mandato valutativo, che diventa essenziale per comprendere “perché” si debba valutare, chi ha deciso di valutare e che cosa voglia farne dei risultati della valutazione; tale mandato deve essere chiaro, privo di ambiguità e negoziato con il committente, il cui intento deve apparire trasparente agli occhi del valutatore;

2) la formulazione di domande valutative opportune che discendano da un’analisi degli obiettivi del programma (solo conoscendo gli obiettivi e l’organizzazione del progetto originale è possibile valutare, ossia confrontare una data realtà e rispetto al risultato atteso, allo standard o a quanto inizialmente definito);

3) l’accertamento delle risorse disponibili e organizzazione della ricerca, tenendo conto dei vincoli (non solo di natura economica ma anche di personale e di tempi) e della volontà del finanziatore a perseguire le finalità della valutazione e a collaborare;

4) la definizione del disegno preliminare della ricerca valutativa sulla base dei documenti disponibili, di qualche intervento (ad esempio: un’intervista) preliminare e delle competenze pregresse; si tratta dell’offerta tecnica che il valutatore sottopone preliminarmente al committente e che sarà poi modificata;

5) l’esplorazione dello spazio semantico del programma al fine di individuare – all’interno del contesto, entrando “nel vivo” delle relazioni fra gli attori e dei significati da loro attribuiti al programma – le sue componenti salienti e trasformarle in strumenti operativi di valutazione;

6) l’esplicitazione del sistema dei valori che sottende e condiziona la valutazione, i suoi risultati, i suoi utilizzi, le sue conseguenze: in quanto “filtro” che influenza enormemente il giudizio valutativo, il sistema di valori non può essere proposto in maniera arbitraria o rimanere occulto e implicito, ma va esplicitato;

7) il passare alle definizioni operative specifiche, ossia costruire concretamente strumenti, approcci, tecniche di valutazione derivanti strettamente dal confronto del disegno valutativo col programma, con il suo contesto e i suoi protagonisti, dall’esplorazione del campo semantico e del sistema di valori: “le tecniche sono mere conseguenze operative di scelte, argomentabili, che traggono senso dal confronto col contesto reale in cui la valutazione è situata” (Bezzi, 2010, p. 60);

8) la raccolta e l’analisi dei dati per giungere ad un giudizio valutativo formulato attraverso svariate forme e diversi livelli di profondità; fra le tecniche e gli strumenti per raccogliere e analizzare informazioni all’interno di una ricerca valutativa ne ricordiamo alcuni, molto sinteticamente e senza pretesa di esaustività, utilizzati di frequente:

• il Quadro logico: sviluppatosi in contesti manageriali e adottato per la valutazione delle politiche strutturali, il Quadro logico si presenta sotto forma di matrice che incrocia i diversi livelli del programma in questione con tre elementi di controllo gestionale strategici; serve per valutare la coerenza interna delle relazioni mezzi-obiettivi del progetto (come da tabella successiva) e prevede la redazione di diagrammi dei problemi e diagrammi degli obiettivi in cui siano stabilite relazioni di causa-effetto tra gli elementi negativi della situazione rilevata (Stroppiana, 2009; Cossetta, 2009); la logica che sottende il Quadro logico è che “per favorire un’adeguata valutazione, ogni livello di definizione di una politica dovrebbe essere caratterizzato dalla definizione di un obiettivo generale o globale, che si traduce in un obiettivo specifico, a sua volta articolato in misure/attività o azioni, che devono produrre risultati (attesi) e che sono realizzate attraverso mezzi o risorse (e procedure attuative)” (Bezzi, 2010, p. 141).

Livelli del programma	Indicatori oggettivamente verificabili	Fonti degli indicatori, o modalità della loro verifica	Condizioni
Obiettivo generale
Obiettivi specifici
Risultati attesi
Attività
		Costi	Precondizioni

Fonte: La Matrice usuale del Quadro logico (Bezzi, 2010, p. 142)

 

• l’analisi costi benefici: stima dei costi e dei benefici complessivi di un progetto per indicare quale dei due prevale per differenza e scartare il progetto se il risultato indica una preponderanza dei costi rispetto ai benefici; viene utilizzata generalmente per selezionare progetti finanziati in prevalenza con fondi pubblici, in quanto fornisce un’indicazione gerarchica, ossia quali progetti portano maggiori benefici netti (Pennisi, Scandizzo 2003; Brent, 2007);

• check list, scoring chart, confronto a coppie: la check list o “lista di controllo”, è una tecnica che si basa su una lista di domande che ineriscono generalmente a giudizi relativi al programma e che prevedono risposto dicotomiche (Si-No, D’accordo-In disaccordo) presentate a più giudici; nella check list si considerano tutti gli item di pari valore, a differenza di un’altra tecnica, simile, lo scoring chart, in cui i punteggi possono oscillare in scale da 1 a 3, da 1 a 5, da 1 a 7; il confronto a coppie si basa invece sul confrontare due progetti o due elementi diversi del programma, come da tabella successiva:

 

		Progetto B
		Indicatore 1	Indicatore 2	Indicatore 3
Progetto A	Indicatore 1		1	4
	Indicatore 2	5		3
	Indicatore 3	2	3

Fonte: Esempio di matrice per il confronto a coppie (Bezzi, 2010, p. 157)

 

• l’analisi Delphi: tecnica di ricerca valutativa in cui un gruppo selezionato (detto anche panel) di esperti, vengono chiamati ad esprimere, in forma anonima, i propri pareri ed opinioni su una determinata tematica, attraverso fasi successive di raccolta dati, caratterizzate dall’utilizzo di strumenti di ricerca sociale di diversa natura (questionari, interviste semi-strutturate, ecc.) e finalizzate ad una progressiva esplorazione e valutazione del tema in oggetto; caratteristica peculiare dell’analisi Delphi è che gli esperti non interagiscono tra loro direttamente, come in molte altre tecniche in cui convengono contemporaneamente in un luogo stabilito per interagire sotto la guida di un facilitatore, ma restano nelle proprie sedi e interagiscono a distanza tramite un ricercatore, via mail, il quale ha il compito di mediare il confronto e la valutazione dei pareri raccolti favorendo la sintesi dei giudizi raccolti in ogni fase con i risultati di quella precedente (Brent, 2007);

• la rubrica valutativa: strumento impiegato per valutare la qualità dei prodotti e delle prestazioni (McTighe & Ferrara, 1996), soprattutto in ambito scolastico, dove si è diffuso per la valutazione della competenza degli studenti, attraverso una definizione delle dimensioni che la compongono, dei livelli di padronanza attesi e delle “prove” riferite a situazioni reali (Castoldi, 2006, 2012, 2016; Trinchero, 2012). Si presenta come una tabella a doppia entrata, con una scala di punteggi prefissati e una lista di criteri che descrivono le caratteristiche di ogni punteggio della scala. Essa “si costruisce scomponendo un compito complesso in elementi essenziali, individuando per ciascuno di essi una serie di descrittori delle azioni richieste, con i valori ordinali o numerici con cui tradurre il giudizio in un punteggio grezzo o in un voto” (Baldassarre, 2015, p. 232; cfr. Arter, 1994). La diffusione ampia della rubrica si lega alla capacità intrinseca dello strumento di declinare i criteri di valutazione di una prestazione complessa (di una competenza o di un prodotto oggetto di valutazione), in livelli di qualità chiaramente definiti ed esprimibili attraverso comportamenti osservabili, misurabili e concreti.

• l’indagine con questionario: il questionario può essere utilizzato in indagini campionarie e indagini non campionarie. Nelle indagini campionarie, viene somministrato ad un certo numero di persone calcolato statisticamente ed estratto in modo da garantire rappresentatività degli intervistati rispetto all’intera popolazione (Zammuner, 1998; Palumbo, Garbarino, 2006): perché un campione sia adeguato deve essere, infatti, probabilistico e rappresentativo, cioè rappresentare una sorta di “miniatura” della popolazione di interesse, i cui membri abbiano uguale probabilità di essere inclusi nel campione e la cui distribuzione nel campione sia equamente rappresentativa, per cui anche la modalità di raccolta dei dati deve rispondere ad un preciso piano di ricerca e metodo di campionamento, a requisiti di adeguatezza, validità e rappresentatività. Nelle indagini non campionarie rientrano le indagini totali come il censimento, in cui la rilevazione dei dati è estesa a tutte le unità, all’intera popolazione di riferimento (con costi molto più elevati). La formulazione dei quesiti varia sulla base del livello di strutturazione delle domande, ossia del grado di dettaglio e del livello di approfondimento con cui la traccia prevede di indagare i vari oggetti di indagine (Corbetta, 1999).

• il focus group: tecnica di rilevazione che permette, attraverso l’interazione di un gruppo di persone, sollecitate da uno o più moderatori a parlare tra loro, di mettere a fuoco un tema, un problema, un concetto. Usata tradizionalmente nell’area del marketing per acquisire feedback sui nuovi prodotti di mercato e, negli ultimi anni, anche in area psicologica e pedagogica per indagare il processo di formazione di opinioni in discussioni “fra pari”; si differenzia dall’intervista, che pone diverse domande spesso su tematiche differenti, in quanto focalizzato su una sola questione, anche se affrontata attraverso diverse sollecitazioni. Il risultato atteso consiste in una o più argomentazioni capaci di descrivere il tema, di discuterne le dimensioni più importanti (Bezzi, 2013, p. 27; Corrao, 2000: Zammuner, 2003; Albanesi, 2004; Acocella, 2008; Cataldi, 2009).

• il brainstorming: tecnica che permette di far emergere le rappresentazioni spontanee dei partecipanti, secondo la logica delle associazioni delle idee, in cui nuove idee emergono a partire da quelle già prodotte (Bezzi, 2006; Gallagher, 2013; Diehl & Stroebe 1987; Sutton & Hargadon, 1996). Utilizzato come tecnica di problem solving all’interno di organizzazioni – soprattutto in ambito aziendale e formativo – il brainstorming viene utilizzato per incrementare il pensiero creativo e generare molte idee (Rich, 2003) e rappresenta una tecnica poco strutturata, poco standardizzata e flessibile (Di Maria, Lavanco,Varveri & Montesarchio, 2002). La conduzione è meno direttiva e anche il numero di persone può variare (Clark, 1958).

• l’audit: visita ispettiva documentata, sistematica e indipendente, in cui tramite la raccolta di evidenze oggettive – ossia informazioni verificabili e riconducibili a situazioni concrete – è possibile evidenziare la non conformità, rispetto a criteri prestabiliti, di prodotti, processi, sistemi e programmi all’interno di una organizzazione (Storti, 2006). Le informazioni verificabili attraverso visita ispettiva in loco possono essere raccolte attraverso diversi metodi e strumenti, ad esempio le interviste, l’osservazione delle attività e dell’ambiente di lavoro, l’analisi e il riesame della documentazione dell’organizzazione, le statistiche, le informazioni da soggetti esterni all’organizzazione. È utile per fornire dati significativi ai vertici dell’organizzazione, ai fini di orientare la presa di decisione futura.

• il portfolio: documentazione ragionata di un percorso formativo o professionale, curata dalla singola persona o da un gruppo, attraverso la selezione di una serie di materiali testuali o audio-visivi ritenuti significativi sulla base di una loro analisi critica. Mutuato prevalentemente dall’ambito scolastico e della formazione, è ritenuto un valido strumento anche per valutare l’agire educativo (Paulson & Meyer, 1991; Perla, Vinci 2015a, 2015b) in quanto strumento fondamentalmente autovalutativo che consente di costruire una documentazione di processo, una pratica narrativa finalizzata alla riflessione, all’autovalutazione della propria esperienza professionale, formativa e personale (Castoldi, 2012).

• intervista biografica: strumento ermeneutico che si presenta in duplice forma, come racconto di vita o storia di vita, e che viene condotta utilizzando, piuttosto che domande puntuali, diversi rilanci che portino alla luce il mondo dell’intervistato, nel rispetto cioè del suo universo di senso; “un’intervista è biografica quando, a partire da una traccia di intervista strutturata ma non direttamente somministrata, si svolge all’interno di una situazione sociale particolare, la situazione d’intervista, intesa come atto di ricerca” (Bichi, p. 29; Mantovani, Kanizsa 1998). Come strumento di valutazione, rientra fra le tecniche non standard aventi come unità di analisi gli individui singoli (Bezzi, 2007).

• l’analisi SWOT: acronimo di Strengths, Weaknesses, Opportunities, Threats, l’analisi SWOT è una tecnica utilizzata in molte aree di applicazione che aiuta a supportare il processo decisionale e di pianificazione strategica. Viene utilizzata per valutare i punti di forza (Strengths), debolezza (Weaknesses), le opportunità (Opportunities) e i vincoli o minacce (Threats) di un progetto; il processo di realizzazione non differisce molto da quello di una sessione di brainstorming, in quanto si opera in gruppo e vi è un facilitatore che ha il compito di supportare la discussione sui temi focus e la compilazione di uno schema (quadrante) che evidenzia i risultati della valutazione opportunità-rischi (Damiani, 2007).

 

9) l’ultima fase del disegno valutativo riguarda l’uso della valutazione e la diffusione dei suoi risultati attraverso la redazione di rapporti valutativi, di sensibilizzazione e divulgazione.

Questi nove step non vanno pensati in un rigido ordine logico-cronologico, come ben evidenzia Bezzi:

“Il disegno della ricerca valutativa è da considerare come un insieme organico che cresce assieme; mentre il valutatore negozia il mandato col committente (Fase1) e comprende su quale programma debba agire (fase 2), cerca di prefigurare come potrebbe procedere (fase 4), salvo ridimensionare il progetto una volta conosciuto il budget disponibile (fase 3); quando poi avvia il lavoro (fase 5 e seguenti) potrebbe dover ritornare dal committente per ridefinire il mandato alla luce di quanto va scoprendo; e così via” (ivi, p. 61).

 

---

 

BIBLIOGRAFIA

Acocella I. (2008). Il focus group: teoria e tecnica. Milano: FrancoAngeli.
Adler M., Ziglio e. (1996). Gazing into the Oracle. The Delphi Methods and its Application to Social Policy and Public Health. London: Jessica Kingsley Pub.
Albanesi C. (2004). I focus group. Roma: Carocci.
Arter, J.A. (1994). Improving Science and Mathematics Education. A toolkit for Professional Developers: Alternative Assessment. OR: Northwest Regional Education Laboratory, Portland.
Baldassarre, M. (2015). Le prove semi-strutturate di conoscenza e il loro uso (pp. 215-234). In Galliani, L. (Ed.). L’agire valutativo. Manuale per docenti e formatori. Brescia: La Scuola.
Barbier J.M. (1989). La valutazione nel processo formativo. Torino: Loescher.
Bartezzaghi E., Guerci M., Vinante M. (2010). La valutazione stakeholder-based della formazione continua. Modelli, processi, strumenti. Milano: FrancoAngeli.
Bezzi, C. (2006). Valutazione in azione. Lezioni apprese da casi concreti. Milano: Franco Angeli
Bezzi, C. (2007). Cos’è la valutazione. Un’introduzione ai concetti, le parole chiave e i problemi metodologici. Milano: FrancoAngeli.
Bezzi C. (2010). Il nuovo disegno della ricerca valutativa. Milano: FrancoAngeli.
Bezzi, C. (2013). Cos’è la valutazione. Un’introduzione ai concetti, le parole chiave e i problemi metodologici. Milano: FrancoAngeli.
Bichi R. (2007). L’intervista biografica. Milano: Vita e Pensiero.
Brent R.J. (2007) (2nd ed). Applied Cost-Benefit Analysis. Cheltenham: Edwaed Elgar Pub.
Castoldi, M. (2006). Le rubriche valutative. L’educatore, 5, 6-10.
Castoldi M. (2010). Didattica generale. Milano: Mondadori.
Castoldi, M. (2012). Valutare a scuola. Roma: Carocci.
Castoldi M. (2016).
Cataldi S. (2009). Come si analizzano i focus group. Milano: FrancoAngeli.
Clark, C.H. (1958). Brainstorming. How to Create Successful Ideas. New York: Doubleday & Company.
Corbetta P.G. (1999). Metodologia e tecniche della ricerca sociale. Bologna: il Mulino.
Corrao S. (2000). Il focus group. Milano: FrancoAngeli.
Cossetta A. (2009). Sviluppo e cooperazione. Idee, politiche, pratiche. Milano: FrancoAngeli.
‪Damiani M. (2007). Project management di successo. Un modo di operare condiviso all’interno delle organizzazioni. Milano: FrancoAngeli.
Di Maria F., Lavanco G., Montesarchio G. & Varveri L. (2003). Colloquio di gruppo: istruzioni per l’uso. In G. Montesarchio  (Ed.). Quattro crediti di colloquio. Milano: FrancoAngeli.
Diehl, M. & Stroebe, W. (1987). Productivity loss in brainstorming groups: Toward the solution of a riddle. Journal of Personality and Social Psychology, 53, 497-509.
Gallagher, S. (2013). Brainstorming: Views and Interviews on the Mind. UK Imprint academic: Exeter.
Hadji C. (1995). La valutazione delle azioni educative. Brescia: La Scuola.
Leithwood K.A. (1994). Evaluating Implementation of Educational Programs and Innovations. In Husén T., Neville Postelethwaite T., The International Encyclopedia of Education. Oxford: Pergamon, 2 ed., pp. 2070-2074.
Mantovani S., Kanizsa S. (1998). La ricerca sul campo in educazione. I metodi qualitativi. Milano: Bruno Mondadori.
McTighe, J., Ferrara, S. (1996). Performance-based assessment in the classroom: a planning framework. In R.E. Blum, J.A. Arter (Eds.). A handbook for student performance assessment in an era of restructuring. Association for Supervision and Curriculum Development, Alexandria.
Palumbo M., Garbarino E. (2006). Ricerca sociale: metodo e tecniche. Milano: FrancoAngeli.
Pandolfi L. (2012). Valutare servizi educativi. Un’introduzione. Lecce: Pensa.
Patton M.Q. (1997) Utilization Focused Evaluation. The New Century. Thousand Oaks: Sage Publications.
Paulson L.F., Paulson P.R. & Meyer C, (1991).What Makes a Portfolio a Portfolio? Eight thoughtful quidelines will help educators encourage self-directed learning. Education Leardership, 48(5), 60-63 (EJ 421 352).
Pennisi G., Scandizzo L. (2003). Valutare l’incertezza. L’analisi costi benefici nel XXI secolo. Torino: Giappichelli.
Perla L. (2004). Valutazione e qualità in università. Roma: Carocci.
Perla, L., Vinci V. (2015a). The Evalutation of Adult Education Staff. EDUEVAL Curriculum. Volume 1. Lecce: PensaMultimedia.
Perla, L., Vinci V. (2015b). The Evalutation of Adult Education Staff. EDUEVAL How to do Guide. Volume 2. Lecce: PensaMultimedia.
Rich, J.R. (2003). Brain storm. Tap into your creativity to generate awesome ideas and remarkable results. Franklin Lakes, NJ: Career Press.
Scriven M. (1991). Evaluation Thesaurus. Newbury Park,CA: Sage Publications.
Ulivieri Stiozzi S., Vinci V. (2016). La valutazione per pensare il lavoro pedagogico. Milano: FrancoAngeli.
Storti, S. (2006). Tecniche di audit per governare l’impresa. Sistemi di gestione per la qualità, l’ambiente, la sicurezza e la responsabilità sociale. Milano: FrancoAngeli.
Stroppiana A. (2009). Progettare in contesti difficili. Una nuova lettura del Quadro Logico. Milano: FrancoAngeli.
Sutton, R.I. & Hargadon, A.H. (1996). Brainstorming groups in context: Effectiveness in a product design firm. Administrative Science Quarterly, 41, 685– 718.
Torre E.M. (2010). Strategie di ricerca valutativa in educazione e formazione. Roma: Aracne.
Trinchero R. (2012). Costruire, valutare, certificare competenze. Proposte di attività per la scuola. Milano: FrancoAngeli.
Turcotte, D. & Tard, C. (2003).The Evaluation of Intervention and the Programm Evaluation. In R. Mayer et al. (Eds.), Research Methods in Social Intervention. Gaetan Morin Editeur: Québec.
Zammuner V.L. (1998). Tecniche dell’intervista e del questionario. Bologna: il Mulino.
Zammuner V.L. (2003). I focus group., Bologna: il Mulino.