Utvärderingspolicy | Bill & Melinda Gates Foundation (2023)

Introduktion

Bill & Melinda Gates Foundation samarbetar med partners för att främja långsiktiga lösningar som hjälper människor att leva hälsosamma, produktiva liv. För att nå våra ambitiösa mål krävs noggrann utvärdering så att vi och våra partners kontinuerligt kan förbättra hur vi utför vårt arbete.

Utvärdering är den systematiska, objektiva bedömningen av en pågående eller avslutad intervention, projekt, policy, program eller partnerskap. Utvärdering används bäst för att svara på frågor om vilka åtgärder som fungerar bäst för att uppnå resultat, hur och varför de uppnås eller inte uppnås, vilka de oavsiktliga konsekvenserna har varit och vad som behöver justeras för att förbättra utförandet. När den görs väl är utvärdering ett kraftfullt verktyg för att informera stiftelsens och partners beslutsfattande om hur man optimerar knappa resurser för maximal effekt. Det skiljer sig från andra former av mätning som bara fokuserar på att observera om förändring har skett, inte varför eller hur den förändringen inträffade.

Vår nuvarande praxis inom utvärdering kännetecknas av variation, och i avsaknad av policy överlåts beslutsfattandet till enskilda programteam och programansvariga. Eftersom stiftelsen stödjer en mängd olika partners och projekt, är det nödvändigt att ha en tydlig organisatorisk förståelse för hur utvärdering bör variera för att bäst informera beslutsfattande inom vart och ett av dessa områden.

Syftet med policyn

Vår utvärderingspolicy är avsedd att hjälpa stiftelsens personal och våra partners att anpassa sina förväntningar när de avgör varför, när och hur utvärdering ska användas. Mer specifikt uppmuntrar policyn stiftelseteam att vara mer transparenta, strategiska och systematiska när de beslutar vad och hur de ska utvärderas. Vårt mål är att integrera utvärdering i vårt arbete, uppnå tidig anpassning med våra partners om vad vi utvärderar och varför, och generera bevis som är användbara för oss och våra partners när vi går framåt.

Organisatoriskt sammanhang

Vår utvärderingspolicy är förankrad i vår affärsmodell, som går ut på att arbeta med partners för att uppnå största möjliga effekt. Tidigt i bidragsförslagsprocessen arbetar vi med potentiella partners för att definiera och komma överens om mätbara resultat och indikatorer på framsteg och framgång. Detta gör det möjligt för våra partners att lära sig när de utför sitt arbete snarare än att bli distraherade av krav på att mäta och rapportera vid varje steg på vägen.

Detta tillvägagångssätt förstärker utvärderingens roll för att testa innovation, göra förbättringar och förstå vad som fungerar och varför man snabbt kan lära sig av misslyckanden och replikera framgång.

Policyn är också förankrad i stiftelsens kärnvärden: samarbete, rigoritet, innovation och optimism. Mer specifikt:

Vi anser att utvärdering är ett samarbetsverktyg som ger oss och våra partners feedback så att vi kan lära oss, justera och bestämma hur vi bäst ska uppnå resultat.
Vi tillämpar noggrannhet i vårt beslutsfattande om när och hur vi ska använda utvärdering och vilka typer av utvärdering som ska genomföras.
Vi tror att utvärdering är avgörande för att lära av innovativa projekt och pilotprogram innan de implementeras i större skala.
Vi är optimistiska om att utvärdering kan sprida fördelar över många discipliner när vi delar användbar bevisning med partners och andra.

Våra strategier och utvärdering

Stiftelsen organiserar sina resurser genomstrategier, var och en inom ett specifikt område eller sektor. Varje strategi har sina egna mål och prioriteringar, partners och bidragstagare och allokering av fondresurser. Strategiteam genomför sina strategier genom att göra investeringar (bidrag, kontrakt och programrelaterade investeringar), såväl som genom påverkansarbete.

Foundation-team mäter framstegen i sina strategier och undersöker vad som fungerar bäst för att uppnå prioriterade resultat med hjälp av många olika typer av bevis. En kombination av utvärderingsresultat, partnerövervakningsdata, bidragstagares rapporter, modellering, statistik på befolkningsnivå och andra sekundära data erbjuder ett mer kostnadseffektivt och korrekt alternativ till stora summativa utvärderingar. Vi använder alla dessa källor, inklusive utvärdering där det är relevant, expertutlåtanden och bedömningar för att bestämma hur vi regelbundet ska förfina grundstrategier.

Utvärdering är särskilt motiverad i följande fall:

När bevis behövs för att fylla en kunskapslucka eller utvärdera ett betydande politiskt beslut. Utvärdering kan hjälpa till att lösa osäkerhet och fastställa den relativa kostnadseffektiviteten för olika insatser, modeller eller tillvägagångssätt.
När vi och våra partners behöver en bättre förståelse för hur ett kluster av viktiga investeringar eller ett specifikt program eller projekt presterar.
När en organisation, mellanhand eller konsortium som vi arbetar med befinner sig i ett kritiskt utvecklingsskede och kan dra nytta av en oberoende prestationsbedömning.
När ett programteam behöver bedöma framstegen för en ny operativ modell eller tillvägagångssätt. Utvärdering ger pålitlig, oberoende feedback om vad som behöver förbättras för att stärka vårt förhållningssätt och partnerrelationer.

Utvärdering har hög prioritet när programresultat är svåra att observera och kunskap saknas om hur man bäst uppnår resultat – till exempel när vi samarbetar med partners som arbetar för att förbättra tjänsteleveransen eller åstadkomma beteendeförändringar, identifiera, replikera eller skala innovativa modeller , eller katalysera förändringar i system, policyer eller institutioner.

Utvärdering har låg prioritet när resultaten av våra ansträngningar är lätta att observera. Det har också låg prioritet när våra partners bedriver grundläggande vetenskaplig forskning, utvecklar men inte distribuerar produkter eller verktyg, eller skapar nya datamängder eller analyser. I sådana fall ger våra partners självrapporterade framstegsdata och befintliga protokoll (som för kliniska prövningar) tillräcklig feedback för beslutsfattande och förbättringar.

Programteam förväntas inte använda utvärdering för att summera resultaten av stiftelsestrategier. Detta skulle inte vara den bästa användningen av knappa mät- och utvärderingsresurser av två skäl: 1) effekten av våra investeringar kan inte lätt särskiljas från den av våra partners investeringar och ansträngningar; och 2) stiftelseledare är mer intresserade av att lära sig hur våra team kan utnyttja resurser och partnerskap på bästa sätt och hur man kan stärka genomförandet av programmet.

Utvärderingsdesign och metoder

Utvärdering är en omtvistad disciplin. Vi är medvetna om den pågående och sunda debatten om vilka typer av bevis som är lämpliga för att informera om policy och praxis inom amerikansk utbildning och inom internationell folkhälsa och utveckling. Men mångfalden av våra partners och fokusområden hindrar oss från att endast främja vissa typer av utvärderingsbevis som acceptabla för beslutsfattande.

Vi undviker en helhetssyn för utvärdering eftersom vi vill att våra utvärderingsinsatser ska utformas för ett specifikt syfte och för specifika avsedda användare. Detta tillvägagångssätt för utvärderingsdesign, som vi kallar ändamålsenlig, har tre element:

Det möjliggör en rad metoder, inklusive kvalitativ och kvantitativ datainsamling och analys, retrospektiv och prospektiv design, experiment, teoribaserad utvärdering och systembaserade tillvägagångssätt.
Det kräver att våra team, externa utvärderare och partners är noggranna när det gäller de slutsatser de gör och tydliga om de antaganden de använder för att dra slutsatser.
Det kräver att våra team och våra partners överväger utvärderingsbevis i samband med åtgärder så att utvärderingsinsatserna ger resultat som kan ageras på snarare än information som bara är trevlig att veta.

Följande tre design representerar den stora majoriteten av de utvärderingar vi stödjer.

Utvärderingar för att förstå och stärka programmets effektivitet

Utvärderingar som hjälper våra partners att stärka genomförandet av projekt är bland de mest relevanta för stiftelsen eftersom de ger feedback om vad som fungerar och inte fungerar på en specifik plats eller på olika platser.

Vi använder den här typen av utvärdering i följande scenarier:

När en eller flera partners levererar en kombination av insatser för att uppnå samlade resultat (t.ex. ökad och konsekvent användning av latriner, bättre elevers prestationer, exklusiv amning under de första 6 månaderna, användning av en viss gröda eller användning av mobiltelefon– baserade finansiella tjänster av kvinnor) på en specifik plats.
När en eller flera partners levererar samma tillvägagångssätt, produkt eller lösning på olika platser.
När vi samarbetar med en partner för att främja effektiv resursallokering, planering och leverans av tjänster inom en specifik plats eller sektor.

Sådana utvärderingar bör utformas med följande överväganden i åtanke:

De förväntas inte bedöma orsakssamband mellan interventionerna och de önskade resultaten.
De bör ha ett mycket specifikt syfte och användning. Eftersom utvärderingar snabbt kan bli omfattande och dyra, måste resultaten nära matcha partnerns beslutsbehov.
Vi stödjer användningen av tekniska innovationer i datainsamling och analys för att öka aktualiteten och tillgängligheten för data.
Både kvantitativa och kvalitativa data är relevanta för att utvärdera processer, verksamhet, kostnadseffektivitet, nyckelintressenters uppfattningar och möjliggörande kontextuella faktorer.

Utvärderingar kan inkludera effektuppskattningar om de behövs för att informera viktiga beslut – till exempel om att skala upp ett initiativ eller om penetrationsnivån som behövs för att säkerställa en viss effektnivå. Effektuppskattningar bör dock inte användas som bevis på effekter på makronivå.

Eftersom de antaganden som används för att konstruera effektuppskattningar kan leda till stora felmarginaler, är en robust baslinje av nyckeltäckningsindikatorer väsentlig, tillsammans med data om hur dessa indikatorer har förändrats över tiden. Påverkan på befolkningsnivå kan sedan vanligtvis fastställas genom modellering eller användning av sekundärdata.

I vissa fall kan det vara nödvändigt att fastställa ett orsakssamband mellan förändringen i täckning och den önskade effekten på befolkningsnivå. Om så är fallet bör designen innehålla en rimlig kontrafaktisk, vanligtvis erhållen genom modellering eller jämförelse med nationella eller subnationella trender.

Utvärderingar för att testa orsakseffekterna av pilotprojekt, innovationer eller leveransmodeller

Utvärderingar som producerar orsaksbevis kan användas för att avgöra om man ska skala upp eller replikera piloter, innovationer eller leveransmodeller. De kan också ge viktig kunskap till stiftelsen, våra partners, beslutsfattare och praktiker.

Vi använder den här typen av utvärdering i följande scenarier:

När stiftelseteam och partners behöver bevis för att avgöra vilka lösningar inom stora program som är mest effektiva och kostnadseffektiva.
När stiftelseteam och partners investerar i pilotprojekt och innovationer och behöver bevis för att övertyga andra att skala upp till större geografier eller replikera i andra sammanhang.
När vi och våra partners behöver bevis för att göra avvägningar mellan olika implementeringstaktiker, leveransmetoder och programkomponenter.
När vi och våra partners behöver bedöma effektiviteten av opinionsbildning, social marknadsföring och medvetenhetshöjande taktik innan vi bestämmer oss för en övergripande strategi för att påverka uppfattningar och beteenden.

Utvärderingar av orsakssamband bör utformas med följande överväganden i åtanke:

De bör tydligt kunna visa att de positiva eller negativa effekter som observerats orsakades av interventionen eller taktiken. De bör också mäta storleken på effekten som orsakas av den interventionen eller taktiken.
De måste kunna utesluta effekterna av andra faktorer än det specifika ingreppet, genom att ta med en rimlig kontrafaktisk. Vi föreslår att du använder experimentella eller vissa kvasi-experimentella konstruktioner i detta sammanhang. Om det är opraktiskt eller osannolikt att skapa en kontrafaktisk (t.ex. när en nationell institution ger tekniskt stöd till en statlig partner), föreslår vi att du använder utvärderingsdesignen som beskrivs härnäst.
De är mer användbara när vi testar varianter snarare än en enskild undersökningsrad (t.ex. fungerar x eller inte?).
De bör undersöka de lika viktiga frågorna om hur och varför förändringarna orsakades av interventionen, genom att titta på processer, prestanda och kostnader.

Utvärderingar av orsakssamband bör inte användas när befintliga bevis för effektivitet och resultat är tillräckliga. De är inte heller lämpliga för att utvärdera hela paket av interventioner med flera orsak-och-verkan vägar.

Utvärderingar för att förbättra prestanda hos institutioner eller verksamhetsmodeller

Utvärderingar som ger en neutral bedömning av effektiviteten hos en organisation eller verksamhetsmodell kan informera stiftelsens och partnerns beslutsfattande om hur man bäst använder finansiella eller tekniska resurser, löser utmaningar och stödjer pågående framsteg.

Vi använder den här typen av utvärdering selektivt i följande scenarier:

När vi arbetar med en partnerorganisation som är avgörande för framgången för en stiftelsestrategi.
När vår relation med partnern befinner sig i en kritisk tidpunkt där ytterligare, detaljerad information om ett specifikt verksamhetsområde kan informera om nästa steg, stärka samarbetet och avpersonifiera beslutsfattandet.
När vi utvecklar nya sätt att arbeta (t.ex. genom att etablera en djupare närvaro i ett specifikt land) och en objektiv, kan systematisk bedömning informera beslut om implementering och stärka relationerna med nyckelintressenter.

Utvärderingar av institutionell effektivitet och verksamhetsmodeller bör utformas med följande överväganden:

Sådana utvärderingar kan lätt bli för omfattande och betungande för stiftelsens personal eller partners, så noggrant urval av utvärderingsfrågor och ett tydligt syfte är avgörande.
När det är möjligt bör dessa utvärderingar göras i nära samarbete med andra givare så att vi kan uppnå effektivitetsvinster, uppnå en gemensam förståelse för det stöd som nyckelpartner behöver för att lyckas och fortsätta att lära av vår gemensamma erfarenhet.

Sådana utvärderingar är till stor del kvalitativa och bör inte syfta till att bedöma orsakssambandet mellan en partnerorganisation eller verksamhetsmodell och programresultat.

Utvärderingsroller och ansvar

Utvärdering Roller och ansvar

Vår utvärderingspolicy är en utgångspunkt för att stärka hur vi använder utvärdering inom stiftelsen och med våra partners. Vi kompletterar det med resurser och utsedda roller inom stiftelsen som möjliggör tydligt beslutsfattande om när och hur utvärdering ska användas och underlättar konsekvent hantering av utvärderingar och användning av resultat. Dessa resurser och roller beskrivs i följande avsnitt.

Utvärderingsplaner

Programteam i våra amerikanska och globala divisioner som arbetar med partners har var och en en utvärderingsplan som de delar öppet med partners för att främja samarbete, gemensam utvärdering och lärande inom och utanför stiftelsen. Planen identifierar befintliga bevis och de kritiska luckorna som vi och våra partners behöver fylla för att informera beslutsfattande och bygga kunskap.

Programansvariga konsulterar teamplanen innan de fattar beslut om specifika utvärderingar, för att säkerställa att utvärderingsinvesteringar passar in i en övergripande strategisk ram. De samråder också med stiftelsens centrala strategi-, mätnings- och utvärderingsteam, som arbetar med alla programteam på stiftelsen för att hitta möjligheter att investera i och dela utvärderingar som har tvärprogramsrelevans och för att främja innovation i utvärderingsmetoder.

Under anslagsutvecklingsprocessen diskuterar och beslutar våra programansvariga och partners om en utvärdering kommer att behövas, för att säkerställa anpassning till förväntningarna och tillräckliga resurser för att producera användbara utvärderingar. Nyckelfaktorer inkluderar följande:

Vår utgångspunkt är att säkerställa att våra partners har kapacitet att uppnå resultat som är mätbara och kan använda data för att göra justeringar och förbättringar.
När en partner ser behovet av utvärdering tillhandahåller vi ekonomiska och tekniska resurser för att säkerställa att utvärderingen är ändamålsenlig och kan ge resultat som partnern kan agera på.
Programansvarig och partner bestämmer gemensamt utvärderingens avsedda användare, den allmänna utvärderingsdesignen och resurser som behövs för att säkerställa att syftet, tidpunkten och användningen av utvärderingsresultaten stämmer överens.
Om partnern saknar utvärderingskapacitet och utvärderingen har strategisk betydelse för stiftelsen, kan programteamet besluta att använda en oberoende utvärderare.

Alla stiftelsefinansierade utvärderingar – oavsett om de genomförs av oberoende parter eller integrerade i våra partners arbete – registreras i ett stiftelseutvärderingsregister. Detta hjälper oss att spåra utvärderingsutgifter och resultat, och säkerställa kontinuitet och konsistens oavsett eventuell personalomsättning på stiftelsen eller partnern.

Roller och ansvar

Ansvaret för utvärdering sker på många nivåer i stiftelsen:

Stiftelsens ledare är engagerade i de principer som ligger till grund för denna utvärderingspolicy, inklusive fokus på målstyrd utvärdering och användningen av utvärdering för lärande och beslutsfattande snarare än för att bevisa att stiftelsens resurser är ansvariga för resultatet av våra gemensamma ansträngningar med partners .
Våra programdirektörer och stiftelseordföranden är dedikerade till noggrant beslutsfattande om när stiftelseteam ska investera i utvärdering, och de använder utvärderingsbevis i sitt eget beslutsfattande såväl som i dialog och opinionsbildning med partners och bidragstagare.
Våra programhandläggare främjar användningen av utvärderingsresultat för lärande inom stiftelsen och externt. De använder sina teamutvärderingsplaner för att vägleda utvärderingsbeslut, och de rådgör med sina mätnings-, inlärnings- och utvärderingskollegor för teknisk support. De använder också utvärderingsbevis i sitt beslutsfattande och sin kommunikation med partners. De ansvarar för att registrera stiftelsefinansierade utvärderingar i det centrala registret och för att dela resultat på ett transparent sätt inom och utanför stiftelsen för att upprätthålla institutionell kunskap och främja pågående lärande och förbättringar.
Våra programteam har inbyggd personal för mätning, inlärning och utvärdering för att stödja utformningen och användningen av högkvalitativa utvärderingar. Rollen för den inbäddade personalen inkluderar att hjälpa till att utforma teamutvärderingsplaner, leda utformningen och hanteringen av högprioriterade utvärderingar, tillhandahålla tekniskt stöd och forskning till programansvariga och partners som utformar program eller effektutvärderingar, och se till att utvärderingar registreras i stiftelsens register.
Stiftelsens centrala team för strategi, mätning och utvärdering ansvarar för att sätta och främja utvärderingsstandarder, skapa verktyg och resurser för stiftelse och partneranvändning och främja programövergripande utvärdering och lärande. Deras ansvar inkluderar att säkerställa att utvärdering är integrerad i grundens affärsprocess, att upprätthålla en förteckning över oberoende utvärderare, finansiera utvärderingar som fyller kritiska bevisluckor eller svarar på frågor som är relevanta för mer än ett program, ge stiftelsens personal och partners utbildning och stöd för att bygga upp kompetens. , och hjälpa programteam och partners som behöver stöd eller råd om utvärderingsdesign eller -hantering.

Närhelst det är möjligt letar stiftelseteamen efter möjligheter att bygga på övervakning och utvärdering av bidragstagare snarare än att skapa parallella system, och att investera i nationell utvärderingskapacitet för att stödja våra globala program. Vi inser att detta kan innebära samtidiga investeringar i att bygga våra partners utvärderingsförmåga. Detta stöd tillhandahålls direkt av programteam och deras inbyggda mätnings-, inlärnings- och utvärderingspersonal.

Slutsats

Bill & Melinda Gates Foundation gjorde ett tydligt engagemang för genomförbar mätning som en vägledande filosofi 2008. Filosofin anger ett tydligt behov av målstyrd utvärdering snarare än att följa någon särskild metod eller design. Där det är relevant och anpassat till den typ av arbete vi utför, kan utvärdering hjälpa till att göra beslutsfattande mindre personligt och tillhandahålla objektiva data som kan informera om åtgärder.

Detta policydokument beskriver stiftelsens ståndpunkt om varför, när och hur vi använder utvärdering för att skapa användbar evidens för beslutsfattare, förbättra genomförandet av programmet, informera vårt evidensbaserade opinionsbildning och utveckla starkare relationer med våra bidragstagare och partners. Vi ser det som utgångspunkten för en större satsning på att göra utvärdering av hög kvalitet till en integrerad del av hur vi driver och utför vårt arbete.