Förvaltningsakademin

En blogg från centrumbildningen Förvaltningsakademin vid Södertörns högskola.

Att utvärdera forskning

Vetenskapsrådet har på regeringens uppdrag tagit fram ett utvärderingssystem för all forskning. Systemet är tänkt att användas för att fördela (en del av) basanslagen till de lärosäten vars forskning håller bäst kvalitet.

Förvaltningsakademin anordnade i förra veckan ett seminarium på Södertörn där en av systemets konstruktörer presenterade myndighetens förslag. Så här ser förslaget ut.

Systemet beräknas kosta ca 170 miljoner per utvärderingsomgång, vilket av utredarna ansågs rimligt. Jag tror att kostnaden hos de granskade (lärosätena) är underskattad, och tvivlar på att regeringen framöver kommer att tycka att systemet är värt pengarna.

Ett problem är att det föreslagna systemet framförallt stärker organisationsledningarna  vid lärosätena. Förslaget innehåller en hel del om att förbättra lärosätens långsiktiga planering, och att systemet kan vara ett stöd för ledningen i strategiska frågor. Lite mer new public management.

Man bör heller inte glömma att de professionella inom universitet och högskolor redan (åtminstone i vissa avseenden) är relativt väl utvärderade. Noggranna granskningar sker regelmässigt, bland annat i samband med tjänstetillsättningar och när projektanslag ska bedömas.

Vill regeringen att en större andel av medlen ska fördelas till dem som bedöms vara bäst, finns billigare sätt. Alla forskare som efter omsorgsfulla granskningar av sakkunniga lyckas få forskningsmedel av etablerade finansiärer, skulle exempelvis kunna få en extra dusör.

Om det – mot förmodan – skulle finnas pengar för att skapa ett mer ambitiöst system, skulle man kunna låta sakkunniga läsa och bedöma det som forskarna har skrivit (artiklar och böcker), och utifrån detta fördela pengar. Efter principen att ” … dina kollegor tycker att du har gjort något bra, så här får du pengar att göra något mer”.

Inte blev jag under seminariet övertygad om systemets fördelar. Ett införande skulle stärka byråkratin vid lärosätena och de profesionellas roll skulle ytterligare naggas i kanten. Systemet kostar nog också mer än det smakar.

Om jag vore nationalekonom skulle jag säga att marginalkostnaden påtagligt verkar överstiga (den eventuella) marginalnyttan.

Om förtroende

En av de frågor som skapade mest diskussion under Statskontorets förvaltningspolitiska dag häromsistens var den om medborgarnas förtroende för myndigheterna. Jon Pierre, professor från Göteborgs Universitet, pekade inledningsvis ut förtroendefrågan som central genom att hävda att ”… förtroendedata är myndigheternas aktiekurs”.

Toivo Sjörén, chef för SIFO:s opinionsundersökningar, redogjorde sedan för studier av myndigheters anseende, under ett tema som med rubriken ”brukarundersökningar som styrinstrument”. Sjörén visade på den spridning som finns i den tilltro som medborgarna har för myndigheterna.

I botten av rankinglistan låg Arbetsförmedlingen, Försäkringskassan och Migrationsverket. I topp låg Riksbanken, Konsumentverket, Skatteverket och Smittskyddsinstitutet.

Sjörén pekade därutöver på de möjligheter som finns för myndigheter att förbättra sitt anseende, bl.a. genom att utnyttja sociala medier och genom att stärka relationerna till myndigheternas ambassadörer, dvs. till de personer som (trots allt) beundrade och talade väl om myndigheten.

Det finns många funderingar som man kan ha om det som det tycks växande intresset för förtroendemätningar, och den möjliga användningen av sådana som styrinstrument. En första reaktion är att ta allt med en klackspark. Det är förstås alltid lite kittlande att mäta och konstruera tidsserier som ger intryck av att man säger något väsentligt om de offentliga verksamheterna, och det är tacksamt att få igång en diskussion på basis av sådana listor. Frågan är dock vad mätningarna egentligen säger.

För det första är det som mäts mindre förtroendet för myndigheten än förtroendet för politiken. Detta blev tydligt i diskussionerna under den förvaltningspolitiska dagen. Förtroendet för den ekonomiska politiken och skattepolitiken är en smula högre än för politikernas skötsel av arbetsmarknadspolitiken och socialförsäkringarna, och det avspeglas i mätningarna. Förvaltning och politik hänger (föga förvånande) ihop. Vissa möjligheter skapas förstås ändå för de myndigheter som ligger bra till att försöka koppla sin listplacering till sådant som de själva har gjort, t.ex. effektiviserat verksamheten, men trovärdigheten för detta är inte särskilt hög. Man mäter något annat än det som man avser att mäta.

För det andra riskerar vi med den här typen av övningar att trivialisera något som är centralt för att förstå frågor om kvalitet och professionalitet i förvaltningen. De flesta som tillfrågas i SIFO:s studie har förmodligen ingen egen relation till den myndighet som de bedömer. Men förtroende bör ses som en relation. Det är i någon annans ögon som man har eller inte har förtroende. Jag menar att det stora förtroende som finns och har funnits inom staten (mellan politik och förvaltning, mellan departement och myndigheter, mellan och inom myndigheter) just handlar om sådana ömsesidigheter. Förtroende är det kapital som skapar förutsättningar för en effektiv förvaltning. Finns förtroendet till någon annan behöver man inte kontrollera och styra lika intensivt, och man kan på så sätt reducera transaktionskostnaderna. Det finns tecken på att det förtroendekapitalet håller på att eroderas (något som vore värt en egen mässa) men i den diskussionen är mätningar av detta slag inte alls till någon hjälp.

För det tredje riskerar vi att sätta igång en massa aktiviteter precis av den typ som SIFO:s chef rekommenderade, nämligen försök att direkt påverka hur människor svarar på SIFO:s och andra mätinstituts frågor (genom att utveckla relationer till sina ambassadörer, genom social media etc.). Rangordningar av detta slag kan helt oavsett brister i validitet och relevans ha stor betydelse, exempelvis för myndigheternas möjligheter att rekrytera och bibehålla kvalificerad personal. De flesta vill jobba på ett ställe som det talas väl om. Verkschefer kan få för sig att det nog är enklare att klättra på anseendelistan genom att förbättra sin marknadsföring, än genom att förändra sitt sätt att arbeta. Det kan måhända skapa en del jobb framöver i statsförvaltningen åt kommunikationskonsulter och ”reputation managers”, men det leder knappast till en förvaltning av hög kvalitet. Frågor om förtroende och tillit kan varken  delegeras eller utkontrakteras.

Granskning och effektivitet

Hur vet vi vilka organisationer som är effektiva och håller hög kvalitet? Frågan är ständigt aktuell, särskilt hos dem som har att granska andra organisationers verksamhet. Vad är det som skapar effektivitet? Hur blir man en bra granskare?

Det finns en återkommande dröm om att det ska gå att konstruera några (helst få) indikatorer på effektivitet, och att hitta de strukturer och processer som skulle kunna garantera effektivitet. Det finns både en stor efterfrågan på och en betydande mottaglighet för sådana som ger intryck av att kunna förverkliga sådana drömmar.

Allt detta skapar en marknad för dem som låtsas att de vet hur man ska göra. Men i praktiken slår drömmarna sällan in.

Huvudskälet är att offentliga verksamheter är komplexa. Ofta har de blivit offentliga just för att de är det. Flera olika mål ska uppnås, och målen kan ofta strida mot varandra. Målen är sällan möjliga att formulera på något enkelt och entydigt sätt. Ofta är det oklart vilka ”teknologier” som fungerar. Problem som offentliga organisationer ägnar sig åt är sällan lösningsbara en gång för alla.

Inget i granskandet och bedömandet blir därigenom trivialt, även om allt förstås kan mätas (och ibland mäts) på ett trivialt sätt.

Det finns alltid en risk att man mäter det som syns, det som går att kvantifiera och det som sker på kort sikt. På samma sätt finns en risk att den verksamhet som blir granskad anpassar sig så att det synliga, det kvantifierbara och det kortsiktiga framhävs mera än det som inte syns, inte så lätt går att kvantifiera och som kan förväntas få effekter på lite längre sikt.

Som sagt, drömmarna slår sällan in. Det verkar helt enkelt inte finnas några modeller för hur man organiserar och styr som garanterar effektivitet i organisationer. Hur ska man tänka om det?

För dem som jobbar med granskning bör väl detta i huvudsak ses som något positivt. Granskning blir därigenom en betydligt mer intellektuellt utmanande aktivitet, än om det enbart skulle handla om att ”pricka av” ifall den granskade har följt reglerna eller inte.

Att det inte finns några generellt giltiga strukturer och processer som kan garantera effektivitet, gör inte granskande och förändringsarbete fruktlöst. Tvärtom. Det ställer bara lite större krav på granskaren.

Vad kännetecknar då en bra granskare? Analytisk förmåga, förstås. Men därutöver? Djupa kunskaper om det sammanhang som ska granskas behövs, liksom en förmåga att kunna vända och vrida på frågor. Därutöver en ansenlig dos av praktisk klokhet, inklusive en viss skepsis mot drömfabrikanterna.