Teknisk høring vedrørende ændring af benchmarkingmetode

Forsyningssekretariatet fremlægger i høringsmaterialet, at de ønsker at ændre den nuværende benchmarkingmetode væk fra best-of-two, og erstatte benchmarkingmodellerne SFA og DEA med en DEA benchmarkingmodel af typen Order-M. DANVA vil gerne understrege, at dette ikke sker efter et ønske fra vandselskaberne. Vandsektoren ønsker at fortsætte med best-of-two og har på dette område ikke ændret holdning siden sektoren støttede metoden i forbindelse med indførelsen af den totaløkonomiske benchmarking med rammerne i 2017.

Metoden best-of-two modvirker, at vandselskaberne får effektiviseringskrav på grund af modelusikkerhed, datausikkerhed (støj) og subjektive vurderinger. Tilmed giver metoden incitament til, at regulator inden for de givne rammer udvikler en så præcis benchmarking som muligt. Metoden best of two er fagligt bredt anerkendt og oprindeligt introduceret af Professor Peter Bogetoft, da han udviklede den totaløkonomiske benchmarking af vandselskaberne for Forsyningssekretariatet. Denne fagligt robuste tilgang til benchmarkingen har givet ro omkring validiteten af resultaterne og DANVA finder det meget uheldigt, at Forsyningssekretariatet nu lægger op til at afskaffe denne centrale del af den oprindelige benchmarkingmodel.

Forsyningssekretariatet har ad flere omgange fjernet forsigtighedshensyn i den model Professor Peter Bogetoft udviklede på baggrund af førende internationale standarder. Hver gang der fjernes et forsigtighedshensyn, øger det risikoen for, at vandselskaberne får for høje effektiviseringskrav med dertil hørende konsekvenser. DANVA håber Forsyningssekretariatet i dialog med branchen vil genoverveje, om ikke der findes bedre og mere robuste løsninger end at afskaffe best of two. I den sammenhæng vil DANVA opfordre Forsyningssekretariatet til at se nærmere på den løsning, man ved seneste benchmarking valgte i Forsyningstilsynet, hvor man i reguleringen af elnetselskaber gik fra en DEA/SFA til en DEA/MOLS. I tilsynet havde man oplevet nogle af de samme problemer som Forsyningssekretariatet har haft med SFA-modellen. Løsningen i el-reguleringen blev at fastholde best of two og udskifte SFA med den bredt anerkendte og udbredte MOLS-model, dog i en lettere tilpasset version. Det undrer DANVA meget, at der ikke er lavet en grundig analyse af, om den samme model kan anvendes i vandsektoren. I en tid med fokus på sektorkobling og administrative lettelser, finder DANVA det uheldigt, at der ikke er så meget koordination mellem forsyningsregulatorerne, at man afprøver hinandens modeller og fremlægger resultaterne. Det er alt andet lige nemmere for multiforsyningsselskaberne når afvigelserne mellem sektorerne ikke er alt for store. I tillæg fremstår DEA/MOLS fagligt som et mere gennemtestet valg end en afskaffelse af best of two, der foreslås erstattet med en Order-M model. Order-M har ikke de samme positive egenskaber og er ikke en reel erstatning. Modellen vil desuden sænke gennemsigtigheden med frontselskaberne og anvendes så vidt DANVA ved ikke af andre regulatorer på forsyningsområdet, hverken nationalt eller internationalt.

Fordelen ved best-of-two

I benchmarkingen bliver selskaberne benchmarket op imod en front, som repræsenterer den bedste praksis i sektoren. Grundidéen er, at fronten viser de omkostninger det enkelte selskab ville have haft, hvis det havde produceret lige så effektivt som de mest effektive selskaber. For at kunne lave en fair sammenligning af selskaberne, bliver selskabernes netvolumener korrigeret for alder og tæthed. Når der er korrigeret for alder og tæthed er antagelsen, at det eneste der adskiller selskaberne, er deres forhold mellem omkostninger og netvolumener. Under denne antagelse sammenligner man selskaberne en til en. Da vandselskaberne i praksis adskiller sig markant fra hinanden på en lang række parametre, er det i praksis ikke muligt at tage højde for alle forskelligheder i en model. Det betyder, at selskaberne rimeligvis ikke er så sammenlignelige, som ellers er en helt central antagelse i benchmarkingmodellerne. Benchmarkingresultaterne skal derfor aflæses med forsigtighed.

Da vi ved, at benchmarkingmodellerne skal tolkes med forsigtighed, er det vigtigt, at benchmarkingmetoden indeholder en række forsigtighedshensyn sådan, at selskaberne ikke får stillet fejlagtigt høje effektiviseringskrav på grund af model- og datausikkerhed. Best-of-two er et vigtigt forsigtighedshensyn at beholde, da metoden mindsker modelusikkerhed, datausikkerhed (støj) og gør det sværere at spekulere i vandsektorens effektiviseringspotentiale.

I best-of-two benyttes både en deterministisk og en stokastisk model. De to typer af modeller har hver deres fordele og ulemper. Best-of-two metoden sikrer, at selskaberne ikke bliver straffet for de usikkerheder, der hører med til den enkelte modeltype. I DEA kan nogle selskaber være meget påvirket af enkelte frontselskaber. Disse selskaber vil være bedre stillet, når man bruger data fra alle selskaber til at fastsætte fronten. Ændringen af metoden vil påvirke disse selskaber negativt, hvorimod Order-M vil stille de selskaber, der i forvejen klarer sig relativt bedst i DEA bedre.

Det er centralt for DANVA, at sektoren har en benchmarkingmodel, der så vidt muligt baserer sig på objektive målinger fremfor subjektive vurderinger. Det giver troværdighed og mindsker muligheden for at spekulere i sektorens effektiviseringspotentiale. DANVA ser best-of-two metoden, som den bedste metode til at sikre at effektiviseringspotentialet bygger på måling og i mindre grad subjektive vurderinger fra regulator. Ved at have både en deterministisk og en stokastisk model modvirker man således fejlspecificering af modellerne. Ved at tilføje en ekstra variabel vil efficiensscorerne stige i DEA og falde i SFA, og omvendt, hvis der fjernes en variabel. Dette forsigtighedshensyn var centralt, da benchmarkingmodellen blev udviklet af Professor Peter Bogetoft, da det er med til at disciplinere regulator til at finde den rigtige specifikationsgrad i modellerne. DANVA ønsker ikke dette akademisk velfunderede hensyn fjernet.

Udvanding af forsigtighedshensyn

Da den totaløkonomiske benchmarkingmodel blev udviklet, var der en række forsigtighedshensyn indarbejdet, hvoraf flere af disse hensyn siden er blevet fjernet. Når man sammenligning den benchmarkingmodel, der blev brugt til at benchmarke drikkevandselskaberne i benchmarking 2019 med modellen i benchmarking 2023, fremgår det, at flere forsigtighedshensyn er blevet fjernet de seneste år.

I benchmarking 2019 var der best-of-two, men både DEA og SFA blev dengang estimeret væsentlig anderledes. I benchmarking 2019 havde man i DEA 1 input variabel og 5 output variable. I benchmarking 2023 havde man i DEA 1 input variabel og 2 outputvariable. Ved at korrigere samlet for tæthed og alder havde man altså fjernet 3 variable i DEA. Her er det værd at bemærke, at effekten af at fjerne variable i DEA er, at efficiensscorene vil falde og effektiviseringspotentialet dermed vil stige. DEA modellen er dermed blevet væsentligt mindre forsigtig fra benchmarking 2019 til benchmarking 2023, hvilket er uheldigt, da selskaberne oplever problemer med netop alders- og tæthedskorrektionerne.

I benchmarking 2019 kørte man 3 SFA-modeller, hvor omkostningsfunktionen i modellerne var Cobb-Douglas. Selskaberne fik så tildelt den højeste efficiensscore hvorefter de bagefter fik deres best-of-two score. Disse forsigtighedshensyn var og er nødvendige for at undgå, at selskaberne bliver straffet for data- og modelusikkerhed. I benchmarking 2023 kørte man 1 SFA-model, hvoraf omkostningsfunktionen var translog. For SFA-modellerne er der altså blevet fjernet et betydeligt forsigtighedshensyn ved kun at køre med 1 SFA-model i dag mod 3 SFA-modeller tidligere.

Det fremgår af høringsmaterialet, at resultaterne i SFA er følsomme overfor dataændringer, da der ifølge Forsyningssekretariatet er relativt få vandselskaber. Når man nu er bekymret for, at der er for få observationer til, at SFA kan give konsistente resultater, er det uheldigt, at der er blevet skiftet til en omkostningsfunktion med 3 ekstra variable, der dermed er mere afhængig af mange observationer. For at frigøre nogle frihedsgrader kunne man derfor med fordel gå tilbage til at bruge Cobb-Douglas som omkostningsfunktion.

Outlier kontrol bør fastholdes

Hvis Order-M indføres, får branchen en model, der er lidt mindre følsom overfor outliers end DEA modellen, som benyttes i dag. DEA har til gengæld den fordel, at den er gennemsigtig i forhold til frontselskaber og derigennem bidrager til at forhøje datakvaliteten. Efter fronten bliver fastsat er der nogle få selskaber, der 100% er med til at sætte fronten. Der bliver herefter lavet et eftersyn af disse selskaber både af Forsyningssekretariatet og DANVA. Denne gennemgang har til formål at sikre, at frontselskaberne er repræsentative for resten af branchen. Denne gennemgang bidrager generelt til forhøjet datakvalitet, og giver et indblik i, hvilke datapunkter, der måske skal have større opmærksomhed fremover for at sikre en retvisende benchmarking. Et eksempel på dette fremgår af sidste års høring af benchmarkingresultaterne af spildevandselskaber, hvor det kom frem, at flere selskaber manglede at få historiske afskrivninger tilhørende deres opdaterede opgørelse af anlæg. To år før blev der observeret problemer med husstandspumpestationer og således kan man blive ved og derudfra konstatere, at kvalitetssikringen af frontselskaberne er vigtig for datakvaliteten i hele datasættet over tid.

Ved Order-M kommer flere selskaber på fronten, hvoraf et selskab ifølge Forsyningssekretariatets betingelser kun kan være på fronten i max 50% af tilfældene. Ved at brede fronten ud på flere selskaber, frygter DANVA, at der ikke vil være det samme datagennemsyn fremover, hvilket i givet fald vil gå udover den forsatte udvikling af datakvaliteten. Skulle det ende med, at Order-M blev indført, er det derfor vigtigt, at der forsat vil være et lige så grundigt eftersyn af de selskaber, der danner fronten i DEA, som tilfældet er i dag. De frontselskaber, der i eftersynet vil blive kategoriseret som outliers vil også skulle kategoriseres som outliers i Order-M. Selvom fronten i Order-M afhænger af flere selskaber, så vil et selskab, der ikke er repræsentativ stadig påvirke fronten.

Fastsættelsen af parameteren M

Det målte effektiviseringspotentiale i Order-M afhænger af parameteren M. Forsyningssekretariatet vil finde et interval for M, hvor alle M’er i intervallet skal leve op til 4 egenskaber.

Resultater er ikke følsomme over for data fra enkelte selskaber:
Resultater tager hensyn til støj uden at udvande formålet om identificering af efficiens
Fronten udgøres af mange selskaber, så fronten har en høj grad af fleksibilitet
Modellen opfylder betingelser og antagelser fra DEA

DANVA finder det positivt, at Forsyningssekretariatet har forsøgt at opsætte kriterier for fastsættelsen af M. Desværre er det en indbygget svaghed i Order-M, at der på det nuværende videnskabelige udviklingstrin for modellen, ikke er udviklet klare objektive kriterier for fastsættelsen af M. Hermed bliver fastsættelsen af M op til regulators mere eller mindre subjektive vurdering, hvilket i sidste ende betyder, at effektiviseringspotentialet kommer til at afhænge af en subjektiv vurdering.

De kriterier der er opsat i høringsmaterialet til at afgøre, hvilke værdier af M, der opfylder de opstillede egenskaber, bygger således på flere subjektive vurderinger fra Forsyningssekretariatet. DANVA så gerne, at udvælgelsen af M var mere objektiv, og byggede på et mere solidt teoretisk grundlag, hvilket vil bidrage til, at effektiviseringspotentialet i højere grad vil blive målt på objektive resultater.

Efter der er fundet et interval, skal der findes et enkelt tal for M indenfor intervallet. Det fremgår ikke af høringsmaterialet, hvordan dette M vælges, men af hensyn til princippet om forsigtighed, så bør M være det laveste indenfor intervallet.

Hensyn til støj

Det fremgår af materialet, at Order-M tager højde for støj. Det er DANVA ikke enig i. Når man fravælger modeller som SFA og MOLS ryger dette hensyn. Det bør anerkendes som et fravalg ved Order-M.

Incitamenter i benchmarkingen

I vurdering af benchmarkingmodellerne får de stokastiske modeller en dårligere score på parameteren incitamenter, fordi en reduktion i omkostningerne ikke slår igennem 1:1. Selvom en reduktion i omkostningerne ikke slår igennem 1:1, har selskaberne stadig incitament til at reducere omkostningerne, da det for langt størstedelen af selskaberne vil betyde en højere efficiensscore, hvis omkostningerne reduceres. Det er selvfølgelig uheldigt, hvis enkelte selskaber oplever, at de kan reducere dets omkostninger og få tildelt en lavere efficiensscore. Problemets omfang bør dog eksemplificeres og kvantificeres, så man kan vurdere om det er et væsentligt problem eller ej. Hvis det viser sig at være et væsentligt problem, foreslår DANVA, at man kan benytte den samme type MOLS model, som benyttes for elnet. Her slipper man for at skulle estimere fordelingen af støj og inefficiens ved at forskyde omkostningsfunktionen med en standardafvigelse.

På trods af, at det modsatte fremgår af høringsmaterialet, så er de største incitamentsproblemer ovre i de deterministiske modeller, da Forsyningssekretariatet indtil videre har valgt at se bort fra superefficiens. Problemet her illustreres bedst med et eksempel. Selskab A har en økonomisk ramme på 110 kr. og faktiske omkostninger på 100 kr. Selskabet vil samtidig få en DEA score på 1,1, hvis selskabet ikke var med til at fastsætte fronten. Da selskabet har en DEA score på 1,1 vil selskabet kunne øge dets omkostningerne med 10% og stadig ligge på fronten med en DEA score på 1. Da Forsyningssekretariatet har valgt ikke at bruge superefficens, bliver selskabets DEA score nemlig rundet ned til 1. Selskabets effektive omkostninger vil derfor være 100*1=100 kr. og derfor får selskabet et effektiviseringspotentiale på 10 kr. Hvis selskabet derimod øger sine omkostninger med 10 kr., så vil selskabet stadig få en DEA score på 1, mens selskabets faktiske omkostninger vil være steget til 110 kr., hvilket betyder, at selskabet kun kan reducere sit effektiviseringspotentiale ved at øge omkostningerne. Dette er et meget uheldigt incitament, som kun bliver forstærket ved at skifte over til en Order-M model, da superefficiens så alt andet lige bliver mere udbredt. DANVA foreslår, at man løser dette incitamentsproblem ved at indføre superefficiens.

Spørgsmål til ovenstående kan rettes til:

Konsulent Oliver Mejlvang Pedersen, tlf. nr. 87 93 35 08, op@danva.dk

Fagleder Bertel Ifversen, tlf. nr. 87 93 35 67, mail: bi@danva.dk

Med venlig hilsen

Carl-Emil Larsen

DANVA