Resultaten

Geen resultaten

We hebben niet gevonden wat je zoekt. Probeer een ander woord.

Ondernemen

Viagroep

Onderwijzen

Viagroep

Onderzoeken

Viagroep

Why Large Projects Fail

8 April 2014 onderzoeken


http://www.chaostuesday.com/index.php?r=podcast/view&id=44

Hans Mulder, Patrick Thibodeau and Frans Verstreken are our special guests. Hans is our Holland partner and Professor at Antwerp Management School. Patrick is a reporter with ComputerWorld covering project disasters. Frans is a graduate student working with Hans Mulder on project failures. All three relate projects to a. NPAC (see below and http://blog.standishgroup.com/BigBangBoom.pdf), b. the IRS,  the U.S. government agency responsible for tax collection and tax law enforcement,  c. the Dutch police force, d. the Dutch energy industry (see below) and e. Healthcare.gov.

NPAC

In this research report we compare a proposed project to start up a new Number Portability Administration Center (NPAC) to other large projects within the CHAOS database. The NPAC provides a vital service to the public by allowing telephone and mobile users to keep their telephone numbers when changing carriers or locations. 

A new NPAC will require delivery of the software and all the other services and operations to be done in a Big Bang, since stakeholders will expect and demand the same functionality and level of service. This report contains excerpts from other Standish research studies that support this appraisal. The Standish Group found that a proposed new NPAC vendor and environment would have many similarities to large telecom systems such as size, complexity, number of diverse stakeholders, many connected subsystems, need for intense testing, and a hard completion date, also known as a “Big Bang.”

The Standish Group benchmarking shows that a project to recreate the current Number Portability Administration Center (NPAC) Service would be measured against the largest projects within the CHAOS database. In general, this segment has the highest rate of failure of all projects, with just a 6% chance the project will come in on time and within budget.

While size is an important factor in calculating the chances of success, there are 25 other project attributes that form the project profile. Complexity is the second most important factor. There are a dozen attributes that contribute to complexity, including the number of stakeholders. Type of development is another major factor in calculating the chances of success, and includes methodologies, staff skills, tools, and delivery. Delivery is key here, since a new service vendor will not
have the ability to phase in functionality and services, but rather would require a “Big Bang” delivery. Industry is the fourth major factor, which also includes environmental considerations. The last major factor is the application, and here we measure similar types of applications. These four additional factors of success – complexity, type of development, industry, and application – modify the likelihood of an on-time delivery from 6% down to 4%.

The Dutch energy industry
Het analyseren van afgesloten of afgebroken ICT-projecten is een nuttige zaak, vandaar een ‘cold case’-analyse van het NUMIS-project, dat vanaf de start in 1991 gedoemd was te mislukken. De faalfactoren die inmiddels overbekend zijn, waren toen al van toepassing. 

In 1991 sloot Multihouse NV met een aantal nutsbedrijven, verenigd in het samenwer- kingsverband SWV NUMIS-2000 (SWV) een overeenkomst over het ontwikkelen en leveren van informatiesysteem voor de ondersteuning van hun bedrijfsprocessen. NUMIS staat voor NUtsbedrijven Management InformatieSysteem. Multihouse kwam voort uit een fusie in 1986 tussen Minihouse en MultiFunction. Beide bedrijven waren systeemhuizen, die standaard software ontwikkelden op minicomputers van Digital Equipment Corporation (DEC). De sys-teemhuizen waren destijds kort genoteerd op de effectenbeurs in Amsterdam. Banken en beurs- analisten vonden dat een fusie voor de hand lag. Het SWV bestond uit een aantal nutsbedrijven (EDON, PNEM, Frigem, Obragas, Nutsbedrijf Amstelland, Intergas, Nutsbedrijven Maastricht) die gezamenlijk optrokken om een informatiesysteem te laten ontwikkelen dat bij alle aangesloten nutsbedrijven toepasbaar zou moeten zijn.

Grootste opdracht
Voor Multihouse was dit de grootste ontwikkelingsopdracht uit zijn geschiedenis. Op basis van de aangeleverde specificaties dacht Multihouse het project te kunnen uitvoeren voor de vaste prijs van 5,7 miljoen gulden. Het systeem zou moeten kunnen draaien op ‘alle’ bekende platforms. NUMIS werd gebouwd met een eigen generator, die UNIFACE-programmatuur genereerde. Uniface zorgde voor de databaseonafhankelijkheid, de generator (Pronto) legde de functionele en technische specificaties vast en genereerde Uniface- en Perl-code. Doel-databases voor NUMIS-2000 waren Ingres, Sybase en Oracle. De ontwikkeling liep vertraging op. Multihouse behaalde enkele commerciële successen door het softwarepakket ook aan derden te verkopen, waardoor er nieuwe functionele eisen ontstonden. Maar ook aan de zijde van het SWV werden nieuwe wensen en eisen ingebracht.
Zowel Multihouse als het SWV had een projectleider benoemd. De projectleiding aan de kant van het SWV was uitbesteed aan een derde partij, die op haar beurt de projectleiding weer inhuurde. Deze partij had te maken met diverse opdrachtgevers, die het niet altijd met elkaar eens waren. Daardoor geraakte de projectleiding in een lastige situatie naar opdrachtnemer Multihouse.
De complexiteit van dit multiopdrachtgeverschap was groot en kritisch. De machtsverhoudingen waren ongelijk. De partijen binnen het SWV waren het veelal niet eens over gewenste specificities. Ontwerpen werden daardoor niet tijdig goedgekeurd of zelfs helemaal niet goedgekeurd. Bij Multihouse werkte een groot team aan de ontwikkeling en dus kon Multihouse niet altijd wachten op goedkeuring. De projectleider aan de zijde van het SWV forceerde geen goedkeuring bij de achterban en zo kwam Multihouse in de problemen.
Op de top van de activiteiten waren vijftig programmeurs ingeschakeld bij de ontwikkeling van NUMIS-2000. SWV had 3,5 miljoen gulden vooruitbetaald. Multihouse had op dat moment al meer dan 13 miljoen gulden geïnvesteerd in NUMIS-2000.2 De kosten stonden in geen verhouding meer tot de (verwachte) opbrengsten. Ook de communicatie tussen partijen verliep slecht. Multihouse wilde in 1996 tot een spoedige afronding van het project komen en het infor- matiesysteem overdragen. In het voorjaar werd het project Vlottrekken (van NUMIS) gestart met de bedoeling om in september 1996 (delen van) NUMIS op te leveren. In mei 1996 werd duidelijk dat wezenlijke onderdelen niet op tijd klaar konden zijn. Het SWV vond het ontwikkel- de informatiesysteem beneden de maat en zegde het contract medio 1996 eenzijdig op. Volgens Multihouse was de animo van het SWV om NUMIS-2000 in te voeren aanzienlijk gereduceerd. Dat zou mede te maken hebben gehad met de veranderde markt en de politieke situatie van nutsbedrijven, die als collega’s een samenwerking gestart waren en inmiddels als concurrenten aan tafel zaten. Om de medewerking van de nutsbedrijven af te dwingen, startte Multihouse een kort geding tegen het SWV. Op 4 oktober 1996 stelde de Rechtbank te Utrecht Multihouse in het gelijk. De nutsbedrijven voeg- den zich in die uitspraak, maar gingen meteen in hoger beroep. In de daaropvolgende testfase oordeelde het SWV dat NUMIS nog steeds niet voldeed en de kwaliteit te kort schoot. Multhouse had hierover een andere mening. Het achtte de kwaliteit van het informatiesysteem overeenkomstig de daarover gemaakte acceptatiecriteria.

Hoger beroep
Het hoger beroep dient bij het gerechtshof in Amsterdam. Op 8 januari 1997 vindt een zitting plaats. Naast de partijen is ook de ingestelde Commissie van Deskundigen aanwezig. Deze zegt nog korte tijd nodig te hebben om haar rapport af te maken. De rechter vraagt partijen of zij dit rapport willen afwachten. Mede op advies van zijn advocaat besluit Multihouse daarop niet te willen wachten en verzoekt het de rechters vonnis te wijzen. Op 5 februari 1997 is het rapport van de Commissie van Deskundigen gereed. De deskundigen doen een voorstel voor een redelijke en billijke oplossing, waarmee beide partijen akkoord hadden willen gaan. Maar dan is het al te laat, want op 6 februari 1997 vernietigt het Gerechtshof het eerdere vonnis van de Rechtbank Utrecht. Het vonnis van het Hof houdt in dat het SWV wel degelijk de overeenkomst met Multihouse mocht opzeggen. Multihouse denkt op dat moment dat er een claim van 30 miljoen gulden te wachten staat. Op 27 maart 1997 komt de claim van het SWV binnen ter grootte van 173 miljoen gulden. Het bestuur besluit zich daartegen te beschermen door surséance van betaling aan te vragen.

De afloop
Intussen is het een komen en gaan van ICT-bedrijven die zeggen belangstelling te hebben voor een overname van Multihouse, maar geen van die partijen durft door te zetten. Op de valreep neemt de directie van Multihouse contact op met de heer Sanderink van Centric, die nog niet eerder van zich had laten horen. Op 20 mei 1997 vindt de eerste bespreking plaats. De volgende dag doet Centric een bod van 70 cent per aan- deel en op 23 mei 1997 wordt het overnamecontract getekend. Waar gesprekken tussen Multihouse en het SWV onmogelijk waren, lukt het de heer Sanderink er met het SWV uit te komen. De claim van het SWV van 173 miljoen gulden wordt teruggebracht tot 5,9 miljoen gulden, die deels door de verzekering en deels uit de kas van Multihouse kan worden betaald.

Onderzoek
De Commissie van Deskundigen pleegde in het kader van het hoger beroep onderzoek naar het NUMIS-systeem. Dat was een complexe aange- legenheid, want het was moeilijk in de grote hoeveelheid documentatie te vinden wat nu precies was afgesproken, met name bij de start van het project. De commissie stelde het volgende vast:

• Het was onbekend bij beide partijen hoe complex NUMIS-2000 was, zowel bij de start als tijdens het bouwen van het systeem.
• Partijen hebben nagelaten vooraf een risi- coanalyse uit te voeren.
• Directiebetrokkenheid van het topmanage- ment van Multihouse en SWV was onvoldoende aanwezig.
• Vanwege de lange doorlooptijd van het project hadden de bouwers te maken met ‘verstoringen’, zoals fusies en gewijzigde wetgeving.
• Er was gedurende het project veel verloop van zowel topmanagers als projectmanagers.
• Het SWV was te afwachtend en leunde te veel op Multihouse. Een proactieve opstelling zou zeer gewenst zijn geweest. Die kwam er pas toen de problemen te groot waren geworden om op te lossen.

Standish analyse
De commissie kwam na uitvoerig onderzoek in 1997 met een duidelijke analyse van de problematiek van het NUMIS-project. Van deze onderzoeksresultaten is gebruik gemaakt bij onderstaande analyse. Daarbij zijn toegepast de complexiteitsmatrix en de gewogen faalfactoren van het marktonderzoeksbureau Standish International Corporation in Boston.
De projectomvang kan op verschillende manieren worden bepaald. In het CHAOS-report van 1994 gebeurde dat nog aan de hand van de hoogte van de omzet van de organisaties, die het systeem in gebruik zouden nemen. Volgens die benadering zou NUMIS in de hoogste omvangcategorie vallen. Van grote ICT-projecten bij grote ondernemingen (met een omzet van meer dan vijfhonderd miljoen dollar) was begin jaren negentig geen enkel project op tijd en volgens budget. Vanaf 2012 wordt de projectomvang bepaald door de loonkosten (inclusief ingehuurde professionals) of wanneer dit niet bekend is door het aantal medewerkers gedurende het project. Ook bij deze benadering valt NUMIS in de hoogste omvangcategorie, gezien de investeringen van Multihouse en de kosten van het SWV. Normaliter zijn de loonkosten van de opdrachtgever tweemaal zo groot. De hoogte van de claim van het SWV ondersteunt deze aanname. De bepaling van de complexiteitscategorie vindt plaats door de antwoorden op een aantal kernvragen. Wanneer het antwoord ontkennend is, is de score nul. Een bevestigend antwoord levert een score met een door Standish in de praktijk gevonden weging:

Complexiteitsvragen voor NUMIS
1. Standaard complexiteit 
2. Gaat het (voor de bouwers) om een compleet nieuwe toepassing? 
3. Heeft/hebben de gebruikende organisatie(s) verschillende doelstellingen?  
4. Zitten de specialisten op één lijn? 
5. Is er sprake van tegenwerkende stakeholders?

Het NUMIS-project scoort hier boven het maximum, zodat wordt uitgegaan van de hoogste complexiteitscategorie. Gecombineerd met de projectomvang krijgt het NUMIS-project het complexiteitsgetal 1000. De kans op succes van een dergelijk ICT-project in de gegeven periode is buitengewoon gering. Voor deze categorie ICT-projecten vonden meer dan negentig procent ‘restarts’ plaats. Meer dan vijftig procent van deze complexe projecten mislukte. Bij de projecten die wel hebben geleid tot de invoering van een informatiesysteem was sprake van verveelvoudiging van kosten en doorlooptijd en van meer dan veertig procent niet-ontwikkelde functionaliteit. Een goed bestuur en uitmuntende aanpak hadden wellicht een oplossing kunnen zijn om de bekende faalfactoren te omzeilen. Toegepast op het NUMIS-project blijkt dat hiervan echter geen sprake was.
Niet alle faalfactoren konden onderzocht worden. De eerste drie faalfactoren vormen in de praktijk vijftig procent ‘van de ellende’. Deze faalfactoren speelden in het NUMIS-project in optima forma. Anno 2013 speelt faalfactor 'Tools en Infrastructuur' geen grote rol meer (twee procent), maar ten tijde van het NUMIS-project lag dat anders. De verplichting om de NUMIS-programmatuur op te leveren op alle bekende platforms in een tijd waarin het besturingssysteem Windows op de markt kwam, moet voor extra problemen hebben gezorgd, net als de eigen nieuwe technologie van Multihouse voor het ontwikkelen van programmatuur.

Onze ‘cold case’-conclusie luidt dat het NUMIS-project - met de statistische kennis van vandaag - vanaf de start in 1991 kansloos was. Beide partijen ontbrak het aan een complexiteitsanalyses zowel vooraf als tijdens het project. De faalfactoren die zich vaak voordoen in dit type ICT-projecten, waren ook op het NUMIS-project van toepassing bij beide partijen. Over de schuldvraag heeft de rechter zich uitgesproken. Die achtte één partij aansprakelijk: Multihouse. De les uit deze cold case is duidelijk. Voer een complexiteitsanalyse (complexiteitsmatrix en faalfactoren) uit vóór de start van een ICT-project, herhaal dit bij wijze van ‘health checks’ tijdens het project, en onderneem adequate acties op basis van de uitslag.

Why Large Projects Fail
Tags Deel

VIAgroep

Venture Informatisering Adviesgroep NV, kortweg VIAgroep is gevestigd in Rijswijk en ingeschreven in het handelsregister Haaglanden onder nummer 164.764.

Hans Mulder in 60 seconden.

Hans Mulder in 60 seconden.

JW Player goes here

twitter feed

In Chaos We Trust https://t.co/j0oqDvVqTV
23 december Ondernemerspanel: of het helpt om topmannen veel te betalen? https://t.co/Wan5RqBKy5
SJSU joins DEMO community https://t.co/XjCltFbFx0
Developed by U-Lab