Facebook: Downtime was te wijten aan configuratiefout backbone-routers

De urenlange downtime die Facebook en zijn diensten maandagavond ondervonden, was te wijten aan een verandering in de backbone-routers voor zijn datacenters. Er waren al aanwijzingen dat de oorzaak een BGP-update van Facebook was.

Facebook gaf geen details over de configuratiewijzigingen die tot de grootschalige problemen hebben geleid. Wel meldt het bedrijf dat door de storing een sneeuwbaleffect is ontstaan waardoor de dienstverlening van het bedrijf onbereikbaar is geworden. "De hoofdoorzaak van de storing had ook gevolgen voor veel van de interne tools en systemen die we in ons dagelijkse werk gebruiken, waardoor het moeilijk is om het probleem snel te diagnosticeren en op te lossen" , meldt het bedrijf . Facebook biedt gebruikers excuses aan.

Het rapport bevestigt rapporten die kort na de downtime van maandag online verschenen, inclusief van een Reddit-gebruiker genaamd Ramenporn, waarvan wordt aangenomen dat hij samenwerkt met het team dat de verstoring onderzoekt. In berichten die sindsdien zijn verwijderd , beweerde hij dat de oorzaak een configuratiewijziging was die verband hield met BGP-peering.

Hierdoor zouden de Facebook-netwerken onbereikbaar worden via de routeringstabellen en zouden de beheerders niet langer op afstand toegang kunnen krijgen tot de routers om het probleem op te lossen. Systeembeheerders moesten daarom fysiek bij de routers komen om wijzigingen aan te brengen, maar ze zouden niet over de juiste kennis beschikken om dat te doen, omdat het gebrek aan communicatie kennisoverdracht bemoeilijkt.Volgens een redacteur van de New York Times zou een bijkomend obstakel zijn dat medewerkers de datacenters niet kunnen betreden omdat hun badges niet meer werken.

Facebook past BGP op zijn eigen manier op grote schaal toe in zijn datacenternetwerken, hebben de ingenieurs van het bedrijf eerder beschreven in een paper met de titel Running BGP in Data Centers at Scale . De technici van Facebook stellen dat ze hierdoor onder meer 'fast incremental updates' kunnen doorvoeren.

Cloudflare legt in een analyse uit dat Facebook inderdaad BGP-updates naar zijn netwerken pushte voorafgaand aan de problemen. BGP staat voor Border Gateway Protocol en is het protocol dat de netwerkcommunicatie tussen netwerken van Autonomous Systems regelt. Via BGP adverteren netwerken zichzelf met prefixen op internet, zodat ze bereikbaar zijn met routeringstabellen. Met de update van zijn backbone-routers stopte Facebook met het aankondigen van zichzelf, waardoor netwerken over de hele wereld niet meer reageerden op DNS-query's met betrekking tot Facebook en zijn services. Dit leidde op zijn beurt tot verdere problemen, aangezien klanten over de hele wereld toegang bleven houden tot de naamservers van Facebook, wat resulteerde in een stortvloed aan DNS-verkeer, waardoor DNS-resolvers zouden kunnen overbelasten. Ook het verkeer naar andere diensten, zoals Twitter, nam toe. De storing duurde ongeveer zes uur.