Brytare fel var ursprungliga orsaken Salesforce sin tjänst

Salesforce sa att det har spårat orsaken till en databas fel som störde tjänster över hela USA i förra veckan: den ursprungliga orsaken till störningen var en brytare fel på bolagets Washington D.C. datacenter som sedan kombineras med en firmware bugg.

Avbrottet inträffade förra veckan och lämnade några Salesforces USA klienter inte kan få tillgång till tjänster för över en dag. Händelsen uppmanas VD Marc Benioff att gå in och personligen be om ursäkt till missnöjda kunder via Twitter.

Men nu, på hjälpsidan, Salesforce har utfärdat en ursäkt för de störningar och har flyttat till lugna kunder att om en liknande händelse skulle inträffa i framtiden, skulle störningar lösas mycket snabbare.

Den grundläggande orsaken till problemet var att en brytare som ansvarar för att styra strömmen till Washington datacenter misslyckades den 9 maj.

Salesforce produktstrategi Dag 2016: Nyckel meddelanden, Salesforce förstärker Service Cloud med en ny produkt för fältarbetare, gruvarbetare CIO Mirza Chughtai på cloud computing, Salesforce, integration

“De brytare används för att driva segment från datacentret universellt nätaggregat ringen och rikta kraften i de olika rummen. Detta misslyckades ombord orsakade en del av eldistributionen att ange ett fel. Felet skapade en osäker effektförhållande, vilket ledde till en redundant brytare stänger inte att aktivera backup foder eftersom det elektroniska brytaren inte kunde bekräfta tillståndet i problemet ombord, “företaget sade.

Detta var bara början – i ett försök att återställa tjänsten till NA14 instans så snabbt som möjligt, laget sedan flyttade den från dess primära datacenter (Washington) till dess sekundära datacenter i Chicago. Men timmar efter detta gjordes tekniken laget “, konstaterade en försämring i prestanda på NA14 instans” vilket innebar kunder på NA14 inte kunde få tillgång till Salesforce service. Företaget sade att detta andra problem orsakades av en firmware bugg på lagringsarray, vilket avsevärt ökar tiden för databasen för att skriva till uppsättningen.

Eftersom tiden för att skriva till lagringsfältet ökat, började databasen att uppleva timeout villkor när du skriver till lagringsskiktet. När dessa timeout förhållanden började en enda databas skriv var oförmögen att framgångsrikt slutföra, vilket orsakade filen diskrepans villkoret att bli närvarande i databasen. När denna diskrepans inträffade, misslyckades databasen klustret och kunde inte återstartas.

Alla funktioner återställdes till NA14 instans, inklusive sandlåda kopiera och vecko export funktionalitet, den 15 maj.

Trots en pågående utredning, är det ännu inte klart vad uppkomsten av trasiga brytaren var och Salesforce är angelägen om att påpeka att den felaktiga delen i fråga passerade lasttestning så sent som i mars 2016. Salesforce arbetar med sin leverantör för att avgöra vad som orsakade breaker misslyckande.

I efterdyningarna av misslyckandet har Salesforce ersatt de felaktiga komponenter på dess Washington datacenter och är i färd med att genomföra en fullständig revision av kraft- och failover system för att säkerställa kraftdistribution failover kommer korrekt svara i händelse av liknande brister i framtida.

Datacenter, IBM lanserar nya Linux, Power8, OpenPower system, Cloud, Michael Dell på balans EMC affären: “Vi kan tänka på årtionden, datacenter, Dell Technologies lyfter: Här är vad man ska titta på när Dell, EMC, en uppsjö av företag företag kombinera, artificiell intelligens, Nvidia erbjuder upp AI superdator för ideell forskning

“Utredning fortsätter tillsammans med våra databasleverantören att fastställa orsaken till filen avvikelser i databasen när det stötte timeout villkor skriver till lagringsskiktet. Från denna undersökning, kommer korrigerande åtgärder att fastställas och genomföras”, säger Salesforce.

“Vi ber om ursäkt för den påverkan denna händelse orsakade dig och din organisation.” företaget sattes.

Sales

IBM lanserar nya Linux, Power8, OpenPower system

Michael Dell på balans EMC affären: “Vi kan tänka på årtionden”

Dell Technologies lyfter: Här är vad man ska titta på när Dell, EMC, en uppsjö av företag företag kombinerar

Nvidia erbjuder upp AI superdator för ideell forskning