Vypadok 12.2.2023 a strata dat?

[dusanmsk]

Cau, ten vcerajsi vypadok, to bol nejaky crash a obnova zo zalohy? Zmizlo mi x pripsevkov a odpovedi od 2.2 do soboty 11.2 v https://forum.mypower.cz/viewtopic.php? ... &start=220.

[bokser01]

Vypadá to že bylo forum obnoveno s týdenní zálohy, chybí vše za posledních 7 dní. Hlavně, že už funguje forum.

[Matess]

všiml jsem si že nejel ani web ostrovní elektrárny. To vypadá že admin měl špatný den. Obecně se nezlobím za to že jsme přišly o týden dat. Chápu že rozpočet je malý a i tak s obnovou po průseru je spousta práce - co mě ale mrzí je nulová informovanost...

[Kostěj]

...co mě ale mrzí je nulová informovanost...

V tomhle admina plně chápu, v takových případech se prostě instinktivně napravují škody. Informace pro uživatele přijde na řadu jako poslední. Ono to většinou ani není kam napsat, když web neběží. Pro admina: Díky a držím palce!

[cipis]

Kdyz web jel, hláska tam byla. Jinak neni kam hlasku dat. Nemame zalozni kanaly, zadnou fb skupinu, twitter, nic neni. Ani telefony a maily na sebe, coz by bylo stejne nemozne, jednotlive vypisovat.
Jak pise kodl, prvne se bojuje, pak se lizou rany.

[Matess]

no vidíte a moje zkušenost je přesně opačná. V první řadě je potřeba uklidnit zákazníky / uživatele a potom mohu v klidu opravovat a nepracovat pod takovým stresem.

Neříkám že je třeba zřizovat alternativní komunikační kanál, ale aby sem admin / moderátor hodil zprávu po té co (se) web rozjede "došlo k závadě na technice a aktuálně pracujeme na nápravě, detaily přidám jak budou práce hotovy" a může pracovat na opravě ostatních služeb. Takhle jen vím že web nejel a nevíme jestli to byla náhoda, migrace, selhání techniky, selhání poskytovatele (což asi ne když chybí data) a musíme si to tady psát mezi sebou a tipovat co se stalo.

Určitě nechci jen kopat a jak říkám vím dobře kolik je s tím práce a děkuji za to že ji dělá, ale komunikace je zásadní... bez komunikace není důvěra.

[cipis]

To tam ale bylo, celou dobu, co jel web, tak byla hláška, že jsme se stali obětí ransomware útoku a že se na obnově pracuje.

[Matess]

tak to jsem asi bohužel neviděl... měl jsem toho minulé dny / týdny moc a přišel jsem až do nefunkčního a po víkendu funkčního bez žádného infa.

[TomHC]

Je to komunitné fórum, takže sa s nami netreba mazať ako s koncovým zákazníkom, ale nejaké info hoci aj do tejto témy by bolo fajn.

Dúfam, že sa aj návštevníci z toho poučia a budú zálohovať svoje dáta.

[cipis]

Jak jsem psal, jak není jiný/záložní komunikační kanál, tak není jak dát vědět.
Pokud aktuálně nejede ani web server, tak se nic nezobrazí.
V čase, kdy aspoň něco jelo, tak byla uvedená hláška na webu.

Mrzí ztracené příspěvky, to ano, ale není to životně důležité, tak jsem aspoň udělal něco na reko bytě, místo ustavičného čučení do fóra

[Matess]

a co to třeba připnout na novinky? Není to ideální místo jak informovat?

[soami]

Když nejde web, nejdou ani novinky. Nechápu, co furt řešíš.

[rottenkiwi]

Odkedy zacala vojna, toto sa mi deje pravidelne, obnovim Virtual stroj zo zalohy
a idem dalej, ze sa strati par prispevkov ? Co spadne svet ?
Ked niekde prispievam, pisem si prispevok v Plume, Geany, Gedit-e,
tak mam vsetky prispevky doma a aj vsetky fotky mam doma,
aj vsetky videa mam doma, ak spadne YT, vytvorim si vlastnu stranku
s videami a jpg a png a gif a idem dalej z vlastnej elektriny.

[Dagus]

Mě to bylo fuk a jen jsem to zkusil od druhého poskytovatele, jestli není problém v ISP a pak jen jednou za čas zkusil znovu. Druhý kanál šlo by použít třeba solarforum věřím, že by to tam nikdo nesmazal a i bych to tam našel. Ale u fóra o nic nejde. Pokud bych měl rozjetý příspěvek, tak bych začal znovu a no stress, je to furt jen fórum, ne gdrive.

[lzahradil]

Výpadek 12.2.2023
Asi každý, kdo na fóru je, zjistil že se „něco“ 12.2.2023 v brzkých ranních hodinách odehrálo a poté následoval výpadek.

Příčinou problému byl ransomware.

„Ransomware je malware, který vám zašifruje soubory nebo vám znemožní používat počítač, dokud nezaplatíte výkupné. Pokud je počítač připojený k síti, ransomware se taky může rozšířit do dalších počítačů a úložišť v síti.“

A přesně jak ransomware popisuje Google, tak se i stalo.

Mám v provozu několik fyzických serverů, některé běží v rámci jedné serverovny, další zase v jiné geograficky oddělené lokalitě s jinou konektivitou aby se dal zajistit bezproblémový provoz. Na každém serveru běží prostředí VMware a jednotlivé projekty nebo jejich části jsou zprovozněné jako virtuální servery v rámci onoho fyzického stroje.

Kdo virtualizuje, ví, co to přináší za benefity.
Funguje replikace mezi servery na vmware vrstvě a zároveň je na každém serveru virtuální linux stroj který se stará o rdiff a rsync zálohování ostatních strojů. V případě problému by tak díky replikaci nebyl problém bleskově obnovit provoz.

Jenže.

Každý fyzický server byl napojen do centrálního vmware vcenter rozhraní. Takový monitoring, kde se dají ovládat jednotlivé servery z jednoho místa. Některé servery, obzvláště ty zálohovací nebyly ani dostupné v internetu. Existovalo tam pouze interní LAN rozhraní s přístupem na jednotlivé servery.

Ransomware přišel právě z toho centrálního rozhraní. Nezašifroval data uvnitř virtuálních strojů, k datům se ani nijak nedostal.
Byl zašifrován rovnou celý virtuální stroj.

A ať jsem paranoidně posedlý zálohováním jak chci, že ženu data do několika míst současně, v tomhle případě to bylo houby platné.
V jednom okamžiku spadl každý virtuální server a díky centrální správě to samé na všech serverech najednou!!.

ANO, BYL ZAŠIFROVÁN I HLAVNÍ ZÁLOHOVACÍ včetně těch kde by se cokoli k obnově dalo najít. Prostě VŠE.

Mypower dopadlo ještě dobře.
Na tom jsem aktivně dělal a měl jsem úplnou náhodou vytvořenou zálohu na jednom fyzickém stroji k 5.2.2023 a ten byl v době útoku zcela vypnutý.

Nebýt jí, nemáme nic, nebo dosti staré.

Někoho by napadlo, když už byl výpadek, že by se dala v klidu nasadit nová verze fóra.
Psal jsem, že se už dokončují jen detaily a jinak vypadá funkčně.

ALE.

Já jsem fungoval stylem RDP (Vzdálená plocha).
Tzn na serveru mi běžela instance windows a linux a pak jsem se notebookem či jiným RDP klientem připojoval tam kam jsem zrovna potřeboval. Veškeré potřebné data jsem měl tak k dispozici ať jsem byl kdekoliv.

Pozornější si všimnou… „tzn na serveru mi běžela…“ Já si to asi půjdu hodit.

ANO, přišel jsem komplet o vše. Nemám nic. Veškerá práce nejen zde pro mypower je v pr…

Ale mypower běží, sice se vrátilo o pár dnů „zpátky do minulosti“.
Kdo napsal na fórum nějakou blbost, tímto dostal možnost si svůj příspěvek napsat znovu a tak jak by chtěl..

Dal jsem si 2 dny v kuse bez spánku, vypadal jsem pak jak zombie.
Začínám se smiřovat se ztrátou, na nadávky svých zákazníků, kteří u mě měli doteď spokojeně svá data už jsem si zvykl.

Bohužel s tím už nic neudělám. Je to jak když rusko pošle raketu na ukrajinu. Zasáhnou cíl a je konec.

Originál zašifrované data stále jsou.
Nebyl jsem sám, ten den se začalo i na stránkách přímo vmware ukazovat info o útoku.
Na internetu se začínají ukazovat různé návody které data dešifrují. Je ale více mutací a na tu moji zatím žádný nejde.

Bude to snad jen nějaká blbost. Aktivita serveru v době útoku nijak nevyrostla a šifrování/přepis např 100GB souboru který odpovídá velikosti disku virtuálního stroje by musel trvat nějakou dobu.
Budu se snažit dále data získat.
Zde na fóru mimo několika příspěvků za těch pár dnů nechybí nic.

Některé servery mělo obohacené vmware html UI o tento text.

Veškeré šifrované soubory jsou obohacené na konci o koncovku .iFire a v každé složce je umístěn soubor iFire-readme.txt který obsahuje

Kód: Vybrat vše

cat iFire-readme.txt
********************Your network has been infected!!!********************

IMPORTANT : DO NOT DELETE THIS FILE UNTIL ALL YOUR DATA HAVE BEEN RECOVERED!!!

All your important files have been encrypted. Any attempts to restore your files with thrid-party software will be fatal for your files! Restore your data posible only buying private key from us. We have also downloaded a lot of private data from your network. If you do not contact us in a 5 days, we will post information about your breach on our public news webs.

You should get more information on our page, which is located in a Tor hidden network.
1.Download Tor browser - https://www.torproject.org/
2.Install Tor browser
3.Open link in Tor browser : nxx3cy6klj9ae2s5ejbj47cv6xuak3bgncllqd.onion
4.Follow the instructions on this page

Your account on our website
*************************************************************************
username:       Sm$6ngcGP|
password:       ns-ZLhj8hD4b{j@

ATTENTION:
1.Do not try to recover files yourself, this process can damage your data and recovery will become impossible.
2.Do not waste time trying to find the solution on the internet. The longer you wait, the higher will become the decryption key price.
3.Tor Browser may be blocked in your country or corporate network. Use Tor Browser over VPN.

Lidi, i když si myslíte že je vaše řešení nenapadnutelné.

Vymyslete ještě další, zcela nezávislé a zálohujte.

Zálohujte ideálně i na stroje které budete vypínat a spouštět jen na dobu zálohování.

Nespoléhejte na velká řešení, které vypadají, že by tam žádný problém být nemohl.

Nikdy by mě nenapadlo že mi to složí najednou několik serverů které jsou i úplně jinde.

[glottis]

Můžu se zeptat jak jsi řešil zálohy? Z profesní zvědavosti.

[lzahradil]

Můžu se zeptat jak jsi řešil zálohy? Z profesní zvědavosti.

Jak jsem psal. Zálohování bylo řešeno dvojím způsobem.
1. cetrálně v rámci vmware
2. v rámci jednotlivých linux virtuálních strojů. Kde mimo jiné běžela ještě další replikace dat pomocí rsync a u mysql v master - multi slave rezimu. a z těch se rozkopírovávalo na další stroje různě aby bylo vždy to samé v úplně jiné lokalitě.

Obojí mělo jak teď už vím chybu. Problém přišel na samotné datastore VMFS úložiště kam se ukládají jak data v rámci zálohování dle bodu 1, tak jsou tam data celých virtuálních strojů pracující se zálohováním dle bodu 2.

Profesně jsme vyhořeli

[Ronn]

... Nikdy by mě nenapadlo že mi to složí najednou několik serverů které jsou i úplně jinde.

Velký respekt za to nasazení a obnovu. Tyto útoky řeším se zákazníky pravidelně. Nejdůležitější je zjistit vektor útoku (RDP?), aby jsi cestu mohl zavřít a druhak je potřeba zálohovat ze storage vrstvy, nikoliv z OS vrstvy, kde se typicky udržuje network path (SMB)

[jahodovák]

Tady je vidět,že ne vše jde zcela ve virtuálním světě dokonale ochránit a mužu jenom poděkovat adminům za jejich práci že se jim vcelku ve slušném čase povedlo zase vše zprovoznit.Ta prodleva mě nijak nevadila,naopak ukázala,že někdy je lepší používat i jiné řešení a pokud možno pravidelně zálohovat.Dá se jen očekávat že v dnešním světě který se snaží vše přesunout jen do digitální podoby se bude těhto věcí dít stále víc ,pokud to nenavrhne někdo,kdo bude chytřejší než protistrana.Navíc nikdo nemůže vědět,zda řešení nemá nějaká skrytá zadní vrátka.Nemyslím si,že je to tento případ.Přeji nám všem aby těhto událostí bylo co nejméně a vyhnulo se nám to obloukem,dík adminům za jejich práci.

[glottis]

Můžu se zeptat jak jsi řešil zálohy? Z profesní zvědavosti.

Jak jsem psal. Zálohování bylo řešeno dvojím způsobem.
1. cetrálně v rámci vmware
2. v rámci jednotlivých linux virtuálních strojů. Kde mimo jiné běžela ještě další replikace dat pomocí rsync a u mysql v master - multi slave rezimu. a z těch se rozkopírovávalo na další stroje různě aby bylo vždy to samé v úplně jiné lokalitě.

Obojí mělo jak teď už vím chybu. Problém přišel na samotné datastore VMFS úložiště kam se ukládají jak data v rámci zálohování dle bodu 1, tak jsou tam data celých virtuálních strojů pracující se zálohováním dle bodu 2.

Profesně jsme vyhořeli

Je to jak píše ronn níž. Chce to zálohovat úplně mimo. Když už zálohy na VMware tak spojit třeba se snapshoty na datovém poli. Na zálohy na VMware jsme používali veam. Zalohovalo se na úplně jiný svazek na jiném poli a veam ideálně mimo cluster. Měli jsme VMware a ovirt a něco se dělalo krizem. a opět ideálně snapshoty po záloze.

Si jsem přehlédl jak jste měli to RDP ale jestli nebylo za VPN a firewallem tak to je zkratka do pekla.

Jahodovák: jde to udělat ale někdy to stojí víc peněz než se lidem líbí. Pak přijde tenhle průser a lidí by dali cokoliv aby ty prachy dřív dali.

Řešili jsme pár firem co takhle lehlo. Ve všech případech obrovské ztráty. Bohužel co se jim nevnutilo a neudělalo dokud se ještě klepali už se neudělalo, protože lidský mozek má nějak tendenci zapomínat. Hlavně na manažerských postech. Nedej bože aby se to dotklo pohodlí babky v účtárně

Jinak přeju pevný nervy, vydržet, poučit se, nezapominat