Google plánuje zatížení serverů podle počasí

[karelkilian]

Dobrý den,

máme tu pátek a s ním i další článek k zamyšlení a diskuzi. Tentokrát se podíváme, jak Google využívá obnovitelnou energii.

Přeji hezký den.
Karel Kilián

Google plánuje zatížení serverů podle počasí

Datová centra Googlu běží nepřetržitě 24 hodin denně, sedm dní v týdnu, přičemž po celou dobu pochopitelně spotřebovávají velké množství elektrické energie. Je tedy v zájmu jejich provozovatele, aby byla v tomto směru co nejefektivnější.

Vyhledávací gigant přišel s novou metodou, jak dosáhnout co možná nejvyššího využívání zelené energie. Jde v podstatě o jednoduchý princip: vhodné časy, kdy přejít na sluneční nebo větrnou energii, určuje prognóza meteorologické situace. Díky tomu může snížit uhlíkový dopad svých datových center bez potřeby dalšího hardwaru a bez dopadu na jejich výkon.

Jak fungovat efektivněji?

Za jeden z nedostatků obnovitelných zdrojů energie je často označována jejich nekonzistentnost. Množství vyrobené elektřiny ovlivňuje v kladném i negativním smyslu síla a rychlost větru, poloha slunce, intenzita slunečního záření a počasí v daném místě.

Podobně mohou kolísat i požadavky na dodávky elektrické energie, které primárně závisejí na vytížení výpočetních kapacit. Ve špičce je poptávka výrazně vyšší než v méně exponovaných časech. Logicky tak nastávaly situace, kdy počítače vyžadovaly více energie zrovna v době, kdy jí větrné a solární elektrárny vyráběly nejméně.

Google tedy řešil otázku, jak zajistit co možná největší efektivitu s maximálním využitím ekologicky nezávadných zdrojů. Výsledkem je systém, kdy jsou náročnější úlohy naplánovány na období, kdy bude s ohledem na počasí dostatek zelené elektřiny.

Klíčové předpovědi počasí

V praxi to samozřejmě neprobíhá tak, že by někdo z Googlu sledoval předpovědi počasí a na jejich základě počítal, kdy bude vhodné spustit náročnější úlohy. Vše běží automaticky a data poskytuje například dánská greentechová firma Tomorrow, jež analyzuje kolik a jaké energie bude v daném regionu a kdy k dispozici.

„Firmy si uvědomují, že využíváním elektřiny ve správný čas a na správném místě mohou snížit nejen náklady, ale i svou uhlíkovou stopu, “ uvedl generální ředitel Tomorrow Olivier Corradi v tiskové zprávě.

Systém funguje tak, že každý den porovnává dvě předpovědi. První (od Tomorrow) předpovídá průměrnou produkci uhlíku v místní elektrické síti, ze které datové centrum čerpá energii. Druhá (od Googlu) odhaduje, kolik elektřiny potřebují počítače datového centra ke splnění svých úkolů v tomto období.

Za běžných okolností ovlivňuje energetický mix meteorologická situace. V některých obdobích tak datová centra Googlu poháněla výhradně energie, při jejíž výrobě je (například spalováním uhlí) generován uhlík. Během příznivých podmínek byly obnovitelné zdroje schopné pokrýt více než 100 % aktuální poptávky.

Plánování úloh

Google tedy nově dělá to, že sleduje prognózu výroby elektrické energie a zohledňuje ji ve svých datových centrech. Výpočetně (a energeticky) náročné úkoly jsou plánovány do časových slotů, ve kterých bude k dispozici nejvíce zelené elektřiny.

Zjednodušeně řečeno: pokud je k dispozici pouze nebo převážně drahá, respektive „nečistá“ elektřina, řeší servery jen běžné úlohy, jako je zpracování pošty a servírování obsahu. Když je v síti zelená energie, pustí se stroje například do dekódování videí, aplikování grafických filtrů na fotky či strojového učení. V podstatě je to stejné, jako když používáte energeticky náročnější spotřebiče v době „levnějšího proudu“.

V současné době systém funguje v největších datových centrech, ovšem jen na lokální úrovni. V budoucnu Google hodlá přesouvat úkoly mezi různými datovými centry, aby co možná nejlépe využil lokálně dostupnou čistou energii.

Celý systém působí vcelku logickým a smysluplným dojmem a jistě ho můžeme označit jako chytrý a intuitivní. Je velmi pravděpodobné, že povede k úsporám hned v několika směrech, avšak samotný Google nebyl v tomto směru nijak konkrétní. V tiskovém prohlášení uvedl pouze to, že: „Výsledky pilotního provozu naznačují, že přesunutím výpočetních úloh můžeme zvýšit množství spotřebované energie s nižšími emisemi uhlíku.“

Na výsledky musíme počkat

Redaktor serveru TechCrunch Devin Coldewey se snažil zjistit další podrobnosti, proto se krátce po zveřejnění tiskové zprávy obrátil na vedoucí projektu Anu Radovanovic. Zjistil, že vyhledávací gigant na toto téma připravuje komplexní vědeckou studii, ve které vyhodnotí všechny údaje.

Radovanovic potvrdila, že v rané fázi jsou výsledky sice slibné, avšak firma zatím nechce publikovat žádné konkrétní hodnoty. Do konce roku by však měla být zveřejněna vědecká práce, která bude obsahovat podrobný přehled metodiky řazení zatížení a zjištěných výsledků.

Dále uvedla: „To, jak jedno zařízení datového centra nebo celá flotila může zvýšit využití obnovitelné energie, závisí na řadě proměnných. Než začneme sdílet konkrétní čísla, ponecháme si čas na provedení dalších analýz.“

Myslíte, že jde Google s tímto nápadem správnou cestou?

Zdroje: techcrunch.com, blog.google, engadget.com.

[unicast]

Prakticky realizovatelné je to tak leda u záloh a pak u některých menších úloh (rotování logů, čistky ve /tmp apod.) a to si ještě musíme být jisti, že zrovna v tu dobu nebudeme potřebovat valnou část výkonu těch systémů.

Přesouvání úkolů mezi datovými centry bude u většiny on-line úloh znamenat zvýšení latencí a tedy zhoršení uživatelské zkušenosti se službou. Navíc je to použitelné právě jen u nadnárodních gigantů. Nicméně některé offline firmy se tím inspirovat mohou, například solární minipivovar může navařit v době, kdy má dost výkonu. U pekáren to bude obtížnější.

[youda]

Unicast,

u klasického IT je to fakt nepoužitelné, přesně jak píšeš.

U služeb Google, Youtube, Amazon, eBay (ale i u mnoha dalších firem) to však smysl dává, neboť obrovskou část zatížení netvoří uživatelské requesty, ale analytika typu OLAP, Hadoop, HPC či nově trénink AI algoritmů. To jsou přesně ty úlohy, kterých má běžná firma zatím opravdu jen minimum.

[redcrown]

Souhlas Youda, jen je k zamyšlení, jestli se těmto gigantům nevyplatí využít 100% kapacity i na úkor špinavé nebo dražší energie. Dost často se využívá 100% kapacita strojního času i na úkor nižší efektivity. Pokud je ale zisková, tak spousta "továrníků" má jasno. Pokud 100% nepotřebuji, tak samozřejmě můžu plánovat a špekulovat. U AI algoritmů bude ale strojního času pořád málo.

[youda]

JJ, je to tak - musí se vybalancovat to, že pořízení HW něco stálo a nemá smysl, aby ten HW ležel ladem jen proto, že je zrovna trošku dražší elektrika. Tím spíše to platí u specializovaného HW, který zastarává nejrychleji, jako například GPU na CUDA výpočty. To si ale každá mega-firma musí spočítat sama. A věřím, že zrovna tyhle si to spočítat dokážou

U toho AI je potřeba oddělit dvě věci: trénování a nasazení do praxe. Po nasazení do praxe už AI algoritmy opravdu nejsou nijak extrémně náročné (většinou běží s podporou běžného grafického akcelerátoru, nebo nějakého consumer-grade čipu). Ovšem trénování AI (deep learning) je extrémně náročné a dnes už se ani nedělá na Intelech, ale typicky na kartách nVidia Ampere, dříve na Volta. Když se taková mašina nacpaná těmahle bestiema rozběhne, tak to žere jako tank.

... z čehož zpět opět plyne, že pro normální firmu, která má dva nebo tři racky obyčejných serverů, nedává řízení spotřeby vůbec smysl. Po většinu času ta CPUčka v serverech stejně běží na 20-30%. Kde se ušetřit dá, je třeba přechod na Fresh-Air-Cooling, adiabatické chlazení a podobně. CZ firmy k tomu ale ještě nedospěly, prostě tam narvou klimošku, nastaví 18°C a kašlou na to.

[ota]

Z korporátu jsem jako faciliťák zvyklý že v jedné místnosti se klimoškou chladí IT, ve druhé se klimoškou lidem topí.
Dokud bude elektřina levná, nikoho to nezajímá protože je to zlomek nákladů firmy.

[Kostěj]

Myslíte, že jde Google s tímto nápadem správnou cestou?

Dobře ví, co dělají. Je to PR. Pokud ty servery budou vypínat, za půl roku je vyhodí. Pokud je přepnou do úsporného módu, zas tolik to neušetří. A jak tu zaznělo: I když to nepočítá, amortizace serveru a cena za místo na sále běží stejně. Ale vecpat lidem do hlavy "Hleďme jak je Google ohleduplný k životnímu prostředí, jsou tam ale šikulové", to za tu trochu blbnutí stojí.