Už jste někdy měnili základní desku v serveru? Ano, i tohle musíme někdy zajet do datacentra udělat.

V našem Node1 se začal chovat podivně SAS řadič, kterým připojujeme část disků. Disky připojené přes tento externí čip (není součástí čipsetu) měly podivně vysokou latenci. Objednali jsme proto novou desku s novější revizí a o víkendu v noci jsme vyrazili do pražského datacentra základní desku vyměnit.

V první chvíli nás překvapily jinak naskládané SATA porty na desce. Museli jsme tedy přesunout část kabelů, což mělo za následek jiné pořadí detekce disků v systému. Naštěstí to ZFS vůbec nevadí a pole se rozběhlo bez problémů. Kdybychom ale používali ZFS verze 0.6.2 a starší, měli bychom problém. Tam bylo potřeba divoce symlinkovat.

Po prvním startu serveru s novou deskou nás překvapil status kód BIOSu „B7“, který zůstal svítit v pravém dolním rohu. Google ale odhalil, že je to hláška AMI BIOSu, že je něco špatně s RAM. Byli jsme si jisti, že je problém s CPU0 a museli jsme proto paměti dvakrát přeskládat, než se vše podařilo rozběhnout bez chyby. Naše prsty to odnesly, byli jsme oba pěkně dořezaní.

Výměna desky skutečně pomohla, předtím bylo svctime disků v iostatu velmi vysoké, po výměně zůstal vysoký jen atime (access time). Parametr svctime ukazuje čas, za který disk vybaví požadavek, když ho na něj kernel odešle. Proti tomu atime je čas, po který požadavek čeká čas kompletně i ve frontě na disk v kernelu.

Problém se tedy vyřešil jen částečně, z výsledků je vidět, že dva disky na externím řadiči ZFS přetěžuje a dostávají větší zátěž než ostatní. Pole je tak nevyvážené a bude potřeba ho ještě přeinstalovat na čisto. Postupně tedy budeme muset udělat migraci na Node12, přeinstalaci a návrat. Zároveň s tím ale vyměníme současné 1TB disky za 2TB, které už netrpělivě čekají v racku. Bohužel není možné je v zpoolu míchat dohromady, protože ty nové už používají 4k sektory.

Pokud chcete vidět, jak celá noční akce probíhala, nahlédněte do naší galerie, kde je spousta dalších obrázků.