Sync: Lohkotason delta-vertailut

Miksi suurten säiliöiden, virtuaalikonelevyjen ja mediakirjastojen synkronointi pysäyttää tavalliset pilviasemat – ja miten binäärinen delta-synkronointi ratkaisee ongelman.

1. Koko tiedoston synkronoinnin ongelma

Kun muokkaat 15 sekunnin otsikkokuvaa 12 GB:n videoprojektissa, tavallinen pilviasema käsittelee koko säiliötä uutena kokonaisuutena. Se yrittää lähettää koko 12 GB:n lähtevän yhteytesi kautta, kuluttaen arvokasta lähetyskaistaa, laukaisten laitteen lämpörajoituksen ja tukkien muut odottavat synkronointijonot.

Sen sijaan moottori, jossa on lohkotason delta-synkronointi, vertaa muokattua tiedostoa paikallisiin tiivisteindekseihin. Se paikantaa, että vain 14 MB binäärisektoreita muuttui, pakkaa nämä erilliset sektorit ja tallentaa ne murto-sekunneissa.

2. Sisältöpohjaiset pilkkomisalgoritmit (CDC)

Staattinen pilkkominen (tiedostojen jakaminen kiinteisiin 4MB:n osiin) pettää heti, kun asiakirjan alkuun lisätään yksikin tavu, koska jokainen seuraava raja siirtyy ja aiheuttaa 100 %:n välimuistin mitätöinnin. Huippuluokan synkronointimoottorit käyttävät sisältöpohjaista pilkkomista:

3. Laboratoriotason läpimenovertailut

Testasimme neljää erilaista työkuormaskenaariota symmetrisillä 1 Gbps:n yhteyksillä mitataksemme synkronoinnin tehokkuutta, prosessorin käyttöä ja viiveen lisäkustannuksia.

Testiskenaario Koko tiedoston synkronointi Kiinteä 4MB:n pilkkominen Dynaaminen FastCDC (paras)
Virtuaalikonelevy (30GB)
250MB:n tietokantamuutos
18 min 42 s 1 min 14 s 9,2 s
Valokuvakirjaston luettelo (5GB)
Metatietomuokkaus 50 kuvassa
3 min 18 s 22,4 s 3,1 s
Salattu säiliö (8GB)
1 tiedosto lisätty holviin
5 min 04 s 38,2 s 4,8 s

4. Ristiriitojen ratkaisu ja kilpailutilanteet

Kun useat etäyhteistyökumppanit muokkaavat samaa taulukkoa tai suunnittelutiedostoa offline-tilassa, perussynkronointiohjelmat ylikirjoittavat usein tiedostoja tai luovat sekavia päällekkäisiä ”ristiriitakopioita”, jotka hajaantuvat eri kansioihin. Korkean eheyden delta-protokollat hyödyntävät konfliktittomia replikoituja tietotyyppejä (CRDT) ja vektorikelloja, jolloin haarat voidaan yhdistää deterministisesti ilman ihmisen aiheuttamaa tietojen menetystä.

Tutustu redundanttiseen monialueiseen varautumiseen →