Szinkronizálás: Blokkszintű delta-referenciaértékek

Miért bénítja meg a hétköznapi felhőmeghajtókat a nagy tárolók, virtuális gépek lemezeinek és médiatárak szinkronizálása – és hogyan oldja meg a problémát a bináris delta-szinkronizálás.

1. A teljes fájlos szinkronizálás problémája

Ha egy 12 GB-os videóprojekten belül egy 15 másodperces címkártyát szerkeszt, a szokásos felhőmeghajtó a teljes tárolót új entitásként kezeli. Megpróbálja az egész 12 GB-ot átküldeni a feltöltési kapcsolaton, felemésztve az értékes feltöltési sávszélességet, kiváltva az eszköz hőtechnikai fojtását, és blokkolva a többi várakozó szinkronizálási sort.

Ezzel szemben a blokkszintű delta-szinkronizálással felszerelt motor összehasonlítja a módosított fájlt a helyi hash-indexekkel. Pontosan meghatározza, hogy csak 14 MB bináris szektor változott, tömöríti ezeket a különálló szektorokat, és másodperc törtrésze alatt véglegesíti őket.

2. Tartalomfüggő darabolási (CDC) algoritmusok

A statikus darabolás (a fájlok rögzített, 4MB-os szegmensekre bontása) abban a pillanatban meghiúsul, amikor egyetlen bájt kerül a dokumentum elejére, mert minden további határ eltolódik, ami 100%-os gyorsítótár-érvénytelenítést okoz. A legkorszerűbb szinkronizáló motorok tartalomfüggő darabolást alkalmaznak:

3. Laboratóriumi átviteli referenciaértékek

Négy különböző terhelési forgatókönyvet teszteltünk szimmetrikus, 1 Gbps-os kapcsolatokon a szinkronizálás hatékonyságának, a processzorhasználatnak és a késleltetési többletnek a mérésére.

Tesztforgatókönyv Teljes fájlos szinkronizálás Rögzített, 4MB-os darabolás Dinamikus FastCDC (legjobb)
Virtuális gép lemeze (30GB)
250MB-os adatbázis-módosítás
18 perc 42 másodperc 1 perc 14 másodperc 9.2 másodperc
Fotókönyvtár katalógusa (5GB)
Metaadat-szerkesztés 50 képen
3 perc 18 másodperc 22.4 másodperc 3.1 másodperc
Titkosított tároló (8GB)
1 fájl hozzáadása a széfen belül
5 perc 04 másodperc 38.2 másodperc 4.8 másodperc

4. Ütközésfeloldás és versenyhelyzetek

Amikor több távoli munkatárs offline módosítja ugyanazt a táblázatot vagy tervezőfájlt, az alapvető szinkronizáló kliensek gyakran felülírják a fájlokat, vagy zavaros, duplikált „ütközési másolatokat” hoznak létre, amelyek szétszóródnak a mappákban. A nagy integritású delta-protokollok konfliktusmentes replikált adattípusokat (CRDT-k) és vektoróórákat használnak, így az ágak determinisztikusan egyesíthetők emberi adatvesztés nélkül.

Tekintse meg a redundáns, többrégiós hibatűrést →