Szinkronizálás: Blokkszintű delta-referenciaértékek
Miért bénítja meg a hétköznapi felhőmeghajtókat a nagy tárolók, virtuális gépek lemezeinek és médiatárak szinkronizálása – és hogyan oldja meg a problémát a bináris delta-szinkronizálás.
1. A teljes fájlos szinkronizálás problémája
Ha egy 12 GB-os videóprojekten belül egy 15 másodperces címkártyát szerkeszt, a szokásos felhőmeghajtó a teljes tárolót új entitásként kezeli. Megpróbálja az egész 12 GB-ot átküldeni a feltöltési kapcsolaton, felemésztve az értékes feltöltési sávszélességet, kiváltva az eszköz hőtechnikai fojtását, és blokkolva a többi várakozó szinkronizálási sort.
Ezzel szemben a blokkszintű delta-szinkronizálással felszerelt motor összehasonlítja a módosított fájlt a helyi hash-indexekkel. Pontosan meghatározza, hogy csak 14 MB bináris szektor változott, tömöríti ezeket a különálló szektorokat, és másodperc törtrésze alatt véglegesíti őket.
2. Tartalomfüggő darabolási (CDC) algoritmusok
A statikus darabolás (a fájlok rögzített, 4MB-os szegmensekre bontása) abban a pillanatban meghiúsul, amikor egyetlen bájt kerül a dokumentum elejére, mert minden további határ eltolódik, ami 100%-os gyorsítótár-érvénytelenítést okoz. A legkorszerűbb szinkronizáló motorok tartalomfüggő darabolást alkalmaznak:
- FastCDC: Gördülő normalizált hash-ablakokat használ a természetes szerkezeti felosztási határok azonosítására, a régebbi Rabin-Karp megvalósításokhoz képest akár 10-szer gyorsabb darabolási sebességet érve el.
- Bup / Git Packfile primitívek: Különböző könyvtárakban lévő azonos fájlszeleteket szüntet meg a duplikációk közül, manuális felhasználói kezelés nélkül.
- Titkosított delta-ellenőrzés: Újraszámolja a HMAC-aláírásokat az eltolt blokkokon, mielőtt az adatcsomagokat továbbítaná a hálózaton.
3. Laboratóriumi átviteli referenciaértékek
Négy különböző terhelési forgatókönyvet teszteltünk szimmetrikus, 1 Gbps-os kapcsolatokon a szinkronizálás hatékonyságának, a processzorhasználatnak és a késleltetési többletnek a mérésére.
| Tesztforgatókönyv | Teljes fájlos szinkronizálás | Rögzített, 4MB-os darabolás | Dinamikus FastCDC (legjobb) |
|---|---|---|---|
| Virtuális gép lemeze (30GB) 250MB-os adatbázis-módosítás |
18 perc 42 másodperc | 1 perc 14 másodperc | 9.2 másodperc |
| Fotókönyvtár katalógusa (5GB) Metaadat-szerkesztés 50 képen |
3 perc 18 másodperc | 22.4 másodperc | 3.1 másodperc |
| Titkosított tároló (8GB) 1 fájl hozzáadása a széfen belül |
5 perc 04 másodperc | 38.2 másodperc | 4.8 másodperc |
4. Ütközésfeloldás és versenyhelyzetek
Amikor több távoli munkatárs offline módosítja ugyanazt a táblázatot vagy tervezőfájlt, az alapvető szinkronizáló kliensek gyakran felülírják a fájlokat, vagy zavaros, duplikált „ütközési másolatokat” hoznak létre, amelyek szétszóródnak a mappákban. A nagy integritású delta-protokollok konfliktusmentes replikált adattípusokat (CRDT-k) és vektoróórákat használnak, így az ágak determinisztikusan egyesíthetők emberi adatvesztés nélkül.