Taiwan AI Labs bygger skalerbar, sikker AI-datastyringsinfrastruktur med Synology

Data er grundlaget for AI, hvilket kræver omhyggelig planlægning og styring i hver udviklingsfase. Fra den indledende forberedelsesfase havde Taiwan AI Labs brug for at lagre flere petabyte rådata. Denne mængde data fortsætter med at vokse over tid, hvilket nødvendiggør skalerbare systemer. Afhængigt af applikationen kan de anvendte data være følsomme eller fortrolige, hvilket kræver streng kryptering og overholdelse af lovgivningen.

Store parallelle beregningsbelastninger afslører eventuelle I/O-flaskehalse under modeltræningsfasen. Et velplanlagt system med højhastighedsnetværk og konsekvent, vedvarende lagergennemstrømning er nødvendigt for at maksimere træningsydelsen.

Endelig, i implementeringsfasen, skal tjenester være fleksible nok til at opfylde de endelige produktkrav, såsom høj tilgængelighed og kontinuerlige databeskyttelseskrav. For at imødekomme disse udfordringer udnyttede Taiwan AI Labs Synologys omfattende portefølje af datastyrings- og beskyttelsesløsninger til at bygge et solidt fundament for sin AI-fokuserede infrastruktur.

"Mange af vores nye projekter involverer store mængder data, langt ud over hvad vi tidligere har arbejdet med," bemærkede teamene hos Taiwan AI Labs. Teamet designede et lokalt objektlagerlager bygget oven på Synology-lagersystemer, inklusive all-flash-enheder, for at balancere kapacitet, pålidelighed, datasikkerhed og ydeevne.

"Flaskehalsen i AI-træning er ofte I/O mellem lager- og beregningssystemerne, hvor traditionelle harddiske simpelthen ikke kan følge med kravene," tilføjede teamet. Taiwan AI Labs, efter omhyggelig evaluering, implementerede taktisk flere Synology FlashStations for at accelerere høj-I/O AI-træningsprojekter.

Kubernetes (K8s) er bredt adopteret for sine evner inden for automatiseret implementering, skalering og styring af containeriserede applikationer. Taiwan AI Labs' miljø bruger i vid udstrækning K8s, hvor de kan administrere deres lagersystemer direkte gennem Synology CSI-driveren via flere protokoller (iSCSI, NFS, SMB). "Vores mål var at eliminere enkeltpunktsfejl," tilføjede teamet om implementeringen. Efter yderligere evaluering besluttede Taiwan AI Labs at parre Synology-enheder for at skabe Synology High Availability-klynger for at sikre, at fysiske forstyrrelser automatisk kunne gendannes inden for få minutter. Samlet set reducerer disse lagringsklynger risikoen for tjenesteafbrydelser, mens den tid, der kræves for at administrere dem, minimeres takket være direkte integration med K8s-implementeringer.

Taiwan AI Labs fulgte den tidstestede 3-2-1 backup-strategi. Alle data replikeres til en anden backup-lagerklynge ved hjælp af den indbyggede Snapshot Replication-funktion. "Snapshot Replication's gradvist stigende backup reducerer det nødvendige lager, hvilket sikrer os muligheden for at fastholde langsigtede backups," bemærkede teamet om deres backup-opsætning.

Derudover gemmer Taiwan AI Labs kritiske data på Synology C2 Storage, hvilket fuldender deres off-site backup-krav. "Synology C2 giver os mulighed for at sikre, at alle data er klient-side krypteret for maksimal privatliv," tilføjede teamet.

Ved at bygge oven på pålidelige Synology-systemer sikrer de tilføjede databeskyttelsesstrategier, at alle data, uanset om de bruges til træning eller i produktionsmiljøer, er beskyttet og modstandsdygtige over for flere former for datatab.