台湾AI Labs、Synologyで拡張性とセキュリティを兼ね備えたAIデータ管理基盤を構築

AIの基盤となるデータは、開発の各段階で綿密な計画と管理が求められます。台湾AI Labsでは、準備段階から数ペタバイトに及ぶ大量の生データを保管する必要があり、データ量は時間とともに増加し続けるため、スケーラブルなシステムが不可欠でした。用途に応じては機微な情報や機密情報も含まれるため、厳格な暗号化や法令遵守も求められます。

モデルのトレーニングフェーズでは、大量の並列計算がI/Oボトルネックを露呈しやすく、高速なネットワークと安定的なストレージスループットを確保した、計画的なシステム設計がトレーニング性能最大化の鍵となります。

また、サービスの展開段階では、高い可用性や継続的なデータセキュリティなど、最終製品の要件に柔軟に対応できることが求められます。これらの課題を克服するため、台湾AI LabsはSynologyの包括的なデータ管理・保護ソリューションを活用し、AIに特化した堅牢なインフラ基盤を構築しました。

「私たちの新規プロジェクトの多くは、これまで扱ってきたデータ量をはるかに超える膨大なデータを扱っています」と台湾AI Labsのチームは語ります。同チームは、容量、信頼性、データセキュリティ、パフォーマンスのバランスを考慮し、Synologyのストレージシステム（オールフラッシュユニットを含む）を基盤としたローカルのオブジェクトストレージウェアハウスを設計しました。

「AIトレーニングにおけるボトルネックは、多くの場合ストレージと計算システム間のI/Oであり、従来のハードディスクではその要求に追いつけません」ともチームは述べています。台湾AI Labsは慎重な評価を経て、複数のSynology FlashStationを戦略的に導入し、高I/Oが求められるAIトレーニングを加速させています。

Kubernetes（K8s）は、コンテナ化されたアプリケーションの自動デプロイ、スケーリング、管理に優れているため広く採用されています。台湾AI Labsの環境でもK8sを活用し、Synology CSIドライバーを介してiSCSI、NFS、SMBなど複数のプロトコルで直接ストレージシステムを管理しています。

「私たちの目標は、単一障害点を排除することでした」とチームは導入の背景を説明します。追加評価の結果、物理的障害が発生しても数分以内に自動復旧できるよう、SynologyユニットをペアリングしたSynology High Availabilityクラスタを構築しました。

これらのストレージクラスタにより、サービス停止のリスクを低減し、K8sとの直接統合により運用管理の負担も最小限に抑えています。

台湾AI Labsは、実績ある「3-2-1バックアップ戦略」を遵守しています。すべてのデータは、内蔵のスナップショットレプリケーション機能を使って別のバックアップストレージクラスタに複製されています。

「スナップショットレプリケーションの増分バックアップにより、必要なストレージ容量を削減でき、長期バックアップの保持が可能になっています」とバックアップ体制についてチームは説明します。

さらに、重要なデータはSynology C2ストレージにも保存しており、オフサイトバックアップの要件を満たしています。
「Synology C2はクライアントサイド暗号化を提供し、最大限のプライバシーを確保しています」とチームは付け加えました。

信頼性の高いSynologyシステムを基盤にしたこれらのデータ保護戦略により、トレーニングや本番環境で使用されるすべてのデータが、多様なデータ損失リスクから確実に守られています。