Supabase Storage est maintenant officiellement un fournisseur de stockage compatible S3. C'est l'une des fonctionnalités les plus demandées et elle est disponible dès aujourd'hui en version alpha publique. Les téléchargements avec possibilité de reprise passent également de la phase bêta à la phase de disponibilité générale.Le moteur de Supabase Storage est entièrement open source et est l'une des rares solutions de stockage à offrir 3 protocoles interopérables pour gérer vos fichiers :
- Téléchargements standards : pour commencer en toute simplicité
- Téléchargements avec reprise : pour reprendre des téléchargements avec des fichiers volumineux.
- Téléchargements S3 : pour une compatibilité avec une pléthore d'outils
Compatibilité S3
Chez Supabase, l'adoption des standards de l'industrie est une priorité. La prise en charge des normes rend les charges de travail portables, un principe clé du produit. L'API S3 est sans aucun doute un standard de stockage, et elle est rendue accessible aux développeurs de différents niveaux d'expérience.
Le protocole S3 est rétrocompatible avec les autres API de Supabase. Si vous utilisez déjà Storage via les API REST ou TUS, vous pouvez aujourd'hui utiliser n'importe quel client S3 pour interagir avec vos buckets et vos fichiers : téléchargez avec TUS, servez-les avec REST et gérez-les avec le protocole S3.
Le protocole fonctionne sur le cloud, le développement local et l'auto-hébergement.
Authentification avec Supabase S3
Pour vous authentifier auprès de Supabase S3, vous avez deux possibilités :
- Les identifiants standards access_key et secret_key. Vous pouvez les générer à partir de la page des paramètres de stockage. Cette méthode d'authentification est largement compatible avec les outils supportant le protocole S3. Elle est également destinée à être utilisée exclusivement côté serveur puisqu'elle fournit un accès complet à vos ressources de stockage. Dans un avenir proche, des clés d'accès à portée limitée seront ajoutées, qui permettront d'accéder à des buckets spécifiques.
- Les identifiants définis par l'utilisateur avec RLS. Cela permet de tirer parti d'un concept bien adopté dans tous les services de Supabase, la sécurité au niveau des lignes (Row Level Security). Il vous permet d'interagir avec le protocole S3 en définissant les opérations de stockage pour un utilisateur ou un rôle authentifié particulier, en respectant vos politiques RLS existantes. Cette méthode est rendue possible par l'utilisation de l'en-tête Session token que le protocole S3 prend en charge.
Intégrations compatibles S3
Avec le support du protocole S3, vous pouvez désormais connecter Supabase Storage à de nombreux outils et services tiers en fournissant une paire d'identifiants qui peuvent être révoqués à tout moment.
Vous pouvez utiliser des outils populaires pour les sauvegardes et les migrations, tels que :
- AWS CLI : le CLI officiel d'AWS
- rclone : un programme en ligne de commande pour gérer les fichiers sur le stockage dans le cloud.
- Cyberduck : un navigateur de stockage dans le cloud pour Mac et Windows.
- et tout autre outil compatible avec S3 ...
S3 pour les ingénieurs de données
La compatibilité S3 offre une primitive intéressante pour les ingénieurs de données. Vous pouvez l'utiliser avec de nombreux outils populaires :
- Des entrepôts de données comme ClickHouse
- Des moteurs de requête comme DuckDB, Spark, Trino, & Snowflake External Table
- Des data loaders comme Fivetran & Airbyte
Dans cet exemple, Tyler, un analyste de données hors pair de Supabase, montre comment stocker des fichiers Parquet dans Supabase Storage et les interroger directement à l'aide de DuckDB :
Téléchargements multipartites dans S3
En plus des téléchargements standard et des téléchargements avec reprise, Supabase Storage prend désormais en charge les téléchargements en plusieurs parties par l'intermédiaire du protocole S3. Cela vous permet de maximiser le débit de téléchargement en téléchargeant des morceaux en parallèle, qui sont ensuite concaténés à la fin.
Les téléchargements avec reprise sont généralement disponibles
Parallèlement à l'annonce de la disponibilité générale de la plateforme, Supabase est ravie d'annoncer que les téléchargements avec possibilité de reprise sont également disponibles de manière générale.
Les téléchargements avec reprise sont basés sur le protocole TUS. Le chemin parcouru pour en arriver là a été immensément gratifiant, en travaillant en étroite collaboration avec l'équipe TUS. Un grand coup de chapeau aux mainteneurs du protocole TUS, @murderlon et @acconut, pour leur approche collaborative de l'open source.
Supabase a contribué à certaines fonctionnalités avancées de l'implémentation Node de TUS Spec, y compris les verrous distribués, la taille maximale des fichiers, l'extension d'expiration et de nombreuses corrections de bugs :
Ces fonctionnalités étaient essentielles pour Supabase, et comme le serveur de nœuds TUS est open source, elles sont également disponibles pour vous. Il s'agit là d'un autre principe fondamental : dans la mesure du possible, Supabase utilise et soutient des outils existants plutôt que de les développer à partir de zéro.
- Transferts entre buckets : Supabase a ajouté la possibilité de copier et de déplacer des objets d'un bucket à l'autre, alors qu'auparavant ces opérations n'étaient possibles qu'à l'intérieur d'un même bucket de Supabase.
- Codes d'erreur standardisés : Les codes d'erreur ont été standardisés pour l'ensemble du serveur de stockage et il sera désormais beaucoup plus facile d'appliquer la logique à des erreurs spécifiques.
- Migrations multi-locataires : Supabase a apporté des améliorations significatives à l'exécution des migrations sur l'ensemble de ses locataires. Cela a réduit les erreurs de migration à travers la flotte et permet d'exécuter des migrations de longue durée de manière asynchrone.
- Dépendances découplées : Storage est entièrement découplé des autres produits Supabase, ce qui signifie que vous pouvez exécuter Storage comme un service autonome.
Source : "Supabase Storage: now supports the S3 protocol" (Supabase)
Et vous ?
Quel est votre avis sur le sujet ? Quelles fonctionnalités de Supabase Storage trouvez-vous intéressantes et utiles ?Voir aussi :
PostgreSQL : Supabase annone la mise en libre accès de Postgres-wasm, un serveur PostgreSQL qui fonctionne dans un navigateur PostgreSQL 16 est disponible, la dernière version de la base de données open source apporte des améliorations au parallélisme des requêtes et à la réplication logique Neon PostgreSQL, une nouvelle approche moderne du développement bases de données, est disponible : Autogéré, extensibilité automatique, calculs et stockage séparé pour être plus évolutif