Cloud Storage y almacenamiento de archivos

Bloque, archivo u objeto

Cloud Storage FUSE da cierta semántica de sistema de archivos sobre buckets, pero no es POSIX completo: no tiene enlaces duros, bloqueo de archivos ni control de concurrencia de escrituras como Filestore.

Almacenamiento de objetos con capacidad y acceso ilimitados, sin tamaño mínimo de objeto, acceso de baja latencia (sin recuperación offline) y una durabilidad anual del 99,999999999 % (once nueves) en todas las clases.

• Los objetos se guardan en buckets, cuyo nombre es único a nivel global.
• La clase es un metadato de cada objeto. El bucket tiene una clase por defecto (Standard si no indicas otra) que heredan los objetos nuevos.
• Cambiar la clase por defecto del bucket no afecta a los objetos existentes. Para cambiar la clase de un objeto se reescribe o se usa la gestión del ciclo de vida.

gcloud storage buckets create gs://my-bucket --location=us-central1 --default-storage-class=STANDARD

Clases de almacenamiento

Existen clases heredadas que no se pueden elegir desde la consola; Google recomienda usar Standard en su lugar.

Autoclass

Mueve automáticamente cada objeto a la clase adecuada según cómo se accede a él:

• Todos los objetos empiezan en Standard y la clase por defecto del bucket queda fija en Standard.
• Los objetos que no se leen bajan progresivamente a clases más frías; por defecto se quedan en Nearline, y se puede configurar Archive como clase final.
• Al leer los datos de un objeto, vuelve a Standard. Leer o editar solo los metadatos no lo mueve.
• Los objetos de menos de 128 KiB se quedan siempre en Standard.
• Tiene una tarifa de gestión y de activación, pero no cobra tarifas de recuperación ni de borrado anticipado (salvo en la activación).

Ubicaciones de los buckets

• En las ubicaciones regionales, birregionales y multirregionales, el failover y el failback son automáticos (RTO 0) sin cambiar las rutas de acceso.
• La ubicación se fija al crear el bucket. Para cambiarla se copian los datos a otro bucket o se usa la reubicación de buckets, que requiere Storage Intelligence.

Servidores de archivos totalmente gestionados para VM de Compute Engine, clústeres de GKE, Cloud Run, VMware Engine o máquinas on-premises (por Cloud VPN o Interconnect). Varios clientes leen y escriben el mismo sistema de archivos a la vez, por ejemplo PersistentVolumes de GKE en modo lectura-escritura desde muchos nodos. La capacidad se amplía sin interrupción.

Protocolos: NFSv3 en todos los niveles y NFSv4.1 (con autenticación y cifrado en tránsito) en zonal, regional y enterprise. Con rendimiento personalizado, las IOPS se configuran con independencia de la capacidad.

Google Cloud NetApp Volumes

Almacenamiento totalmente gestionado con las funciones de gestión de datos de NetApp, para llevar a Google Cloud aplicaciones de archivo y de bloque sin rediseñarlas.

• Multiprotocolo: NFSv3, NFSv4.1 y NFSv4.2, SMB, iSCSI, NVMe/TCP y S3 (en modo ONTAP).
• Volúmenes de 1 GiB a 3 PiB aprovisionados en segundos.
• Snapshots automáticos, copias de seguridad, auto-tiering a almacenamiento frío, replicación asíncrona de volúmenes, clonado rápido y FlexCache.
• Niveles de servicio como Flex Unified (capacidad y rendimiento independientes; modos Default y ONTAP) y Standard, entre otros.

Google Cloud Managed Lustre

Sistema de archivos paralelo de alto rendimiento y totalmente gestionado para IA y HPC, desarrollado con DDN.

Se monta desde Compute Engine y GKE, transfiere datos con Cloud Storage de forma gestionada y cifra los datos en reposo y en tránsito.

# Subir un archivo
gcloud storage cp ./report.csv gs://my-bucket/
# Sincronizar un directorio
gcloud storage rsync --recursive ./local-dir gs://my-bucket/folder

• Storage Transfer Service está optimizado para más de 1 TiB. Mueve datos entre S3, Azure Blob, Cloud Storage, sistemas on-premises (con agentes en Docker que acceden al NFS local), URL públicas y HDFS. Automatiza y programa transferencias, cifra en tránsito y valida la integridad. No tiene SLA.
• Transfer Appliance también tiene un modo online que envía los datos copiados a Cloud Storage. Tras copiar los datos, Google borra el dispositivo.
• Para BigQuery, la carga desde Cloud Storage se hace con bq load (artículo anterior).

Escenarios de examen

Trampas frecuentes del examen