将数据迁移到谷歌云平台的方法
2022-11-30 15:32 浏览: 次当用户决定使用谷歌云服务器的时候,经常会碰到一个问题,我要怎么把数据迁移到谷歌云平台呢?当需要数据中心迁移、机器学习、内容存储和交付以及备份和归档要求的时候,就会需要迁移数据。而在位置之间移动数据时,重要的是要考虑可靠性、可预测性、可扩展性、安全性和可管理性。
谷歌云平台Google Cloud Platform 提供了 4 种主要的数据迁移解决方案,以满足各种情境的需求。
Google Cloud 的数据迁移选择,您可以使用以下四种主要方法中的任何一种将数据导入 Google Cloud:
1. Cloud Storage transfer tools
这些工具可帮助您将数据直接从你的电脑上传到 Google Cloud Storage (GCS)。通常您可以使用此选项进行几 TB 规模的小型传输。其中包括 Google Cloud Console 用户界面、JSON API 和 GSUTIL 命令行界面。GSUTIL 是一个开源命令行实用程式,用于从 Shell 进行脚本化传输。 它也让您能够管理 GCS bucket。它可以在 rsync 模式下进行增量复制,而在 stream 模式下进行推送脚本的输出 —— 用于大型多执行绪/多工处理的数据迁移。您可以用它取代 UNIX copy 命令(这个并非多执行绪)。
2. Storage Transfer Service
Storage Transfer Service 这项服务让您可以从其他云端、地端或 Google Cloud 中的一个 bucket 到另一个储存Bucket 的线上数据快速导入 Cloud Storage。您可以设置周期性的传输作业以节省时间和资源,并且可以扩展到 10 Gbps。要自动创建和管理传输作业,您可以使用 storage transfer API 或自选语言的定制化函数库。与 GSUTIL 相比,Storage Transfer Service 是一项托管的解决方案,可处理重试机制并提供详细的传输日志记录。由于数据在高频宽网络管道上移动,因此数据传输速度相当快。地端传输服务可最大通过可用频宽和效能优化,来缩短传输时间。
3. Transfer Appliance
如果您要搬迁大型数据集、又没有足够的可用频宽,Transfer Appliance 会是一个不错的选择。Transfer Appliance 可以无缝、安全、快速地将数据传输到 Google Cloud。例如,与使用典型网路 (100 Mbps) 完成线上数据传输需要三年时间相比,使用 Transfer Appliance 可以在 40 天内完成 1 PB 数据传输。Transfer Appliance 是一个实体的设备这个过程很简单。首先,需要通过Cloud Console 订购设备。Google Cloud 提供两种机型:TA40(40TB)和 TA300(300TB)。当获得设备后,您可以将数据复制到设备上(通过 NFS 的文件复制),数据已加密并受到保护。
完成后,您只要将设备寄回 Google,数据将传输到 GCS bucket 中并且从设备中删除。Transfer Appliance 具有很高的效能,因为它使用所有固态驱动器、最少的软件和多个网络连接选项。
4. BigQuery Data Transfer Service
使用此选项,您的分析团队无需编写任何代码即可为 BigQuery 数据仓库奠定基础。它可以按计划、托管方式自动将数据移动到 BigQuery。它支持多个第三方来源以及来自 Google SaaS 应用程序、外部云存储提供商的传输。以及 Teradata 和 Amazon Redshift 等数据仓库。输入数据后,您可以直接在 BigQuery 中使用它进行分析、机器学习或仅用于仓储。
结论
无论您的数据传输用例是什么,快速、可靠、安全和一致地完成数据传输都很重要。而且,无论您需要移动多少数据、数据位于何处或拥有多少带宽,总有一个适合您的选项。
腾讯云、阿里云、Google谷歌云、华为云、天翼云、移动云、AWS亚马逊云代理商哪家好?推荐找天 下 数 据,可享受全网最高折扣、高额返现优惠,详询电话4 0 0 6 3 8 8 8 0 8 官网:wwW.IdCbeSt.cOm
【免责声明】:部分内容、图片来源于互联网,如有侵权请联系删除,QQ:228866015