认识达内从这里开始

数据迁移与数据处理都是程序员在学习大数据技术应用的时候需要重点掌握的一个互联网技术，而今天我们就通过案例分析来了解一下，云计算环境下数据迁移方法分享。

HDFS是存储文件系统，用于Hadoop部署，它利用了Hadoop集群节点上的磁盘。所以，当你扩展HDFS时，你需要增加整个集群的容量(也就是说，你需要同时扩展计算和存储)。若要购买和安装额外的软件，可能要花费很多时间和精力。

在云中，你拥有几乎无限的存储容量，比如AWSS3、Azure数据湖存储或Blob存储或谷歌存储等形式的云存储。无需维护或健康检查，从部署开始，它就提供了内置的冗余和高水平的持久性和可用性。我们建议使用原生云服务来迁移你的数据，为了方便迁移，有几个合作伙伴/ISVs。

那么，你该如何开始呢?常见的推荐路线是从双摄取策略开始(也就是，在你的内部环境之外，添加一个源来上传数据到云存储)。这样你就可以在不影响你现有设置的情况下开始使用云中的新用例(利用新数据)。如果你在组织中寻求其他团队的支持，你可以将其作为一项备份策略。因为HDFS的庞大规模和相关的工作，传统上对备份提出了挑战，所以把数据备份到云端是一种有效的举措。

在大多数情况下，你可以利用现有的数据交付工具来复刻(fork)Feed，不仅写到Hadoop，也写到云存储。举例来说，如果你正在使用Informatica和Talend这样的工具/框架处理数据并向Hadoop写入数据，那么可以轻松地添加一些附加步骤，以便将数据写入云存储。一旦数据在云中，就有许多办法来处理数据。

就数据方向而言，数据要么从内部拉取到云端，要么从内部推送到云端。可用于将数据推送到云端的工具有云原生解决方案(AzureDataBox、AWSSnowFamily等)、DistCP(一种Hadoop工具)、其他三方工具以及任何内部框架。推送选项通常更容易得到安全团队的必要批准。

对于将数据拉取到云端，你可以使用Spark/KafkaStreaming或Batch从云端触发摄取管道。对于批处理，你可以直接摄取文件，或者通过JDBC连接器连接到相关的上游技术平台，并提取数据。当然，还有一些三方工具可以实现这一目的。在这两个选项中，推送选项是一个被广泛接受和理解的选择，因此，让我们来深入研究一下拉取方法。

你先要做的是在你的企业内部环境与云端之间建立连接。可通过互联网连接和网关来实现。你还可以使用AWSDirectConnect、AzureExpressRoute等专用连接选项。有些情况下，如果你的组织对云计算并不陌生，那么这些设置已经就绪，因此你可以为你的Hadoop迁移项目重新使用它。

要考虑的另一个问题是Hadoop环境中的安全性。若为Kerberized环境，则可以从Databricks方面进行调整。你可以配置Databricks初始化脚本在集群启动时运行，安装并配置必要的kerberos客户端，访问存储在云存储位置的krb5.conf和keytab文件，并终执行kinit()函数，从而允许Databricks集群与你的Hadoop环境直接交互。

【免责声明】：本内容转载于网络，转载目的在于传递信息。文章内容为作者个人意见，本平台对文中陈述、观点保持中立，不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请加danei0707学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。