阿里云代理商-阿里云服务器-阿里云数据库-重庆典名科技

mysql数据导入到hbase的三种方法

发布时间: 2021-04-16 11:30:52文章作者: 网站编辑阅读量: 426
      典名科技本文主要介绍mysql数据导入到hbase的三种方法,相信对大家有所帮助!

       mysql数据导入到hbase的三种方法:

mysql数据导入到hbase的三种方法

  1、Put API
  Put API可能是将数据快速导入HBase表的最直接的方法。但是在导入【大量数据】时不建议使用!但是可以作为简单数据迁移的选择,直接写个代码批量处理,开发简单、方便、可控强。
  2、MapReduce Job
  推荐使用sqoop,它的底层实现是mapreduce,数据并行导入的,这样无须自己开发代码,过滤条件通过query参数可以实现。
  Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将MySQL中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到Mysql中。
  采用如下命令:sqoop import
  --connect jdbc:mysql://localhost/db
       --username root -P
       --table mysql_order
       --columns "id,name"
       --hbase-table hbase_order
       --column-family f
       --hbase-row-key id
       --query "select id,name from mysql_order where..."
       -m 1

  3、采用Bulk load装载数据

  bulk-load的作用是用mapreduce的方式将hdfs上的文件装载到hbase中,对于海量数据装载入hbase非常有用。
  需要将MySQL的表数据导出为TSV格式(因为后面使用Import TSV工具),还需要确保有一个字段可以表示HBase表行的row key。
  各有优势,推荐采用sqoop,可以省去比较多工作。
       以上就是典名科技给大家分享的将mysql数据导入到hbase的三种方法,如果亲们还有还有什么不懂的问题,可以咨询我们的技术人员!
联系客服免费领取更多阿里云产品新购、续费升级折扣,叠加官网活动折上折更优惠