Vertica 8 版本开始,可以将数据库的数据使用export to parquet命令导出到hdfs上以parquet格式存储,parquet格式文件时带数据库类型的,当hive去读取这些文件时,可能会存在问题。
1、timestamp类型的问题,有两种方法:
- 在vertica数据库中将表字段类型改成timestamptz,修改后数据结果会在原timestamp后面加上+08时区信息。
- 在export to parquet语句的select语句中对应字段后面加上::timestamptz,在输出过程中将时间戳类型改一下。(建议已经上线的表采用方案2,未上线的表上线的时候采用方案1)
2、其他数据类型的hive和vertica数据类型对应问题,请参考链接(https://www.vertica.com/docs/9.1.x/HTML/index.htm#Authoring/HadoopIntegrationGuide/HCatalogConnector/HCatalogDataTypeConversions.htm)
最后修改时间:2024-08-29 10:54:49
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。