HashData的湖仓一体思考：非结构化数据支持（Directory table等）讲解及演示

在这样的背景下，HashData湖仓一体架构提出了新的思考。

如上图所示，HashData湖仓一体架构主要由两大引擎组成：一是用于提供分析能力的HashData SQL数据库引擎，二是具备深度学习和机器学习能力HashML/DL算法引擎。这两大引擎共享一套数据湖对象存储OSS层，这个数据层可以实现结构化数据和非结构化数据的统一存储管理。

然而，仅仅将非结构化数据纳管进来并不够，我们还需要对其进行清洗、解析和加工，以生成高质量的训练语料。为了实现这一目标，HashData SQL数据库引擎整合了多种外部引擎插件，包括向量引擎、机器/深度学习引擎HashML和文档引擎等等。

在深入探讨Directory Table的定位之前，我们首先需要理解它在整个HashData SQL数据库引擎架构中的角色和与其他组件的关系。

在HashData SQL数据库引擎中，原本包含Table普通表，属于记录表。这种记录表的实际数据是以行/列或者行列混合的方式作为数据文件存储在对象存储OSS层中。数据文件与Table普通表之间是cache关系，也就是一对一的关系。这种存储方式确保了数据的一致性和高效访问。然而，随着非结构化数据的快速增长，我们需要一种新的方法来有效管理和分析这些数据。这就是Directory Table的用武之地。

与普通表不同，Directory Table被设计为存储和管理非结构化数据对象的元数据。这些元数据以结构化的形式存在，与非结构化数据文件本身形成关联关系，而非一一对应的cache关系。这种设计使得我们能够用结构化的方式来描述和查询非结构化数据，从而提高了数据管理的灵活性和效率。

在实现上，HashData SQL数据库引擎在SQL层面进行了统一，让用户可以使用熟悉的SQL语句来操作Directory Table和Table普通表。无论是创建表、导入数据、导出数据还是执行查询，都可以通过SQL语句来完成。这种统一的操作方式降低了用户的学习成本，同时提高了系统的易用性。

如何使用这个Directory Table表呢？

其中，需要重点介绍Directory Table的表定义、表数据导入和表数据查询三个部分：

🚩Directory Table使用：表定义

Directory Table定义了一个表结构，用于存储非结构化数据文件的元数据信息，包含以下字段：

• RELATIVE_PATH：路径字段，具有唯一性。在数据导入时生成，可以作为数据的唯一标识符使用。通过这个字段，我们可以大致了解语料的来源；

• SIZE：表示语料数据的大小；

• LAST_MODIFIED：记录语料数据的最后修改时间；

• MD5：生成一个唯一的MD5码，用于校验。当语料数据重复加载时，通过MD5码进行校验，确保数据的准确性；

• TAGS：标签字段，当面对海量语料数据时，通常通过标签来管理和检索数据。标签支持KV（键值对）方式存储，上传时可以自定义；

• SCOPED_FILE_URL：隐藏字段，用于内部处理。

针对这个表结构定义，我们在HashData SQL数据库引擎中构建对应的存储空间。由于语料数据存储在对象存储OSS上，我们在创建存储空间（表空间）时，会将其关联到对象存储上。有了这个表空间之后，我们就可以创建目录表，并将存储的对象数据默认放置在对象存储的表空间上。

CREATE TableSPACE <Tablespace_name>  
       LOCATION '<对象存储OSS Tablespace_path>'  
       WITH ( [SERVER = <server_name>] );
复制

CREATE DIRECTORY Table <Table_name>  
       TableSPACE <Tablespace_name>;
复制

这样，我们就成功创建了一个用于存储非结构化数据文件的元数据信息的目录表，并将其数据对象文件存储在HashData对象存储OSS中。

🚩Directory Table使用：表数据导入

Directory Table支持从本地导入数据，用户可以将文件从本地路径导入至表中。此外，系统支持使用Wildcard进行批量上传，大大提高了导入效率。为保持数据文件的组织结构一致，我们推荐使用子目录功能，确保上传后的目录路径与本地一致，便于后续管理。

导入数据的SQL语句如下：

除了本地导入，我们还提供了专门的导入工具dataX，它支持通过JDBC、ODBC接口将表数据导入至Directory Table，为用户提供了更多的选择和灵活性。

🚩Directory Table使用：表数据查询（支持关键词检索）

数据导入后，用户可以使用SQL语句对Directory Table进行查询和检索。通过查询，用户可以获取文件的相对路径、大小、最后修改时间、MD5码标签等信息。

在查询之前，需要使用我们数据库提供的目录表函数。此函数接收目录表的表名作为参数，并自动读取表中的数据，解析为各个字段，并以字段的形式展示给用户。因此，用户可以使用SQL语句来查询这张表。

以下是查询Directory Table表内语料数据对象元数据的SQL示例：

-- 使用 Table function directory_Table() 读取文件元数据及内容  
SELECT relative_path,  
       size,  
       last_modified,  
       md5,  
       tags  
FROM directory_Table('<dir_Table_name>');
复制

通过执行上述SQL语句，用户可以检索出所需的语料数据对象元数据，为后续的算法训练和使用提供数据支持。

接下来，我们来给大家简单讲解下基于Directory Table特性的语料管理技术方案及demo演示。该技术方案旨在为客户提供一个高效、灵活的语料处理平台，核心在于利用Directory Table的特性，实现对各种格式的文档、图片等原始语料的统一存储、处理与管理。

面对AI应用带来的非结构化数据管理挑战，HashData湖仓一体架构通过引入Directory Table这一新技术特性，为结构化和非结构化数据提供了统一的管理平台。结合HashML的并行处理能力，能够有效降低用户使用门槛，让更多的开发者能够轻松地处理和加工非结构化数据，让用户更加便捷地探索AI应用场景与价值。相关方案已经在大型央企集团开展共创落地，欢迎感兴趣的朋友们与我们联络交流。

*文章篇幅有限，更多技术细节讲解欢迎大家点击文末左下角【阅读原文】链接，观看本期直播回放～

HashData如何实现湖仓一体？

欢迎大家扫描下方二维码

添加企微小助手联系我们

获取HashData产品与活动最新资讯！