Rust Paimon(实验)

基于Arrow DataFusion实现对数据湖incubator-paimon读写

Example

CREATE EXTERNAL TABLE ods_mysql_paimon_points_5 
STORED AS PAIMON 
OPTIONS ('scan.snapshot-id' '5') 
LOCATION 'E:\\rustProject\\paimon-rs\\test\\paimon/default.db\\ods_mysql_paimon_points_5'

Features

• 读元数据（snapshot、schema、manifest、manifestList）
• 支持读manifest数据avro、parquet格式
• 支持读data数据avro、parquet格式
• 支持读input模式表数据
• 支持批读
• 批读实现limit(可优化)
• 本地paimon表读取
• 支持hdfs数据源(未测试)
• 支持指定tag读取数据(未测试)
• 支持指定consumer-id读取数据(未测试)

Doing

• 集成datafusion(持续集成中)

RoadMap

• 支持Appendonly表读取数据
• 支持流读
• 支持写功能
• 集成incubator-opendal