常见问题解答

什么是坏记录？

由于数据类型不兼容、数据为空或者格式不兼容而导致无法加载到 CarbonData 中的记录归类为坏记录。

CarbonData 在哪里存储坏记录？

坏记录存储在 carbon.properties 文件 carbon.badRecords.location 属性设置的位置。默认情况，carbon.badRecords.location 设置的路径为 /opt/Carbon/Spark/badrecords

如何启用坏记录日志？

在加载数据时，我们可以指定处理坏记录的方法。如果想分析坏记录产生的原因，BAD_RECORDS_LOGGER_ENABLE 参数必须设置成 TRUE。有很多方式来处理坏记录，我们可以通过设置 BAD_RECORDS_ACTION 参数。

  • 要用 NULL 值来填充不正确的 csv 行数据，并在 CarbonData 中加载数据，请在查询中设置一下参数：
    • 'BAD_RECORDS_ACTION'='FORCE'
  • 要在 CSV 文件中写入坏记录，而不是使用 NULL 来处理（文件路径通过 carbon.badRecords.location 参数设置），请在查询中设置一下参数：
    • 'BAD_RECORDS_ACTION'='REDIRECT'

    如何忽略坏记录？

    如果想忽略将坏记录存储在 csv 文件中，请在查询中设置一下参数：

    'BAD_RECORDS_ACTION'='IGNORE'

    在创建 carbon session 时如何指定存储位置？

    创建 carbon session 时指定的存储路径，在 CarbonData 中主要用于存储元数据，比如模式、字典文件，字典元数据以及排序索引。

    尝试使用以下方式来在创建 carbonsession 的时候指定 storepath :

    val carbon = SparkSession.builder().config(sc.getConf)
             .getOrCreateCarbonSession(<store_path>)

    示例:

    val carbon = SparkSession.builder().config(sc.getConf)
             .getOrCreateCarbonSession("hdfs://localhost:9000/carbon/store")

    Carbon 的锁类型都有哪些？

    Apache CarbonData 获取文件锁用于防止并发修改相同文件的操作。锁的类型取决于存储路径，对于 HDFS 路径，锁的类型为 HDFSLOCK。默认情况下，锁类型为 LOCALLOCK。 carbon.lock.type 属性指定在表上执行并发操作期间要获取锁的类型。 该属性可以使用以下值进行设置:

  • LOCALLOCK : 这种锁以文件的形式在本地文件系统上创建。如果一台机器上仅仅有一个 spark driver (thrift server) 运行并且没有其他 CarbonData spark 应用程序同时启动的情况下很有用。
  • HDFSLOCK : 这种锁以文件的形式在 HDFS 文件系统上创建。当启动多个 CarbonData spark 应用程序并且集群中没有运行 ZooKeeper，而且 HDFS 支持基于文件的锁的情况下很有用。

    • 如何解决 Abstract Method Error？

    为了构建 CarbonData 工程，需要我们指定 spark 相关配置。spark 配置指定 Spark 的版本。当使用 Maven 构建工程时，你需要指定 spark version。

    在异常情况下执行插入操作时 Carbon 如何处理？

    Carbon 支持插入操作，你可以参考 CarbonData 上的 DML 操作 中提到的语法。首先，在 spark-sql 中创建一张源表，并将数据加载到已经创建好的的表中。

    CREATE TABLE source_table(
id String,
name String,
city String)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ",";

    SELECT * FROM source_table;
id  name    city
1   jack    beijing
2   erlu    hangzhou
3   davi    shenzhen

    场景 1 :

    假设 carbon 表列的顺序与源表不同，使用语句 "SELECT * FROM carbon table" 进行查询时，将获得与源表一样的列顺序，而不是预期的 carbon 表列顺序。

    CREATE TABLE IF NOT EXISTS carbon_table(
id String,
city String,
name String)
STORED BY 'carbondata';

    INSERT INTO TABLE carbon_table SELECT * FROM source_table;

    SELECT * FROM carbon_table;
id  city    name
1   jack    beijing
2   erlu    hangzhou
3   davi    shenzhen

    正如结果显示的，carbon 表的第二列是 city，但是查出来的是 name，比如 jack。这种现象和将数据插入 hive 表中一样。

    如果你想将数据插入到 carbon 表对应的列中，则必须在插入语句中指定好列的顺序。

    INSERT INTO TABLE carbon_table SELECT id, city, name FROM source_table;

    场景 2 :

    当 carbon 表列数与 select 语句中指定的列数不相同时，插入操作将失败。下面的插入操作将会失败。

    INSERT INTO TABLE carbon_table SELECT id, city FROM source_table;

    场景 3 :

    当 carbon 表列类型与 select 语句中指定的列类型不相同时，插入操作仍然会成功，但是结果可能为 NULL，因为在转换类型失败时，将使用 NULL 替代。

    为什么聚合查询不是从聚合表中获取数据？

    以下聚合查询不会从聚合表中获取数据:

  • 场景 1 :当查询中存在子查询谓词时

    • 示例:

    create table gdp21(cntry smallint, gdp double, y_year date) stored by 'carbondata';
create datamap ag1 on table gdp21 using 'preaggregate' as select cntry, sum(gdp) from gdp21 group by cntry;
select ctry from pop1 where ctry in (select cntry from gdp21 group by cntry);
  • 场景 2 :当集合函数与 in 过滤器一起使用时

    • 示例:

    create table gdp21(cntry smallint, gdp double, y_year date) stored by 'carbondata';
create datamap ag1 on table gdp21 using 'preaggregate' as select cntry, sum(gdp) from gdp21 group by cntry;
select cntry, sum(gdp) from gdp21 where cntry in (select ctry from pop1) group by cntry;
  • 场景 3 :当聚合函数与 join 一起使用，且使用了相等过滤操作时

    • 示例:

    create table gdp21(cntry smallint, gdp double, y_year date) stored by 'carbondata';
create datamap ag1 on table gdp21 using 'preaggregate' as select cntry, sum(gdp) from gdp21 group by cntry;
select cntry,sum(gdp) from gdp21,pop1 where cntry=ctry group by cntry;

    为什么 Dataload 命令在驱动程序端失败， Spark UI 上的 executors 却显示成功?

    Spark executor 在重试次数达到最大值后才显示任务失败，但加载具有坏记录的数据并将 BAD_RECORDS_ACTION（carbon.bad.records.action）设置为 FAIL 将只尝试一次，并且将给驱动程序发送失败信号，而不是抛出异常来重试，因为如果发现坏记录并且 BAD_RECORDS_ACTION 设置为 FAIL，则无法重试。因此，Spark executor 显示这一尝试是成功的状态，但该命令实际上却执行失败了。 我们可以检查任务尝试或执行程序日志以观察失败的原因。

    为什么查询 SDK writer 输出的数据时选择查询输出的时区结果会一样？

    SDK writer 是一个独立的实体，因此 SDK writer 可以从具有不同时区的非群集机器生成 carbondata 文件。 但是在群集中读取这些文件时，它总是获取到群集时区。 因此，时间戳和日期数据类型字段的值不是原始值。 如果想要在写入时控制数据的时区，则通过调用以下 API 在 SDK writer 中设置集群的时区。

    TimeZone.setDefault(timezoneValue)

    示例:

    cluster timezone is Asia/Shanghai
TimeZone.setDefault(TimeZone.getTimeZone("Asia/Shanghai"))
    Top