从BigQuery结果PCollection获取TableSchema

从BigQuery结果PCollection获取TableSchema

不幸的是，Dataflow SDK并未公开BigQuery通过Dataflow的

BigQueryIO

API 返回的架构。单独在Dataflow
API中没有“好的”解决方法。

手动定义架构是一种解决方法。

另外，您可以

jobs:query

在管道构建时直接通过BigQuery单独查询，然后将其结果传递给

BigQueryIO.Write

转换。这可能会产生额外的成本，但是可以通过稍微更改查询以减少处理的数据量来减轻。输出的正确性无关紧要，因为您仅存储模式。