使用udf在PySpark数据框中将纪元转换为日期时间

使用udf在PySpark数据框中将纪元转换为日期时间

您不需要

udf

为此的功能

您只需要将 double epoch列强制转换为

timestampType()

，然后使用

data_format

如下功能

from pyspark.sql import functions as ffrom pyspark.sql import types as tdf.withColumn('epoch', f.date_format(df.epoch.cast(dataType=t.TimestampType()), "yyyy-MM-dd"))

这会给你一个字符串日期

root |-- epoch: string (nullable = true) |-- var1: double (nullable = true) |-- var2: double (nullable = true)

您可以使用

to_date

以下功能

from pyspark.sql import functions as ffrom pyspark.sql import types as tdf.withColumn('epoch', f.to_date(df.epoch.cast(dataType=t.TimestampType())))

这将使你

date

作为

datatype

以

epoch

列

root |-- epoch: date (nullable = true) |-- var1: double (nullable = true) |-- var2: double (nullable = true)

我希望答案是有帮助的