Spark2.x使用Spark Session写入数据到Oracle时报错解决方案

Spark2.x使用Spark Session写入数据到Oracle时报错解决方案

Spark2.x使用Spark Session写入数据到Oracle时报错java.sql.SQLException: Listener refused the connection with the following error:ORA-12519, TNS:no appropriate service handler found

1. 程序报错如下

java.sql.SQLException: Listener refused the connection with the following error:
ORA-12519, TNS:no appropriate service handler found

2. 程序写入Oracle方式

jdbcDF.read
  .format("jdbc")
  .option("url", "jdbc:postgresql:dbserver")
  .option("dbtable", "schema.tablename")
  .option("user", "username")
  .option("password", "password")
  .mode(SaveMode.Append)
  .load()

3. 解决方案

jdbcDF.repartition(3).read
  .format("jdbc")
  .option("url", "jdbc:postgresql:dbserver")
  .option("dbtable", "schema.tablename")
  .option("user", "username")
  .option("password", "password")
  .mode(SaveMode.Append)
  .load()

总结：

• 当使用spark2.x的spark session的write方法写入DB的时候，要考虑DB的最大连接数，当超过最大连接数时则会报以上错误。
• write方式是分布式写入到DB的，数据有多少个分区就写入时就会创建多少个数据库连接，这与mapPartition/foreachPartition中创建数据库连接类似。
• 通过以上两点，使用repartition减少分区数则完美解决该问题。