postgres使用PLPython导出表到csv

postgres使用PLPython导出表到csv,第1张

摘要

在PostgreSQL的标准发布中当前有四种过程语言可用: PL/pgSQL、 PL/Tcl、 PL/Perl以及 PL/Python。 还有其他过程语言可用,但是它们没有被包括在核心发布中。本文主要介绍使用PL/Python过程语言实现一个将表导出到csv文件的函数。

环境准备
  1. 需要重源码编译postgres,目的是启用PL/Python服务端编程语言。要编译PL/Python服务器端编程语言, 你需要一个Python的安装,包括头文件和distutils模块。最低的版本要求是Python 2.4。如果是版本3.1或更高版本,则支持Python 3。
  2. 安装python,本文使用python 3版本进行演示
$ sudo apt install python3 python3-dev
  1. 编译postgres源码
$ ./configure --enable-shared --with-python
$ make -j 8
$ sudo make install

因为PL/Python将以共享库的方式编译,libpython库在大多数平台上也必须是一个共享库。在默认的从源码安装Python时不是这样的,而是在很多操作系统发布中有一个共享库可用。如果选择了编译 PL/Python但找不到一个共享的 libpythonconfigure将会失败。这可能意味着你不得不安装额外的包或者(部分)重编译Python安装以提供这个共享库。在从源码编译时,请用--enable-shared标志运行 Python的配置脚本。

PL/Python函数简介 举个例子
CREATE FUNCTION py_add (a integer, b integer)
  RETURNS integer
AS $$
  return a + b
$$ LANGUAGE plpython3u;
  • 查看函数


  • 运行函数

操作步骤 如何获取表字段属性

以pgbench中的pgbench_accounts为例。

select * from pg_attribute where attrelid = (select oid from pg_class where relname = 'pgbench_accounts') and attnum > 0 order by attnum;

plpy函数使用

PL/Python 语言模块会自动导入一个被称为plpy的 Python 模块。这个模块中的函数和常量在 Python 代码中可以用plpy.foo样的方式访问。

CREATE OR REPLACE FUNCTION count_odd_fetch(batch_size integer) RETURNS integer AS $$
odd = 0
cursor = plpy.cursor("select num from largetable")
while True:
    rows = cursor.fetch(batch_size)
    if not rows:
        break
    for row in rows:
        if row['num'] % 2:
            odd += 1
return odd
$$ LANGUAGE plpython3u;
demo
CREATE or replace  FUNCTION tab2file(file_name varchar, table_name varchar) RETURNS varchar AS $$
import csv
header_list =[]
plan = plpy.prepare("select * from pg_attribute where attrelid = (select oid from pg_class where relname = $1) and attnum > 0 order by attnum;", ["text"])
t_column = plpy.execute(plan, [table_name])
for c in t_column:
	header_list .append(c['attname'])
f = open(file_name, mode="w", encoding="utf-8", newline="")
writer = csv.DictWriter(f, header_list)
writer.writeheader()
sql = "select * from " + table_name + ";"
cursor = plpy.cursor(sql)
while True:
    rows = cursor.fetch(100)
    if not rows:
        break
    writer.writerows(rows)
f.close()
sql = "select count(*) from " + table_name + ";"
count = plpy.execute(sql)
return count[0]['count'] 
$$ LANGUAGE plpython3u;

写在后面

上面只是演示pl/python的用法,把表导出csv并不是一个很好的很好的应用场景。postgres的copy to是最佳选择。

让我们看一下性能,应该有一个数量级的差距,当然python代码还是可以进一步优化的。

欢迎分享,转载请注明来源:内存溢出

原文地址:http://outofmemory.cn/langs/923624.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2022-05-16
下一篇2022-05-16

随机推荐

  • 谢菲尔德大学商科

      谢菲尔德大学(The University of Sheffield),英国常春藤大学之一,英国顶级大学,世界百强名校,位于英国第四大中心城市谢菲尔德市,建校历史可追溯到1828年。谢菲尔德大学是

    2022-07-01
    000
  • 英国斯塔福德郡大学介绍

    立思辰留学360介绍说,斯塔福德郡大学是一所建于1992年致力于各类创新性和实用性课程教授的现代大学。学校的在校学生超过了1万6千名,其中国际学生大约有1500名。另外学校还提供纷繁多样的语言课程和远

    2022-07-01
    000
  • 不来梅大学地理位置

    立思辰留学360介绍,不来梅大学是一所历史悠久的德国名牌大学,也是德国不来梅的一所年轻的公立大学,成立于1971年,同时还是德国不来梅州规模最大的大学,德国最有名的7所大学之一。不来梅大学的前身是建于

    2022-07-01
    300
  • 留学美国康涅狄格大学治安

    康涅狄格大学成立于八十年代,大学刚刚成立的时候只是一所农业学校,经过几十年的发展正式升格为大学,大学的主校区位于附近的一个小镇上,学校第一任校长是一位女校长,学校占地规模巨大,主校区面积是四千多英亩,

    2022-07-01
    000
  • 留学美国卡洛尔学院费用

    卡洛尔学院是一所私立的天主教文理学院。立思辰留学360介绍,卡洛尔学院建校于1909年,1916年第一批学生毕业。在1932年学院改名为卡洛尔学院以纪念它的创办者。卡洛尔学院的教学重点是培养男生成为神

    2022-07-01
    300
  • 留学美国旧金山大学优势

    立思辰留学360介绍:旧金山大学(University of San Francisco)位于素有“西海岸门户”之称的旧金山市,成立于1855年,是一所具有百年声誉的优秀综合性大学,开设了17个本科专

    2022-07-01
    000
  • 2017年费南公立教育局简介

      教育局概况立思辰留学360介绍费南学区多元化的选修课程,秉持一贯的高品质教学方式,成为BC省毕业率最高的学区之一,且区内中学提供超卓的大学预备课程。Vernon学区除了优良的中小学教育外,同时拥有

    2022-07-01
    300
  • 泰莱大学挂科太多怎么办

    泰莱大学挂科太多怎么办?请咨询立思辰留学360马来西亚专家团队。简介马来西亚泰莱大学在1998年四月泰莱大学在品质管理的保证及加强下也因此赢取了由马来西亚政府颁布的ISO 90012000 品质管理

    2022-07-01
    300
  • 劳里埃大学入学分数介绍

      立思辰留学360介绍加拿大劳瑞尔大学(Wilfrid Laurier University)——百年名校 ,简称WLU。建校于1911年,是加拿大著名的公立大学,位于安大略省滑铁卢市,驱车1小时就

    2022-07-01
    000

发表评论

登录后才能评论

评论列表(0条)

    保存