【云计算】阿里云-pyodps处理指南

【云计算】阿里云-pyodps处理指南 00.如何安装 从平台到自行部署 - 云原生大数据计算服务 MaxCompute - 阿里云

再记录一个安装配置PyODPS的方法

读写MaxCompute表 - 机器学习PAI - 阿里云 

import numpy as np
import pandas as pd

from odps import ODPS
from odps.df import Dataframe
# 建立链接。
o = ODPS(
    '', 
    '', 
    '',
    endpoint='')
    
# 读取数据。
sql = '''
SELECt  
    *
FROM
    project.table
LIMIT 100
;
'''
query_job = o.execute_sql(sql)
result = query_job.open_reader(tunnel=True) 
df = result.to_pandas(n_process=1) #n_process配置可参考机器配置，取值大于1时可以开启多线程加速。

 

set odps.sql.allow.fullscan=true;

01.如何个性化配置环境参数

from odps import options
# 设置所有输出表的生命周期（lifecycle选项）。
options.lifecycle = 30
# 使用Tunnel下载string类型时使用bytes（tunnel.string_as_binary选项）。
options.tunnel.string_as_binary = True
# 用ODPS执行PyODPS Dataframe时，可以参照下面dataframe相关配置，在sort时将limit设置为一个比较大的值。
options.df.odps.sort.limit = 100000000

02.Dataframe

Dataframe - 云原生大数据计算服务 MaxCompute - 阿里云 

 99.PyODPS常见问题

PyODPS常见问题 - 云原生大数据计算服务 MaxCompute - 阿里云