谷歌开源Tensor Flow系统 背后都有什么门道

谷歌开源Tensor Flow系统 背后都有什么门道,第1张

TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统,其命名来源于本身的运行原理。Tensor(张量)意味着N维数组,Flow(流)意味着基于数据流图的计算,TensorFlow为张量从图象的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。

TensorFlow可被用于语音识别或图像识别等多项机器深度学习领域,对2011年开发的深度学习基础架构DistBelief进行了各方面的改进,它可在小到一部智能手机、大到数千台数据中心服务器的各种设备上运行。TensorFlow将完全开源,任何人都可以用。

步骤一:安装Airflow
docker pull airflow
1
docker pull airflow
步骤二:修改默认路径
这里如果不修改路径,默认的配置就是 ~/airflow
临时修改 AIRFLOW_HOME 环境变量, 这里的 /home/airflow 可以替换成你想要的文件夹目录
export AIRFLOW_HOME=/home/airflow
1
export AIRFLOW_HOME=/home/airflow
永久修改环境变量
echo "export AIRFLOW_HOME=/home/airflow" >> /etc/profile
source /etc/profile
1
2
echo "export AIRFLOW_HOME=/home/airflow" >> /etc/profile
source /etc/profile
系统默认的配置文件是从 airflow包的configurationpy文件中获取的,在设置了路径和airflowcfg之后,配置将由airflowcfg所替代。
步骤三:修改默认数据库
找到配置文件
vi /home/airflow/airflowcfg
1
vi /home/airflow/airflowcfg
修改sql配置
sql_alchemy_conn = mysql://root:FinanceR@localhost:3306/airflow
1
sql_alchemy_conn = mysql://root:FinanceR@localhost:3306/airflow
注意到,之前使用的 mysql+driver://root:FinanceR@localhost:3306/airflow的方式是行不通的。
初始化服务器的数据库
airflow initdb
1
airflow initdb
airflow webserver
1
airflow webserver
就可以开启后台管理界面,默认访问localhost:8080即可。
步骤四:修改数据源配置
通过create按钮,添加相应的参数
步骤五:解决中文字符集显示问题
注意到 airflow 的所有py文件都声明了 utf-8 字符集
# -- coding: utf-8 --
1
# -- coding: utf-8 --
如果需要显示中文,需要在extra选项中添加
{"charset":"utf8"}的配置

多台主机,就集群软件来管理。有些计算软件是没有集群版本的,就需要用一台服务器插多个处理器的服务器来计算。

你可以看看国产品牌正睿的这款双路八核服务器,标配一个Xeon E5-2450八核心十六线程处理器、16G DDR3 REG ECC容错校验内存,SAS 300G 15000转高速企业级硬盘,2U热插拔机构,可以在不关机的情况下增加或更换硬盘,2个千兆网卡。如果以后随着业务量的增长,觉得性能不够用了,还可以扩展到两颗处理器,达成16颗处理核心32条计算线程(任务管理器那里可以看到32个处理器格子,相当恐怖- -~),最大支持384GB DDR3 REG ECC高速容错校验内存,怎么也够用了。

产品型号:I2TS3-8888
产品类型:双路八核塔式服务器
处 理 器:Xeon E5-2450
内 存:16G DDR3 REG ECC
硬 盘:SAS 300G
机 构:塔式
价 格:¥19900

银牌服务
全国三年免费上门售后服务,关键部件三年以上免费质保。

建议你增加到2个CPU,达到物理16核心,32个计算线程,硬盘增加到2个做RAID1阵列
保障数据安全,即使坏掉一个硬盘,数据也不会丢失。两个硬盘同时坏掉的可能性就太低啦。

给你推荐的是国产品牌正睿的服务器产品,他们的产品性价比很高,做工很专业,兼容性,质量之类的都有保障,售后也很完善,3年免费质保,3年免费上门售后服务,在业界口碑很不错。


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zz/13461972.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-08-11
下一篇 2023-08-11

发表评论

登录后才能评论

评论列表(0条)

保存