大数据任务的日志,首先保存于本地,但本地存储能力有限,且检索时需要切不同服务器,不够方便
Yarn Log Aggregation的主要功能,是将本地日志移动到HDFS或者云存储
2. 聚合开关日志的重要性
错误定位历史分析
yarn.log-aggregation-enable,yarn日志聚合功能开关
true表示开启 3. 存储路径 3.1. 本地存储
yarn.nodemanager.local-dirs,本地化文件存储目录,如JAR包、配置文件,参考值/hadoop/yarn/localyarn.nodemanager.log-dirs,本地日志存储目录,参考值/hadoop/yarn/log
参考
/hadoop/yarn/local/usercache/root/filecache/7517663/hutool-core-5.6.5.jar3.2. HDFS存储
remote-app-log-dir,聚合后日志在HDFS存放的目标目录,参考值/app-logsremote-app-log-dir-suffix,日志目录标识,应用日志将存放于HDFS目录${remote-app-log-dir}/${user}/${remote-app-log-dir-suffix},参考值logs
示例
[root@bd81 init]# hadoop fs -ls /app-logs/hive/logs Found 19 items drwxrwx--- - hive hadoop 0 2022-01-07 14:59 /app-logs/hive/logs/application_1640935048479_3846 drwxrwx--- - hive hadoop 0 2022-01-07 15:00 /app-logs/hive/logs/application_1640935048479_3848 drwxrwx--- - hive hadoop 0 2022-01-07 15:00 /app-logs/hive/logs/application_1640935048479_3851 drwxrwx--- - hive hadoop 0 2022-01-07 15:01 /app-logs/hive/logs/application_1640935048479_38524. 存储格式
yarn.log-aggregation.file-formats,日志存储格式:TFile、IFile
IFile是在TFile的基础上,增加索引功能 (IFile的I = Indexed),所以它的检索速度要快于TFile
除了内置的2种文件格式,也支持自定义格式
5. 存储期限yarn.log-aggregation.retain-seconds,日志保留时限,默认7天yarn.nodemanager.delete.debug-delay-sec,本地文件、日志保留时限,0表示不删除
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)