如何重新获得机器码

如何重新获得机器码,第1张

打开视频获取机器码,到综合班机器码提交版块提交机器码!我们会到会计算的!>

Android手写热修复(一)--ClassLoader

我们平时编写的 java 文件不是可执行文件,需要先编译成 class 文件才可以被虚拟机执行。所谓类加载是指通过 类加载器 把class文件加载到虚拟机的内存空间,具体来说是方法区。类通常是按需加载,即第一次使用该类时才加载。

首先,Java与Android都是把类加载到虚拟机内存中,然后由虚拟机转换成设备识别的机器码。但是由于二者使用的虚拟机不同,所以在类加载方面也是有所区别的。Java的虚拟机是JVM,Android的虚拟机是dalvik/art(50以后虚拟机是art,是对dalvik的一种升级)。 Java虚拟机运行的是class文件,而Android 虚拟机运行的是dex文件。 dex其实是class文件的集合,是对class文件优化的产物,是为了避免出现重复的class。

从上面的讲解中,我们已经知道我们平时写的类是被 类加载器 加载尽虚拟机内存才能运行。下面就通过Framework源码来为大家讲解Android中最主要的5个类加载器。

在Activity做个简单验证:

结果:

可以看出系统类由BootClassLoader加载,apk中的类由PathClassLoader加载,PathClassLoader的父类加载器是BootClassLoader。如果暂时不能理解父类加载器是什么,没关系,后面讲双亲委托机制的时候会理解的。

下面的源码解析基于 Android SDK API28 ,这几个类加载器(除了ClassLoader)没办法直接在AS上查看源码,AS搜索到的是反编译的class的内容,是不可信的,为大家推荐一个在线工具查看, 在线查看Android Framework源码 。

用来加载本地文件系统上的文件或目录,通常是用来加载apk中我们自己写的类,而像 Activityclass 这种系统的类不是由它加载。注意:这里,并不像很多网上文章说的那样只能加载apk,本地的其他目录的文件也是可以的,这一点我会在后面验证说明。

也是被用来加载 jar 、apk、dex,通常用来加载未安装到应用中的文件。注意,它需要一个应用私有的可写的目录来存放优化后的dex文件。千万不要选择外部存储路径,因为这样可能会导致你的应用遭到注入攻击。

关于dex文件优化,可能很多人还是不理解,水平有限,我简单解释一下,

构造器参数解释:

关于optimizedDirectory:

1、这是dex优化后的路径,它必须是一个应用私有的可写的目录否则会存在注入攻击的风险;

2、这个参数在API 26(80)之前是有值的,之后的话,这个参数已经没有影响了,因为在调用父构造器的时候这个参数始终为null,也就是说Android 80 以后DexClassLoader和PathClassLoader基本一样的来;

3、在加载app的时候,apk内部的dex已经执行过优化了,优化之后放在系统目录/data/dalvik-cache下。

这个构造器的关键是初始化了一个DexPathList对象,这个是后面加载class的关键类。

这个构造方法等关键是通过 makeDexElements() 方法来获取Element数组,这个Element数组非常关键,后面查找class就会用到它,也是热修复的关键点之一。

splitDexPath(dexPath) 方法是把dexPath目录下的所有文件转换成一个File集合,如果是多个文件的话,会用 : 作为分隔符。

makeDexElements()

小结一下,这个方法就是把指定目录下的文件apk/jar/zip/dex按不同的方式封装成Element对象,然后按顺序添加到Element[]数组中。

DexPathList#loadDexFile()

可以看到 DexFile 最终是调用了openDexFile、native方法openDexFileNative去打开Dex文件的,如果outputName为空,则自动生成一个缓存目录,具体来说是 /data/dalvik-cache/xxx@classesdex 。openDexFileNative这个native方法就不具体分析了,主要是对dex文件进行了优化 *** 作,将优化后得odex文件通过mmap映射到内存中。感兴趣的同学可以参考:

《DexClassLoader和PathClassLoader加载Dex流程》

现在在回头看看DexClassLoader与PathClassLoader的区别。DexClassLoader可以指定odex的路径,而PathClassLoader则采用系统默认的缓存路径,在80以后没有区别。

ClassLoader是一个抽象类,有3个构造方法,最终调用的还是第一个构造方法,主要功能是保存实现类传入的parent参数,也就是父类加载器。ClassLoader的实现类主要有2个,一个是前面讲过的BaseDexClassLoader,另一个是BootClassLoader。

BootClassLoader是ClassLoader的内部类,而且继承了ClassLoader。

这是加载一个类的入口,流程如下:

1、 先检查这个类是否已经被加载,有的话直接返回Class对象;

2、如果没有加载过,通过父类加载器去加载,可以看出parent是通过递归的方式去加载class的;

3、如果所有的父类加载器都没有加载过,就由当前的类加载器去加载。

通常我们自己写的类是通过当前类加载器调用 findClass 方法去加载的,但是在 ClassLoader 中这是个空方法,具体的实现在它的子类 BaseDexClassLoader 中。

BaseDexClassLoader # findClass

可以看到是通过pathList去查找class的,这个对象其实之前讲过,它是在BaseDexClassLoader 的构造方法中初始化的,它实际上是一个 DexPathList 对象。

DexPathList # findClass()

对Element数组遍历,再通过Element对象的 findClass 方法去查找class,有的话就直接返回这个class,找不到则返回null。 这里可以看出获取Class是通过DexFile来实现的,而各种类加载器 *** 作的是Dex。Android虚拟机加载的dex文件,而不是class文件。

1、加载一个类是通过双亲委托机制来实现的。

2、如果是第一次加载class,那是通过 BaseDexClassLoader 中的findClass方法实现的;接着进入 DexPathList 中的findClass方法,内部通过遍历Element数组,从Element对象中去查找类;Element实际上是对Dex文件的包装,最终还是从dexfile去查找的class。

3、一般app运行主要用到2个类加载器,一个是PathClassLoader:主要用于加载自己写的类;另一个是BootClassLoader:用于加载Framework中的类;

4、热修复和插件化一般是利用DexClassLoader来实现。

5、PathClassLoader和DexClassLoader其实都可以加载apk/jar/dex,区别是 DexClassLoader 可以指定 optimizedDirectory ,也就是 dex2oat 的产物 odex 存放的位置,而 PathClassLoader 只能使用系统默认位置。但是在80 以后二者是没有区别的,只能使用系统默认的位置了。

这张图来源于:

Android虚拟机框架:类加载机制

在类加载流程分析中,我们已经知道,查找class是通过DexPathList来完成的,实际上DexPathList最终还是遍历其Element数组,获取DexFile对象来加载Class文件。 由于数组是有序的,如果2个dex文件中存在相同类名的class,那么类加载器就只会加载数组前面的dex中的class。如果apk中出现了有bug的class,那只要把修复的class打包成dex文件并且放在 DexPathList 中Element数组`的前面,就可以实现bug修复了 。下一篇为大家带来的手写热修复。

Android类加载机制的细枝末节

从JVM到Dalivk再到ART(class,dex,odex,vdex,ELF)

类加载机制系列2——深入理解Android中的类加载器

Android 热修复核心原理,ClassLoader类加载

在Android50以后,谷歌彻底抛弃Dalvik,采用ART,那么这两种虚拟机有什么区别呢?

首先介绍一下dex文件,全名是Dalvik Executable,是一种专门为Dalvik设计的可运行的压缩格式。

区别在于:字节码的编译

在Dalvik下,应用每次运行时都会执行转换机器码 *** 作。

在ART(Android Runtime)下,应用在第一次安装的时候,字节码就会预先转换成机器码。

优点:运行快。

缺点:

1机器码占用的存储空间更大;

2应用的安装时间会变长;

一、概述

我们知道Android的程序虽然也是使用Java/Kotlin语言编码,并生成class字节码,但并不能直接运行在JVM上,而是运行在自己的VM上。而Android程序之所以不能在JVM上运行的根本原因是class字节码文件并不是Android的最终可执行文件(执行效率问题),而是一个过渡产物,最终会生成dex文件在Android VM上执行。

11 Android虚拟机分类:

Android VM大体分为两种: Dalvik 虚拟机和 ART虚拟机。

Dilvik 虚拟机:Android 50 版本之前。

ART虚拟机:Android 50 版本全面使用。

12 虚拟机的演变及优化:

Android 10,使用Dalvik作为Android虚拟机运行环境,此时的虚拟机是一个解释执行器。

Android 22,Android 虚拟机中加入了JIT编译器(Just-In-Time Compiler)。

Android 44,全新的ART虚拟机运行环境诞生,此时ART和Dalvik是共存的,用户可以在两者之间进行选择。

Android 50,ART全面取代了Dalvik成为了Android虚拟机运行环境,并使用AOT预编译技术在安装Apk时全量预编译 。

Android 70,ART虚拟机采用 JIT/AOT混合编译模式。

二、Dalvik

Dalvik是Google公司自己设计用于Android平台的虚拟机,它是Android平台的重要组成部分,支持dex格式(Dalvik Executable)的Java应用程序的运行。dex格式是专门为Dalvik设计的一种压缩格式,适合内存和处理器速度有限的系统。Google对其进行了特定的优化,经过优化的Dalvik,具有高效、简洁、节省资源的特点,同时还允许在有限的内存中同时运行多个虚拟机的实例,并且每一个Dalvik 应用作为一个独立的Linux进程执行。独立的进程可以防止在虚拟机崩溃的时候所有程序都被关闭。

21 Dalvik和JVM的区别

Dalvik 基于寄存器,而 JVM 基于栈。

指令数量:基于寄存器的 *** 作指令,会增加 *** 作数的大小(劣势),但是会大大减少 *** 作指令的数量(优势)

*** 作效率:基于寄存器(CPU上)的指令 *** 作速度比基于 *** 作数栈(主存)的速度快。

移植性:基于寄存器执行效率好,但是可移植性差,难跨平台。

Dalvik虚拟机有共享机制,不同应用之间在运行时可以共享相同的类,拥有更高的效率。

22 JIT(Just-In-Time Compile)

Android 22之前,Dalvik虚拟机是通过解释器 (解释器逐条读入字节码 -> 逐条翻译成机器码 -> 执行机器码)来执行程序的,效率低。针对这个问题,引进了JIT(即时编译器)技术。它是一种优化手段。

JIT技术:将解释过的机器码缓存起来,下次再执行时到这个方法的时候,则直接从缓存里面取出机器码来执行。减少了读取字节码和翻译字节码的 *** 作。以此来提高效率。JIT技术的引入使得Dalvik的性能提升了3~6倍。

注意: 并不是所有执行过的代码对应的机器码都会被缓存起来。而是只有被认定为热点代码(Hot Spot Code) 的代码才会。这里所指的热点代码主要有两类,包括:

被多次调用的方法

被多次执行的循环体(虽然只是循环体被多次执行,但仍是将整个方法的机器码缓存起来)。

缺点: JIT技术的缺点:

每次重新启动引用都需要重新编译。

运行时比较耗电。

三、ART 虚拟机

ART虚拟机在Android 50开始替换Dalvik虚拟机,其处理应用程序执行的方式不同于Dalvik虚拟机,它不使用JIT而是使用了AOT(Ahead-Of-Time),也就是提前编译技术。并对垃圾收集器也进行了改进和优化。

预先编译机制(AOT)可提高应用的性能。同时ART 还具有比 Dalvik 更严格的安装时验证。

31 AOT(Ahead-Of-Time)预先编译技术

AOT(提前编译技术): 简单来说就是提前将字节码转换成本地机器码,然后存储在本地磁盘上,运行时可以直接执行,避免了Dalvik时期的应用运行时再来解释字节码。运行时效率大大提高。

在Android 70 之前,Android系统安装Apk时,会进行一次全量预编译,将字节码预先编译成本地机器码,生成 oat文件,并存储在本地磁盘上。这样在App每次运行时就不需要重新编译,可以直接使用编译好本地机器码,运行效率大大提升。但是这也使得安装应用的时间大大增加,于是在Android70及之后,又重新引进了JIT技术,形成JIT/AOT混合编译模式。

混合编译的特点:

应用在安装的时候,不进行AOT预编译。

应用运行时直接通过解释器翻译字节码为机器码然后执行。(在应用运行期间使用了JIT技术)并同时记录热点代码信息到profile文件中。

手机进入空闲或充电状态的时候,系统会扫描APP目录下的profile文件,并通过AOT对热点代码进行编译。

下一次启动时,会根据profile文件来运行已编译好的机器码,避免在运行时对已经转换为机器码的方法又进行了JIT编译。

应用运行期间会持续对热点代码进行记录,以方便在空闲或充电时进行AOT,以此循环。

使用JIT编译器来对AOT编译器进行补充,降低了Apk安装的时间,提升了运行时性能,节省了存储空间,加快应用运行速度。

小结:

Android 70以前,采用AOT全量预编译,Apk安装时预编译dex生成对应的机器码文件。但预编译量大导致Apk安装时间长。

Android 70及之后,采用JIT/AOT混合编译模式,根据对应的profile在空闲时进行AOT预编译。

参考: 实现 ART 即时 (JIT) 编译器

32 Dalvik与ART虚拟机的区别

Dalvik每次都要编译再运行,Art只会安装时启动编译(70之前全量预编译)。

Art占用空间比Dalvik大(原生代码占用的存储空间更大),就是用“空间换时间”。

Art减少编译,减少了CPU使用频率,使用明显改善电池续航。

Art应用启动更快、运行更快、体验更流畅、触感反馈更及时。

33 Interpreter解释器、JIT、AOT的在ART上的使用

解释器: 逐条读入字节码 -> 逐条翻译成机器码 -> 执行机器码,重复执行同一代码时需要重新翻译执行。

JIT编译器: 对运行时的热点代码(热点代码)进行编译,且缓存在内存中,当下次继续执行时,直接从内存中获取,减少重复编译。

AOT编译器: 在运行前将字节码转换为机器码,在运行时直接运行转换后的机器码。

在这里插入描述

34 垃圾回收方面的优化

Android虚拟机(Dalvik && ART)学习

四、Android中的几种文件

41 Apk文件

APK 文件其实是 zip 格式,在Window平台上可以直接将后缀格式改为zip进行解压。解压后的目录如下图所示:

在这里插入描述

文件名 说明

META-INF/ 信息描述,签名等用途。编译生成一个apk包时,会对所有要打包的文件做一个校验计算,并把计算结果放在META-INF目录下。而在Android手机上安装apk包时,应用管理器会按照同样的算法对包里的文件做校验,如果校验结果与META-INF下的内容不一致,系统就不会安装这个apk。这就保证了apk包里的文件不能被随意替换

res/ 存放资源文件

libs/ 存放的是 ndk 编出来的 so 库

AndroidManifestxml 程序全局清单文件

classesdex dalvik 字节码

resourcesars 编译后的二进制资源文件,主要是对应的索引

assets/ 保留工程中assets目录,其他工程下的、jar包中的assets也会合并到该assets目录下。

42 dex文件

dex 文件是可被Dalvik虚拟机识别并执行的文件, Dalvik 会执行 dex 文件中的 dalvik 字节码,但一般Dalvik在执行dex优化后的文件(即odex文件)。

dex文件特点:

dex文件是Android系统中的一种文件,是一种特殊的数据格式,和Apk、jar等格式文件类似。

文件更加紧凑:dex文件是能够被DVM识别,加载并执行的文件格式。相比于Jar文件,dex会把所有包含的信息整合在一起,减少冗余信息,从而降低了加载文件时的I/O耗时,提高类的查找速度。

dex文件包含应用程序的全部 *** 作指令和运行时数据。

相对于PC上的JVM能运行 class文件,Android上的Dalvik虚拟机能运行 dex 文件。

dex文件和 class文件的格式对照:

在这里插入描述

dex 文件结构:

在这里插入描述

43 引起dex文件65535问题的原因

当Android系统启动一个Apk时,会通过 dexopt 工具对dex进行优化。dexopt 的执行过程是在第一次加载dex文件的时候执行的。这个过程会生成一个odex文件,即Optimised Dex (执行odex的效率会比直接执行Dex文件的效率要高很多)。但早期Android系统中, dexopt 有一个问题(即65535问题)。dexopt会把每一个类的方法id检索起来,存在一个链表结构里面。但是这个链表的长度是用一个 short类型(2^16=65536)来保存的,导致了方法id的数目不能够超过65536个。

44 odex文件 (Optimized DEX)

背景: 对Android dex文件进行优化来说,需要注意的一点是dex文件的结构是紧凑的,但是我们还是要想方设法进行运行速度的提高,因此我们仍然需要对dex文件进一步优化。

odex文件的使用场景:

安装阶段: Apk在安装时,系统会进行验证和优化,目的是为了校验代码合法性及优化代码执行速度。当验证和优化后,系统会从Apk中提取dex文件进行优化,并将优化后的产物(odex文件)保存到 data/dalvik-cache 目录下。

运行阶段: 当运行Apk的时候,会直接加载odex文件,避免重复验证和优化,加快了Apk的响应时间。

odex 文件的生成过程:

Android 50之前:Dalvik虚拟机

Dalvik虚拟机会在执行dex文件前对dex文件做优化,生成可执行文件odex,保存到 data/dalvik-cache 目录,最后把Apk文件中的dex文件删除。

注意: 此时生成的odex文件后缀依然是dex ,它是一个dex文件,里面仍然是字节码,而不是本地机器码。

Android50 <= Version < Android 80 (Android O):ART虚拟机

Android50之后使用ART虚拟机,ART虚拟机使用AOT预编译生成oat文件。oat文件是ART虚拟机运行的文件,是ELF格式二进制文件。oat文件包含dex和编译的本地机器指令,因此比Android50之前的odex文件更大。

oat文件生成过程:

App在首次安装的时候,dex2oat 工具默认会把 dex文件翻译成本地机器指令,生成ELF格式的OAT文件,并将其放在了 /data/dalvik-cache 或 /data/app/packagename/ 目录下,此时oat文件后缀格式为odex。

ART加载oat文件后不需要经过处理就可以直接运行,它在编译时就从字节码装换成机器码了,因此运行速度更快。

Dalvik虚拟机执行程序dex文件前,系统会对dex文件做优化,生成可执行文件odex,保存到 data/dalvik-cache 目录,最后把apk文件中的dex文件删除。 (注意:此时生成的odex文件后缀依然是dex ,它是一个dex文件,里面仍然还是字节码,而不是本地机器码。)

注意: Android50及之后版本生成的 oat文件后缀还是odex,但是已经不是android50 及之前版本的文件格式,而是ELF格式封装的本地机器码。可以认为oat在dex上加了一层壳,可以从oat里提取出dex。

Android O及之后(>=Android 80):ART虚拟机

Android 80及之后版本,dex2oat会直接生成两个oat文件 (即vdex文件 和 odex文件)。其中 odex 文件是从vdex 文件中提取了部分模块生成的一个新的可执行二进制码文件,odex 从vdex 中提取后,vdex 的大小就减少了。

文件生成过程:

App在首次安装的时候,odex 文件就会生成在 /system/app/<packagename>/oat/ 下。

在系统运行过程中,虚拟机将其 从/system/app 下 copy 到 /data/davilk-cache/ 下。

odex + vdex = Apk 的全部源码 (vdex 并不是独立于odex 的,文件 odex + vdex 才代表一个Apk )。

odex 的优点和缺点:

优点:

启动快: 省去了系统第一次启动应用时从Apk文件中读取dex文件,并对dex文件做优化的过程。和

对RAM的占用(Apk文件中的dex如果不删除,同一个应用就会存在两个dex文件:apk中和 data/dalvik-cache 目录下)。

安全性:防止第三方用户反编译系统的软件(odex文件是跟随系统环境变化的,改变环境会无法运行;而apk文件中又不包含dex文件,无法独立运行)

劣势:

优化后的odex文件大小通常是原dex文件的1~4倍 (空间换时间)。

45 vdex文件

vdex文件是 Android O (Android 80) 新增的格式包,其目的是为了降低dex2oat时间。

dex2oat的触发场景:

当系统OTA (系统升级) 后,用户自己安装的应用是不会发生任何变化的,但 framework 代码已经发生了变化,因此就需要重新对这些应用也做dex2oat。如果没有vdex文件,则需要重新校验Apk里dex文件合法性;如果存在vdex文件,就可以省略校验的过程,节省一部分时间。

当App的 JIT Profile 信息变化时,background dexopt会在后台重新做dex2oat,因为有了vdex,这个时候也可以直接跳过dex文件的校验流程。

dex 文件直接转化的可执行二进制码文件:

App在首次安装的时候,vdex文件就会生成在 /system/app/<packagename>/oat/下。

在系统运行过程中,虚拟机将其从 /system/app 下 copy 到 /data/davilk-cache/ 下。

46 art文件

art文件是由虚拟机执行odex文件后,记录虚拟机执行Apk启动的常用函数地址信息后生成出来的文件(记录函数地址信息方便寻址),目的 是用于加快应用启动速度。通常会在data/dalvik-cache/ 目录中保存常用的jar包的相关地址记录。

第一次开机不会生成在 /system/app/<packagename>/oat/ 下,以后也不会。

odex 文件在运行时,虚拟机会计算函数调用频率,进行函数地址的修改。

最后在 /data/davilk-cache/ 由虚拟机生成 art文件(art文件生成)。

生成 art文件后,/system/app 下的odex 和 vdex 会无效,即使你删除,apk也会正常运行。

push 一个新的apk file 覆盖之前 /system/app 下Apk file ,会触发 PMS 扫描时下发 force_dex 的flag ,强行生成新的vdex 文件 ,覆盖之前的vdex 文件,由于某种机制,这个新vdex 文件会copy到 /data/dalvik-cache/ 下,于是 art 文件也变化了。

47 oat文件

ART虚拟机运行的是oat文件,oat文件是一种Android私有ELF文件格式,oat文件包含有从dex文件翻译而来的本地机器指令,还包含有原来的dex文件内容(如下图所示),因此oat文件比odex文件更大。APK在安装的过程中,会通过dex2oat工具生成一个OAT文件(文件后缀还是odex)。对于apk来说,oat文件实际上就是对odex文件的包装,即oat=odex。

注意: Android50 及之后的版本,oat文件的后缀还是odex,但是已经不是android50 之前的文件格式,而是ELF格式封装的本地机器码。可以认为oat在dex上加了一层壳,可以从oat里提取出dex。

以上就是关于如何重新获得机器码全部的内容,包括:如何重新获得机器码、Android类加载(一)——DVM、ART、Dexopt、DexAot名词解析、Android类加载机制等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/web/9539851.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-29
下一篇 2023-04-29

发表评论

登录后才能评论

评论列表(0条)

保存