在安卓手机上原生运行docker

前言

之前的文章(香橙派5plus上跑云手机方案一 redroid(带硬件加速))在Ubuntu的docker里运行安卓，这里说下怎么在安卓手机下运行docker，测试也可以跑Ubuntu。

想在手机上运行docker想的不是一天两天了，其实很久之前就有这个想法了，只是奈何安卓内核一直编译不通过。现在觉得过了那么久，技术应该有点提升了，觉得我又行了，所以又来试试。

测试用的手机是从闲鱼淘的一个一加七Pro(12+256G)，使用的系统是Lineageos19.1，后面放出我运行的刷机包和编译的boot文件，你直接刷进手机应该就能运行了。

检查内核配置

首先检查下当前的安卓内核确实哪些运行docker需要的内核配置

先下载https://raw.githubusercontent.com/moby/moby/master/contrib/check-config.sh推送到手机的/data/local/tmp下: adb push check-config.sh /data/local/tmp/check-config.sh

然后使用adb root切换到root(需要再开发者模式里开启允许root调试)，接着运行sh /data/local/tmp/check-config.sh查看。缺少的其实挺多

编译内核

要想在手机上原生运行docker，修改内核参数重新编译内核这个是绕不过去的，所以先开始编译内核。lineage的内核编译比较简单，如果下载系统源码来编译的话基本没什么坑，这里就不多说了。有兴趣的可以看之前的文章：

为一加七Pro(LineageOs17.1 4.14内核版本)编译KernelSu
wsl2-ubuntu20编译Lineage17(Android10)

运行docker也需要root权限，所以会将kernelsu一起编译进去，这里也不赘述了。

修改内核参数

先说一下修改内核参数的流程：

cd kernel/oneplus/sm8150 进到对应的内核源码根目录

export ARCH=arm64 指定内核编译的平台，不指定默认是x86

export SUBARCH=arm64

export CROSS_COMPILE=aarch64-linux-gnu-

make vendor/sm8150-perf_defconfig 通过这个文件生成.config

make menuconfig 启动内核编辑菜单

make savedefconfig 保存.config文件为defconfig，至于这个和手动修改有什么区别就没细究了，反正都推荐用这个

mv defconfig arch/arm64/configs/vendor/sm8150-perf_defconfig 覆盖原先的内核配置文件，建议先备份一下原先的文件

rm .config

make可能有一个错误提示/bin/sh: 1: aarch64-linux-gnu-gcc: not found，通过搜索看到这个问答^[1]说应该是缺少包：sudo apt-get install gcc-aarch64-linux-gnu

配置

这里为了方便直接抄别人的内核配置放到.config文件里: https://yzddmr6.com/posts/android-run-docker/

CONFIG_NAMESPACES=y
CONFIG_NET_NS=y
CONFIG_PID_NS=y
CONFIG_IPC_NS=y
CONFIG_UTS_NS=y
CONFIG_CGROUPS=y
CONFIG_CGROUP_CPUACCT=y
CONFIG_CGROUP_DEVICE=y
CONFIG_CGROUP_FREEZER=y
CONFIG_CGROUP_SCHED=y
CONFIG_CPUSETS=y
CONFIG_MEMCG=y
CONFIG_KEYS=y
CONFIG_VETH=y
CONFIG_BRIDGE=y
CONFIG_BRIDGE_NETFILTER=y
CONFIG_IP_NF_FILTER=y
CONFIG_IP_NF_TARGET_MASQUERADE=y
CONFIG_NETFILTER_XT_MATCH_ADDRTYPE=y
CONFIG_NETFILTER_XT_MATCH_CONNTRACK=y
CONFIG_NETFILTER_XT_MATCH_IPVS=y
CONFIG_NETFILTER_XT_MARK=y
CONFIG_IP_NF_NAT=y
CONFIG_NF_NAT=y
CONFIG_POSIX_MQUEUE=y
CONFIG_NF_NAT_IPV4=y
CONFIG_NF_NAT_NEEDED=y
CONFIG_CGROUP_BPF=y
CONFIG_USER_NS=y
CONFIG_SECCOMP=y
CONFIG_SECCOMP_FILTER=y
CONFIG_CGROUP_PIDS=y
CONFIG_MEMCG_SWAP=y
CONFIG_MEMCG_SWAP_ENABLED=y
CONFIG_IOSCHED_CFQ=y
CONFIG_CFQ_GROUP_IOSCHED=y
CONFIG_BLK_CGROUP=y
CONFIG_BLK_DEV_THROTTLING=y
CONFIG_CGROUP_PERF=y
CONFIG_CGROUP_HUGETLB=y
CONFIG_NET_CLS_CGROUP=y
CONFIG_CGROUP_NET_PRIO=y
CONFIG_CFS_BANDWIDTH=y
CONFIG_FAIR_GROUP_SCHED=y
CONFIG_RT_GROUP_SCHED=y
CONFIG_IP_NF_TARGET_REDIRECT=y
CONFIG_IP_VS=y
CONFIG_IP_VS_NFCT=y
CONFIG_IP_VS_PROTO_TCP=y
CONFIG_IP_VS_PROTO_UDP=y
CONFIG_IP_VS_RR=y
CONFIG_SECURITY_SELINUX=y
CONFIG_SECURITY_APPARMOR=y
CONFIG_EXT4_FS=y
CONFIG_EXT4_FS_POSIX_ACL=y
CONFIG_EXT4_FS_SECURITY=y
CONFIG_VXLAN=y 
CONFIG_BRIDGE_VLAN_FILTERING=y
CONFIG_CRYPTO=y 
CONFIG_CRYPTO_AEAD=y
CONFIG_CRYPTO_GCM=y
CONFIG_CRYPTO_SEQIV=y
CONFIG_CRYPTO_GHASH=y 
CONFIG_XFRM=y
CONFIG_XFRM_USER=y
CONFIG_XFRM_ALGO=y
CONFIG_INET_ESP=y
CONFIG_INET_XFRM_MODE_TRANSPORT=y
CONFIG_IPVLAN=y
CONFIG_MACVLAN=y
CONFIG_DUMMY=y
CONFIG_NF_NAT_FTP=y
CONFIG_NF_CONNTRACK_FTP=y
CONFIG_NF_NAT_TFTP=y
CONFIG_NF_CONNTRACK_TFTP=y
CONFIG_AUFS_FS=y
CONFIG_BTRFS_FS=y
CONFIG_BTRFS_FS_POSIX_ACL=y
CONFIG_BLK_DEV_DM=y
CONFIG_DM_THIN_PROVISIONING=y
CONFIG_OVERLAY_FS=y

然后使用make menuconfig在界面上一个一个查看配置的开启情况，发现CONFIG_BRIDGE_VLAN_FILTERING没有开启，查看了下是因为依赖项VLAN_8021Q没有开启

而CONFIG_IPVLAN则是依赖项NET_L3_MASTER_DEV没开启

所以在配置文件里再加上这两个配置，再运行make menuconfig保存

CONFIG_VLAN_8021Q=y
CONFIG_BRIDGE_VLAN_FILTERING=y
CONFIG_NET_L3_MASTER_DEV=y
CONFIG_IPVLAN=y

CONFIG_CGROUP_HUGETLB依赖于HUGETLB_PAGE，但是将这个配置直接加到.config不生效，界面上也不显示具体的开启路径

问了下gpt说是在File systems -> Pseudo filesystems -> HugeTLB file system support，在界面上启用，再在配置文件里加上CONFIG_CGROUP_HUGETLB，再打开界面看到就是启用状态。

准备工作都做完了，然后按照上面的命令保存为defconfig在覆盖原先的内核配置就可以开始编译了

开始编译

这里需要到lineage源码根目录，而不是在内核源码根目录

source build/envsetup.sh breakfast guacamole make bootimage

接着就会出现一个折磨我两周的错误：

aarch64-linux-gnu-ld is not allowed to be used. See https://android.googlesource.com/platform/build/+/master/Changes.md#PATH_Tools for more information.

虽然他给了一个链接让我们从里面看更多信息，链接里也给了解决方法：

但是试了也是没用，

用谷歌搜索也搜不出什么有效的方法，这两天突然想能不能修改它提到的build/soong/ui/build/paths/config.go文件，问了下gpt，它说在config.go里的Configuration里加一行"aarch64-linux-gnu-ld": Allowed,就可以

试了下确实是可以，有时候gpt就很好用。我开始还以为是将ld改成Allowed，因为前面明显是前缀。然后等待几分钟就编译完成了

将生成的boot.img在fastboot模式下用fastboot flash boot boot.img输入手机后启动手机。

检测结果

编译完的内核还有三个地方是红色(missing)

第一处经测试不是内核参数的问题，需要运行一次这行命令：sudo mount -t tmpfs -o uid=0,gid=0,mode=0755 cgroup /sys/fs/cgroup，下面两个无法解决，因为是非必须项，先不管它了。

补丁

有的提到还需要对net/netfilter/xt_qtaguid.c做补丁，但我这个内核代码里没有这个文件就跳过了。

补充

为了避免内核参数有遗漏，我们把https://github.com/lateautumn233/android_kernel_docker里的提到的内核参数也加到.config里，再重新编译一次。

运行docker

目前看到的运行docker有两种方式：

termux
直接运行二进制文件

这里我选择第一种，第一种更成熟一点，很多东西都已经帮我们做好了。

termux

# The main termux repository, with cloudflare cache
deb https://packages-cf.termux.dev/apt/termux-main/ stable main
# The main termux repository, without cloudflare cache
# deb https://packages.termux.dev/apt/termux-main/ stable main

证书错误

使用apt安装包时出现下面的证书无效。

Certificate verification failed: The certificate is NOT trusted. The certificate chain uses not yet valid certificate.

发现是手机的系统时间不对，没有在证书的有效时间内，修改下系统时间就好了。这个我是安装了一个via浏览器去访问百度，也跳出了证书不安全的提示，然后点击证书进去就看到证书有效时间是2023-12到2024-12的范围，而手机的时间是2022，就猜测是时间不对。

换apt源

https://mirrors.tuna.tsinghua.edu.cn/help/termux/

将下面的内容先保存为a.sh，然后用adb push a.sh /data/local/tmp/a.sh

sed -i 's@^\(deb.*stable main\)$@#\1\ndeb https://mirrors.tuna.tsinghua.edu.cn/termux/apt/termux-main stable main@' $PREFIX/etc/apt/sources.list
apt update && apt upgrade

接着在termux终端输入sh /data/local/tmp/a.sh就好了。

远程

apt install openssh

sshd 启动ssh服务

whoami 查看当前用户

passwd 设置密码

当然也可以通过公私钥的方式配置免密登录，这里我先用密码了。安装openssh的时候看提示应该就已经生成了公钥，目录是$PREFIX/etc/shh，然后就和linux免密登录一样了。

$PREFIX这个变量是termux定义的，它类似于linux的根目录，比如linux的/etc目录在termux里就是指$PREFIX/etc，这在后面的docker换源时会用到。

sshd启动的默认端口是8022，我的用户名是u0_a140，在cmd下使用ssh -p 8022 u0_a140@192.168.31.248就能连接了，也可以使用xshell这些工具连接。

切换pkg源

输入termux-change-repo，选择第二个按空格回车，会蓝屏一会(应该还是网络原因，很慢)，等待出现源选择,然后空格勾选阿里的源

先挂载cgroup

需要安装pkg install sudo，并且用kernelsu给termux root权限，不清楚和下面的root-repo包有什么区别

sudo mount -t tmpfs -o uid=0,gid=0,mode=0755 cgroup /sys/fs/cgroup

这个每次重启都需要执行一遍

运行docker

pkg install root-repo && pkg install docker 安装root和docker

这时候需要先配置一下docker源，不然拉取不了镜像

pkg install vim

mkdir -p /data/data/com.termux/files/usr/etc/docker

vim /data/data/com.termux/files/usr/etc/docker/daemon.json

将下面的内容加到这个文件里，记得前面要加个英文逗号

"registry-mirrors": ["https://hub.uuuadc.top","https://docker.anyhub.us.kg","https://dockerhub.jobcher.com","https://dockerhub.icu","https://docker.ckyl.me","https://docker.awsl9527.cn"]

sudo dockerd --iptables=false 运行docker服务

sudo docker run hello-world

这时候启动docker容器会报错，

docker: Error response from daemon: failed to create task for container: failed to start shim: start failed: io.containerd.runc.v2: create new shim socket: listen unix /data/data/com.termux/files/usr/var/run/containerd/s/fca432b16f1e32bdfce67923b7e94f3ab7f741783e5032a938bd6869d8b6d3af: bind: invalid argument: exit status 1: unknown.

这里并不清楚什么原因，但偶然记得之前在酷安上看到一个东西，过去翻了翻^[2]，说是要降级containerd包的版本。先查看下containerd包的版本：

然后下载帖子里这个包，用adb传到手机上(xftp也可以)，然后使用dpkg -i containerd_1.6.21-1_aarch64.deb安装

接着查看版本apt show containerd -a就看到已经安装上了

然后重新启动sudo dockerd --iptables=false，在跑hello-world容器就正常了

试了下跑python也可以，那说明可以在手机跑爬虫了：

Ubuntu镜像也是可以的：

刷机包和boot

https://github.com/kanadeblisst00/docker-in-guacamole

引用链接

[1] https://stackoverflow.com/questions/28565640/build-kernel-with-aarch64-linux-gnu-gcc
[2] https://www.coolapk.com/feed/51581431?shareKey=MmRlNTgxOTVmNjliNjY5M2QwMGU~&shareUid=4285440&shareFrom=com.coolapk.market_14.2.3