分类： Web

APT源的工作原理

引言

最近在折腾自己学校的镜像源，看到差不多20T的硬盘都被塞满了，我是很好奇系统是如何管理这些文件的，于是顺便就研究下APT源的工作原理

原理

在Ubuntu/Debian等系统下，常见的应用安装方式为apt/apt-get
前者可以说是后者的升级版，提供了更友好的命令行界面，包含了apt-get和apt-cache等常用功能，本质上都是基于dpkg的高级包管理工具。
Ubuntu/Debian采用集中式的软件仓库机制，将各式各样的软件包分门别类地存放在软件仓库中，进行有效地组织和管理。由于网络环境的问题，我们可能无法正常访问官方的软件仓库，所以许多镜像服务器被建立，并且时刻保持与官方服务器的同步。在使用apt之前，我们一般都会进行换源处理【脚本】Linux换源汇总
换源主要是修改位于/etc/apt/source.list的源文件，这个文件记录了可获取软件包的镜像站的站点地址。
我们将在其中加入自己的镜像源地址，下列是一个案例

deb http://mirrors.szu.moe/ubuntu jammy main restricted
# deb-src http://mirrors.szu.moe/ubuntu jammy main restricted
deb http://mirrors.szu.moe/ubuntu jammy-updates main restricted
# deb-src http://mirrors.szu.moe/ubuntu jammy-updates main restricted
deb http://mirrors.szu.moe/ubuntu jammy universe
# deb-src http://mirrors.szu.moe/ubuntu jammy universe
deb http://mirrors.szu.moe/ubuntu jammy-updates universe
# deb-src http://mirrors.szu.moe/ubuntu jammy-updates universe
deb http://mirrors.szu.moe/ubuntu jammy multiverse
# deb-src http://mirrors.szu.moe/ubuntu jammy multiverse
deb http://mirrors.szu.moe/ubuntu jammy-updates multiverse
# deb-src http://mirrors.szu.moe/ubuntu jammy-updates multiverse
deb http://mirrors.szu.moe/ubuntu jammy-backports main restricted universe multiverse
# deb-src http://mirrors.szu.moe/ubuntu jammy-backports main restricted universe multiverse
deb http://mirrors.szu.moe/ubuntu jammy-security main restricted
# deb-src http://mirrors.szu.moe/ubuntu jammy-security main restricted
deb http://mirrors.szu.moe/ubuntu jammy-security universe
# deb-src http://mirrors.szu.moe/ubuntu jammy-security universe
deb http://mirrors.szu.moe/ubuntu jammy-security multiverse

镜像源地址遵循以下格式

DebType AddressType://Hostaddress/ubuntu Distribution Component1 Component2.....

其中各字段含义如下所示。
1. DebType表示Deb软件包类型，使用deb表示二进制软件包，使用deb-src表示源码包；
对于大部分用户来说，二进制软件包即可完成安装，二进制软件包会被安装在系统的默认目录下（usr/share和usr/bin）。而源码包需要自己编译安装，但可以自己指定安装位置。
源码可以通过apt-get source PackageName获得，以下是源码安装的一个例子(g2o)

cd g2o
mkdir build && cd build
cmake ..
make -j8 -DCMAKE_INSTALL_PREFIX=/usr/local/g2o/
sudo make install
  1. AddressType表示访问地址类型，常用类型有：http、https、ftp、file、cdrom、ssh等；
    目前一般镜像源支持前两个，ftp少部分支持。
  2. Distribution表示Ubuntu的各个发行版本，例如dapper、feisty；
    本样例中jammy代表Ubuntu 22.04 LTS版本的代号
    其中-security（安全相关）、-proposed（测试版）、-updates（更新相关）、-backports（向后移植/兼容）
  3. Component表示软件包组件类别，是由技术支持程度不同而划分的类别，可选择main、restricted、universe和multiverse中的一种或多种。
    main:完全的自由软件。
    restricted:不完全的自由软件。
    universe:ubuntu官方不提供支持与补丁，全靠社区支持。
    muitiverse：非自由软件，完全不提供支持和补丁。

软件源配置文件只是告知系统可以访问的镜像站点地址，但那些镜像站点具体都拥有什么软件资源并不清楚。若每安装一个软件包，就在服务器上寻找一遍，效率是很低的。因而镜像源提供了索引文件，以便本地主机查询apt update即更新索引文件

root@aurora-rsync:/home/aurora# apt update
Get:1 http://mirrors.szu.moe/ubuntu jammy InRelease [270 kB]
Hit:2 http://mirrors.szu.moe/ubuntu jammy-updates InRelease
Hit:3 http://mirrors.szu.moe/ubuntu jammy-backports InRelease
Hit:4 http://mirrors.szu.moe/ubuntu jammy-security InRelease
Fetched 270 kB in 1s (372 kB/s)
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
root@aurora-rsync:/home/aurora# cat /var/log/nginx/access.log
192.168.239.252 - - [13/Mar/2023:03:03:54 +0800] "GET /ubuntu/dists/jammy/InRelease HTTP/1.1" 200 270087 "-" "Debian APT-HTTP/1.3 (2.4.8) non-interactive"
192.168.239.252 - - [13/Mar/2023:03:03:54 +0800] "GET /ubuntu/dists/jammy-updates/InRelease HTTP/1.1" 304 0 "-" "Debian APT-HTTP/1.3 (2.4.8) non-interactive"
192.168.239.252 - - [13/Mar/2023:03:03:54 +0800] "GET /ubuntu/dists/jammy-backports/InRelease HTTP/1.1" 304 0 "-" "Debian APT-HTTP/1.3 (2.4.8) non-interactive"
192.168.239.252 - - [13/Mar/2023:03:03:54 +0800] "GET /ubuntu/dists/jammy-security/InRelease HTTP/1.1" 304 0 "-" "Debian APT-HTTP/1.3 (2.4.8) non-interactive"

对于update，会根据源的相关设置访问/ubuntu/dists/（设置的Distribution）/InRelease的文件，这个也是一个索引，记录了有哪些相应平台的包存储在服务器上

 b96c0cfe911414e1b7f2df5c88844369          1192665 main/binary-amd64/Packages.gz
 84a735928def889314d9d28d0819425c          1068823 main/binary-arm64/Packages.gz
 6a1ab8e4d5aa235c81e2e036e01e9926           775999 main/binary-armhf/Packages.gz
 8d8471fdecfb661f6580df6096a53c6a           570121 main/binary-i386/Packages.gz
 3a43d2dda28cf2e7e1d885484a1ce249           732797 main/binary-ppc64el/Packages.gz
 8ac0edaecf66d4bd0631294a7908154b           690004 main/binary-riscv64/Packages.gz
 fb78c7c1b05b2dba72b8ec6d99bb6462           717683 main/binary-s390x/Packages.gz

系统会根据自己的平台下载相应的包索引，本平台为amd64，所以访问main/binary-amd64/Packages.gz下载
下列出的是其中的一部分，索引中包含如下信息
包名，优先级，类型，维护者，架构，源文件（source），版本号，依赖包，冲突性信息，包大小，文件的下载路径，MD5sum，SHA1，包描述，Xul-Appid—应用程序id，Bugs信息，Origin，Supported

......
Package: accountsservice
Architecture: amd64
Version: 22.07.5-2ubuntu1.3
Priority: optional
Section: gnome
Origin: Ubuntu
Maintainer: Ubuntu Developers <ubuntu-devel-discuss@lists.ubuntu.com>
Original-Maintainer: Debian freedesktop.org maintainers <pkg-freedesktop-maintainers@lists.alioth.debian.org>
Bugs: https://bugs.launchpad.net/ubuntu/+filebug
Installed-Size: 500
Depends: dbus (>= 1.9.18), libaccountsservice0 (= 22.07.5-2ubuntu1.3), libc6 (>= 2.34), libglib2.0-0 (>= 2.63.5), libpolkit-gobject-1-0 (>= 0.99)
Recommends: default-logind | logind
Suggests: gnome-control-center
Filename: pool/main/a/accountsservice/accountsservice_22.07.5-2ubuntu1.3_amd64.deb
Size: 69728
MD5sum: a2acf0a225e2c30ccb985a66a4dfb848
SHA1: 1c2b73bc5c72bc44cade5ef6fa444dbea1ea69ec
SHA256: f8ed006eb680e9d8a9b55af88b3786f6892d6d2764586ec4853cf954da119596
SHA512: 9496d225169db5524f7bf9c0fb1cbdfac3ab6261b4725ed56c282d5865678881c8841c539a5b87182306ed66dcc9225a15986083dc72cf7433a30bf601507cc7
Homepage: https://www.freedesktop.org/wiki/Software/AccountsService/
Description: query and manipulate user account information
Task: ubuntu-desktop-minimal, ubuntu-desktop, ubuntu-desktop-raspi, kubuntu-desktop, xubuntu-core, xubuntu-desktop, lubuntu-desktop, ubuntustudio-desktop-core, ubuntustudio-desktop, ubuntukylin-desktop, ubuntu-mate-core, ubuntu-mate-desktop, ubuntu-budgie-desktop, ubuntu-budgie-desktop-raspi
Description-md5: 8aeed0a03c7cd494f0c4b8d977483d7e
......

然后apt再将Packages.gz里面的信息以某种数据结构形式导入本地数据库以便快速查找，即完成了
“`apt update“`的一系列操作
其后的`apt install`会借助上述Depends信息自动安装相关依赖，而源码安装则需要自己配置依赖了，所以现在十分不推荐使用

题外话

二进制安装好像是最近（2016年）才开始流行的，可能是因为计算和存储能力有了阶段性提升。Python也采用的是二进制安装与编译安装相结合的方式，二进制安装会从源上下载一个whl后缀的文件，whl格式本质上是一个压缩包，里面包含了py文件，以及经过编译的pyd文件。使得可以在不具备编译环境的情况下，选择合适自己的python环境进行安装。
二进制安装更加简单和快速，不需要用户花费时间和精力去编译源代码，处理编译过程中出现的错误和问题，考虑不同的编译器和命令，也不需要用户管理不同的依赖库。与之相对应的会占用服务器资源（编译源代码），以及存储不同平台的二进制文件。

奇思妙想？

根据上述结论，我们可以通过修改APT源中的Packages.gz文件，在其中添加/修改某些包地址，使其变成恶意文件，如果没有相关签名/校验环节，理论上我们可以完成一次供应链攻击。
所以一般来说要使用足够信任的源，具体实现有待测试。
Todo:APT源实现供应链攻击

【日记】Web方向入门的一些小建议

转眼大一已经过去了，然而大学生活才刚刚开始。回想2021年10月，我打的第一场CTF比赛，我参加了Aurora的新生赛，这是我参加的第一场比赛，那是我第一次接触网络安全。在那将近一天的时间里，我现学现卖，从我最擅长的Web题开始到需要捣鼓的Misc题，我完成了不少挑战，也在新生赛获得了不错的成绩，以此加入了深大的Aurora战队。

在篡权之后登录自己学校的靶场，发现之前的提交记录都被我干掉了，有点惋惜。
file

继续阅读【日记】Web方向入门的一些小建议

【Web】Anaconda介绍、安装及使用

介绍

Anaconda是Python和Conda的组合包，里面附带了不少科学计算使用的Python依赖，并且可以通过Conda进行版本管理，能够便携获得管理包
Conda不仅支持Python，还支持R, Ruby, Lua, Scala, Java, JavaScript, C/C++, FORTRAN语言（虽然大部分都用不上）

继续阅读【Web】Anaconda介绍、安装及使用

【WEB】POP链的构造

序列化与反序列化

序列化是为了方便于数据的传输，将对象转换为字节流，载入网络/磁盘IO流中，可以通过对应方法将其还原出来。

序列化与编码的区别

对象===【序列化】==>消息===【编码】==>字节流

总结来说就是，先把对象拆开变成一串可以还原成原对象的字符串，再通过特定编码，变为网络传输的字节流

PHP中的魔术方法

__sleep() //使用serialize时触发
__wakeup() //执行unserialize()时，先会调用这个函数
__construct() //对象创建时触发
__destruct() //对象被销毁时触发
__call() //在对象上下文中调用不可访问的方法时触发
__callStatic() //在静态上下文中调用不可访问的方法时触发
__get() //用于从不可访问的属性读取数据
__set() //用于将数据写入不可访问的属性
__isset() //在不可访问的属性上调用isset()或empty()触发
__unset() //在不可访问的属性上使用unset()时触发
__toString() //把类当作字符串使用时触发
__invoke() //当脚本尝试将对象调用为函数时触发
__set_state()//调用var_export()导出类时，此静态方法会被调用。
__clone()//当对象复制完成时调用
__autoload()//尝试加载未定义的类
__debugInfo()//打印所需调试信息

继续阅读【WEB】POP链的构造

【CTFd】靶场安装与配置（Docker一键配置版）

【CTFd】靶场安装与配置这由于上一次的配置有点小问题，主要是Whale插件不再支持CTFd3.x版本，于是找了个新的插件使用
并且找到了更好的解决方式，不用那么麻烦配环境了
CTFd-Whale最新维护仓库
这次我采用Docker一键部署，并且稍加改动添加了中文包
成果图
file
继续阅读【CTFd】靶场安装与配置（Docker一键配置版）