README.md

   1 <p align="center">
   2   <img width="auto" src="docs/img/lunaix-os-logo.png">
   3 </p>
   4
   5 <p align="center">
   6   <a href="#lunaixos-project">简体中文</a> | <a href="docs/README_en.md">English</a>
   7 </p>
   8
   9 # The LunaixOS Project
  10
  11 LunaixOS - 一个简单的，详细的，POSIX兼容的（但愿！），带有浓重个人风格的操作系统。开发过程以视频教程形式在Bilibili呈现：[《从零开始自制操作系统系列》](https://space.bilibili.com/12995787/channel/collectiondetail?sid=196337)。
  12
  13 ## 1. 一些实用资源
  14
  15 如果有意研读LunaixOS的内核代码和其中的设计，以下资料可能会对此有用。
  16
  17 + [内核虚拟内存的详细布局](docs/img/lunaix-os-mem.png)
  18 + [LunaixOS启动流程概览](docs/img/boot_sequence.jpeg)
  19 + LunaixOS总体架构概览（WIP）
  20
  21 ## 2. 当前进度以及支持的功能
  22
  23 该操作系统支持x86架构，运行在保护模式中，采用宏内核架构，目前仅支持单核心。架构与内核的解耦合工作正在进行中。
  24
  25 在下述列表中，则列出目前所支持的所用功能和特性。列表项按照项目时间戳进行升序排列。
  26
  27 + 使用Multiboot进行引导启动
  28 + APIC/IOAPIC作为中断管理器和计时器
  29 + ACPI
  30 + 虚拟内存
  31 + 内存管理与按需分页
  32 + 键盘输入
  33 + 多进程
  34 + 54个常见的Linux/POSIX系统调用（[附录1](#appendix1)）
  35 + 用户模式
  36 + 信号机制
  37 + PCI 3.0
  38 + PCIe 1.1 (WIP)
  39 + Serial ATA AHCI
  40 + 文件系统
  41   + 虚拟文件系统
  42   + ISO9660
  43     + 原生
  44     + Rock Ridge拓展
  45 + 远程GDB串口调试 (COM1@9600Bd)
  46 + 用户程序加载与执行
  47 + 动态链接 (WIP)
  48 + 通用设备抽象层
  49 + 通用图形设备抽象层
  50   + 标准VGA实现
  51 + 虚拟终端设备接口（兼容 POSIX.1-2008）
  52
  53 已经测试过的环境：
  54
  55 + QEMU (>=7.0.0)
  56 + Bochs（SATA功能不支持）
  57 + Virtualbox
  58 + Dell G3 3779
  59
  60 ## 3. 目录结构
  61
  62 |                                           |                              |
  63 | ----------------------------------------- | ---------------------------- |
  64 | [lunaix-os](lunaix-os/)                   | LunaixOS源代码               |
  65 | [slides](slides/)                         | 视频中所用的幻灯片和补充材料 |
  66 | [reference-material](reference-material/) | 标准，技术文档和参考文献     |
  67
  68 ## 4. 编译与构建
  69
  70 构建该项目需要满足以下条件：
  71
  72 + gcc 工具链
  73 + make
  74 + xorriso
  75 + grub-mkrescue
  76
  77 ### 4.1 使用 GNU CC 工具链
  78
  79 正如同大多数OS一样，LunaixOS 是一个混合了 C 和汇编的产物。这就意味着你得要使用一些标准的C编译器来构建Lunaix。在这里，我推荐使用 GNU CC 工具链来进行构建。至于其他的工具链，如llvm，也可以去尝试，但对此我就不能作任何的保证了。
  80
  81 如果你使用的是基于 x86 指令集的Linux系统，不论是64位还是32位，**其本机自带的gcc就足以编译Lunaix**。 当然了，如果说你的平台是其他非x86的，你也可以指定使用某个针对x86_32的gcc套件来进行交叉编译——在`make`时通过`CX_PREFIX`变量来指定gcc套件的前缀。如下例所示，我们可以在任意平台上，如risc-v，单独使用一个面向x86_32的gcc来进行交叉编译：
  82
  83 ```
  84 make CX_PREFIX=i686-linux-gnu- all
  85 ```
  86
  87 由于目前Lunaix仅支持x86_32微架构， `CX_PREFIX` 指向的gcc必须具有针对x86_32架构进行交叉编译的能力。
  88
  89 ### 4.2 Docker镜像
  90
  91 对于开发环境，本项目也提供了Docker镜像封装。开箱即用，无需配置，非常适合懒人或惜时者。详细使用方法请转到：[Lunaix OSDK项目](https://github.com/Minep/os-devkit)。
  92
  93 ### 4.3 构建选项
  94
  95 假若条件满足，那么可以直接执行`make all`进行构建，完成后可在生成的`build`目录下找到可引导的iso。
  96
  97 本项目支持的make命令：
  98 | 命令                     | 用途                                            |
  99 | ------------------------ | ----------------------------------------------- |
 100 | `make all`               | 构建镜像（`-O2`，但禁用CSE相关的优化项 **※** ） |
 101 | `make instable`          | 构建镜像（`-O2`，开启CSE相关优化）              |
 102 | `make all-debug`         | 构建适合调试用的镜像（`-Og`）                   |
 103 | `make run`               | 使用QEMU运行build目录下的镜像                   |
 104 | `make debug-qemu`        | 构建并使用QEMU进行调试                          |
 105 | `make debug-bochs`       | 构建并使用Bochs进行调试                         |
 106 | `make debug-qemu-vscode` | 用于vscode整合                                  |
 107 | `make clean`             | 删除build目录                                   |
 108
 109 **※：由于在`-O2`模式下，GCC会进行CSE优化，这导致LunaixOS会出现一些非常奇怪、离谱的bug，从而影响到基本运行。具体原因有待调查。**
 110
 111 ### 4.4 设置内核启动参数
 112
 113 在 make 的时候通过`CMDLINE`变量可以设置内核启动参数列表。该列表可以包含多个参数，通过一个或多个空格来分割。每个参数可以为键值对 `<key>=<val>` 或者是开关标志位 `<flag>`。目前 Lunaix 支持以下参数：
 114
 115 + `console=<dev>` 设置系统终端的输入输出设备（tty设备）。其中 `<dev>` 是设备文件路径 （注意，这里的设备文件路径是针对Lunaix，而非Linux）。关于LunaixOS设备文件系统的介绍可参考 Lunaix Wiki（WIP）
 116
 117 如果`CMDLINE`未指定，则将会载入默认参数：
 118
 119 ```
 120 console=/dev/ttyFB0
 121 ```
 122
 123 其中，`/dev/ttyFB0` 指向基于VGA文本模式的tty设备，也就是平时启动QEMU时看到的黑色窗口。
 124
 125 当然，读者也可以使用 `/dev/ttyS0` 来作为默认tty设备，来验证 Lunaix 的灵活性与兼容性。该路径指向第一个串口设备。可以通过telnet协议在`12345`端口上进行访问——端口号可以自行修改QEMU启动参数（位于：`makeinc/qemu.mkinc`）来变更。
 126
 127 **注意：** 根据操作系统和键盘布局的不同，telnet客户端对一些关键键位的映射（如退格，回车）可能有所差别（如某些版本的Linux会将退格键映射为`0x7f`，也就是ASCII的`<DEL>`字符，而非我们熟知`0x08`）。如果读者想要通过串口方式把玩Lunaix，请修改`usr/init/init.c`里面的终端初始化代码，将`VERASE`设置为正确的映射（修改方式可以参考 POSIX termios 的使用方式。由于Lunaix的终端接口的实现是完全兼容POSIX的，读者可以直接去查阅Linux自带的帮助`man termios`，无需作任何的转换）
 128
 129 ## 5. 运行，分支以及 Issue
 130
 131 ### 5.1 虚拟磁盘（非必须）
 132
 133 你可以绑定一个虚拟磁盘镜像，可以使用如下命令快速创建一个：
 134
 135 ```bash
 136 qemu-img create -f vdi machine/disk0.vdi 128M
 137 ```
 138
 139 如果你想要使用别的磁盘镜像，需要修改`configs/make-debug-tool`
 140
 141 找到这一行：
 142
 143 ```
 144 -drive id=disk,file="machine/disk0.vdi",if=none \
 145 ```
 146
 147 然后把`machine/disk0.vdi`替换成你的磁盘路径。
 148
 149 有很多办法去创建一个虚拟磁盘，比如[qemu-img](https://qemu-project.gitlab.io/qemu/system/images.html)。
 150
 151 ### 5.2 代码稳定性
 152
 153 主分支一般是稳定的。因为在大多数情况下，我都会尽量保证本机运行无误后，push到该分支中。至于其他的分支，则是作为标记或者是开发中的功能。前者标记用分支一般会很快删掉；后者开发分支不能保证稳定性，这些分支的代码有可能没有经过测试，但可以作为Lunaix当前开发进度的参考。
 154
 155 该系统是经过虚拟机和真机测试。如果发现在使用`make all`之后，虚拟机中运行报错，则一般是编译器优化问题。这个问题笔者一般很快就会修复，如果你使用别的版本的gcc（笔者版本11.2），出现了此问题，欢迎提issue。请参考[附录3：Issue的提交](#appendix3)
 156
 157 下面列出一些可能会出现的问题。
 158
 159 #### 问题#1： QEMU下8042控制器提示找不到
 160
 161 这是QEMU配置ACPI时的一个bug，在7.0.0版中修复了。
 162
 163 #### 问题#2：多进程运行时，偶尔会出现General Protection错误
 164
 165 这很大概率是出现了竞态条件。虽然是相当不可能的。但如果出现了，还是请提issue。
 166
 167 #### 问题#3：Bochs无法运行，提示找不到AHCI控制器
 168
 169 正常，**因为Bochs不支持SATA**。请使用QEMU或VirtualBox。
 170
 171 ## 6. 调试 Lunaix 内核
 172
 173 除了[附录4：串口GDB远程调试](#appendix4)描述的一种用于实机调试的方式以外。LunaixOS还提供了LunaDBG调试套件。这是一个GDB客户端插件，包含了对GDB原生命令集的一些扩充，主要用于改善与简化内核调试的过程。目前包含以下几个命令：
 174
 175 + `vmrs [pid]` 列举进程`<pid>`的内存区域图（Memory Regions），如果`<pid>`未指定，则默认为正在运行的进程（smp=1）。
 176 + `proc [pid]` 打印进程`<pid>`的进程控制块状态，如果`<pid>`未指定，则默认为正在运行的进程（smp=1）。
 177 + `proc_table` 列举所有非终止的进程以及他们的状态。
 178 + `syslog` 打印到目前为止的系统日志。
 179
 180 该插件可以通过运行以下命令来进行安装：
 181
 182 ```shell
 183 ./scripts/gdb/install_lunadbg
 184 ```
 185
 186 ## 7. 参考教程
 187
 188 **没有！！** 本教程以及该操作系统均为原创，没有基于任何市面上现行的操作系统开发教程，且并非是基于任何的开源内核的二次开发。
 189
 190 为了制作LunaixOS，作者耗费大量时间和精力钻研技术文档，手册，理论书籍以及现行工业标准，从而尽量保证了知识的一手性。（这样一来，读者和听众们也算是拿到了二手的知识，而不是三手，四手，甚至n手的知识）。
 191
 192 大部分的文档和标准可以在上述的[reference-material](reference-material/)中找到。
 193
 194 当然，您也可以参考以下列表来了解现阶段的LunaixOS都使用了哪些资料（本列表会随着开发进度更新）：
 195
 196 #### 手册，标准，技术文档
 197
 198 + [Intel 64 and IA-32 Architecture Software Developer's Manual (Full Volume Bundle)](https://www.intel.com/content/www/us/en/developer/articles/technical/intel-sdm.html)
 199 + [ACPI Specification (version 6.4)](https://uefi.org/sites/default/files/resources/ACPI_Spec_6_4_Jan22.pdf)
 200 + IBM PC/AT Technical Reference
 201 + IBM VGA/XGA Technical Reference
 202 + 82093AA I/O Advanced Programmable Controller (IOAPIC) (Datasheet)
 203 + MC146818A (Datasheet)
 204 + Intel 500 Series Chipset Family Platform Controller Hub (Datasheet - Volume 2)
 205 + PCI Local Bus Specification, Revision 3.0
 206 + PCI Express Base Specification, Revision 1.1
 207 + PCI Firmware Specification, Revision 3.0
 208 + Serial ATA - Advanced Host Controller Interface (AHCI), Revision 1.3.1
 209 + Serial ATA: High Speed Serialized AT Attachment, Revision 3.2
 210 + SCSI Command Reference Manual
 211 + ATA/ATAPI Command Set - 3 (ACS-3)
 212 + [ECMA-119 (ISO9660)](https://www.ecma-international.org/publications-and-standards/standards/ecma-119/)
 213 + Rock Ridge Interchange Protocol (RRIP: IEEE P1282)
 214 + System Use Sharing Protocol (SUSP: IEEE P1281)
 215 + Tool Interface Standard (TIS) Portable Formats Specification (Version 1.1)
 216
 217 **免责声明：PCI相关的标准最终解释权归PCI-SIG所有。此处提供的副本仅供个人学习使用。任何商用目的须向PCI-SIG购买。**
 218
 219 #### 理论书籍
 220
 221 + *Computer System - A Programmer's Perspective Third Edition (CS:APP)* (Bryant, R & O'Hallaron, D)
 222 + *Modern Operating System* (Tanenbaum, A)
 223
 224 #### 网站
 225
 226 + [OSDev](https://wiki.osdev.org/Main_Page) - 杂七杂八的参考，很多过来人的经验。作者主要用于上古资料查询以及收集；技术文献，手册，标准的粗略总结；以及开发环境/工具链的搭建。
 227 + [FreeVGA](http://www.osdever.net/FreeVGA/home.htm) - 98年的资源！关于VGA编程技术的宝藏网站。
 228 + GNU CC 和 GNU LD 的官方文档。
 229 + [PCI Lookup](https://www.pcilookup.com/) - PCI设备编号查询
 230
 231 #### 其他
 232
 233 + Linux Manual - 用于查询*nix API的一些具体行为。
 234
 235 ## 附录1：支持的系统调用<a id="appendix1"></a>
 236
 237 **Unix/Linux/POSIX**
 238
 239 1. `sleep(3)`
 240 1. `wait(2)`
 241 1. `waitpid(2)`
 242 1. `fork(2)`
 243 1. `getpid(2)`
 244 1. `getppid(2)`
 245 1. `getpgid(2)`
 246 1. `setpgid(2)`
 247 1. `brk(2)`
 248 1. `sbrk(2)`
 249 1. `_exit(2)`
 250 1. `sigreturn(2)`
 251 1. `sigprocmask(2)`
 252 1. `sigaction(2)`
 253 1. `kill(2)`
 254 1. `sigpending(2)`
 255 1. `sigsuspend(2)`
 256 2. `read(2)`
 257 2. `write(2)`
 258 2. `open(2)`
 259 2. `close(2)`
 260 2. `mkdir(2)`
 261 2. `lseek(2)`
 262 2. `readdir(2)`
 263 2. `readlink(2)`
 264 2. `readlinkat(2)`
 265 2. `rmdir(2)`※
 266 2. `unlink(2)`※
 267 2. `unlinkat(2)`※
 268 2. `link(2)`※
 269 2. `fsync(2)`※
 270 2. `dup(2)`
 271 2. `dup2(2)`
 272 2. `symlink(2)`
 273 2. `chdir(2)`
 274 2. `fchdir(2)`
 275 2. `getcwd(2)`
 276 2. `rename(2)`※
 277 2. `mount(2)`
 278 2. `unmount` (a.k.a `umount(2)`)※
 279 2. `getxattr(2)`※
 280 2. `setxattr(2)`※
 281 2. `fgetxattr(2)`※
 282 2. `fsetxattr(2)`※
 283 2. `ioctl(2)`
 284 2. `getpgid(2)`
 285 2. `setpgid(2)`
 286 2. `mmap(2)`
 287 2. `munmap(2)`
 288 2. `execve(2)`
 289 3. `poll(2)` (via `pollctl`)
 290 3. `epoll_create(2)` (via `pollctl`)
 291 3. `epoll_ctl(2)` (via `pollctl`)
 292 3. `epoll_wait(2)` (via `pollctl`)
 293
 294 **LunaixOS自有**
 295
 296 1. `yield`
 297 2. `geterrno`
 298 3. `realpathat`
 299 4. `syslog`
 300 5. `pollctl`
 301
 302 ( **※**：该系统调用暂未经过测试 )
 303
 304 ## 附录2：Issue的提交<a id="appendix3"></a>
 305
 306 假若Lunaix的运行出现任何问题，还请按照以下的描述，在Issue里面提供详细的信息。
 307
 308 + 可用于复现问题的描述和指引（如Lunaix运行平台的软硬件配置）
 309 + 错误症状描述
 310 + LunaixOS在panic时打印的调试信息（如无法复制，可以截图）
 311
 312 ## 附录3：串口GDB远程调试<a id="appendix4"></a>
 313
 314 **（该功能正在重构，目前不可用）**
 315
 316 LunaixOS内核集成了最基本的GDB远程调试服务器。可通过串口COM1在9600波特率上与之建立链接。但是，在将GDB与内核链接起来之前，还需要让内核处在调试模式下。
 317
 318 要进入调试模式，需要往串口（波特率如上）写入字节串 `0x40` `0x63` `0x6D` `0x63`。此时，如果屏幕底部出现一条品红色背景的`DEBUG` 字样，那么就说明LunaixOS已处在调试模式下。
 319
 320 注意，在这个时候，LunaixOS会开始在`COM1`上监听GDB协议信息，并且暂停一切的活动（如调度，以及对外部中断的一切响应）。用户此时需要将GDB与其挂载，并使用GDB的工作流来指示内核下一步的动作。
 321
 322 在目前，为了防止代码过于臃肿，LunaixOS实现的是GDB远程协议要求的最小服务端命令子集：`g`, `G`, `p`, `P`, `Q`, `S`, `k`, `?`, `m`, `M`, `X`。足以满足大部分的调试需求。
 323
 324 当结束调试的时候，请使用GDB的`kill`指令进行连接的断开。注意，这个指令会使得LunaixOS恢复所有暂停的活动，进入正常的运行序列，但并不会退出调试模式。GDB的挂载请求依然在LunaixOS中享有最高优先权。如果需要退出调试模式，需要往串口写入字节串：`0x40` `0x79` `0x61` `0x79`。