Boot framework rework (#45)

[lunaix-os.git] / README.md

diff --git a/README.md b/README.md
index 49ec98fd42589a2198aad2456fb1c77d3054cdaa..2fce0e930afba9188b2fa2db0a1344ce7d921bc5 100644 (file)
--- a/README.md
+++ b/README.md
@@ -8,56 +8,80 @@
 
 # The LunaixOS Project
 
 
 # The LunaixOS Project
 

-LunaixOS - 一个简单的，详细的，POSIX兼容的（但愿！），带有浓重个人风格的操作系统。开发过程以视频教程形式在Bilibili呈现：[《从零开始自制操作系统系列》](https://space.bilibili.com/12995787/channel/collectiondetail?sid=196337)。
+LunaixOS - 一个简单的，详细的，POSIX兼容的（但愿！），带有浓重个人风格的操作系统，由 Lunaix 内核驱动。开发过程以视频教程形式在Bilibili呈现：[《从零开始自制操作系统系列》](https://space.bilibili.com/12995787/channel/collectiondetail?sid=196337)。

 
 ## 1. 一些实用资源
 
 
 ## 1. 一些实用资源
 

-如果有意研读LunaixOS的内核代码和其中的设计，以下资料可能会对此有用。
+如果有意研读 Lunaix 内核代码和其中的设计，或欲开始属于自己的OS开发之道，以下资料可能会对此有用。

 
 

-+ [最新的LunaixOS源代码分析教程](docs/tutorial/0-教程介绍和环境搭建.md)
-+ [内核虚拟内存的详细布局](docs/img/lunaix-os-mem.png)
-+ [LunaixOS启动流程概览](docs/img/boot_sequence.jpeg)
-+ LunaixOS总体架构概览（WIP）
++ [内核文档（Luna's Tour）](docs/lunaix-internal.md)
++ [LunaixOS源代码分析教程](docs/tutorial/0-教程介绍和环境搭建.md)
++ [作者修改的QEMU](https://github.com/Minep/qemu) (添加了一些额外用于调试的功能)

 
 ## 2. 当前进度以及支持的功能
 
 
 ## 2. 当前进度以及支持的功能
 

-该操作系统支持x86架构，运行在保护模式中，采用宏内核架构，目前仅支持单核心。架构与内核的解耦合工作正在进行中。
+Lunaix内核具有支持多种不同的指令集架构的能力，目前支持如下：

 
 

-在下述列表中，则列出目前所支持的所用功能和特性。列表项按照项目时间戳进行升序排列。
++ x86_32
++ x86_64
+
+Lunaix全部特性一览：

 
 + 使用Multiboot进行引导启动
 
 + 使用Multiboot进行引导启动

+  + Multiboot 1
+  + Multiboot 2 (WIP)

 + APIC/IOAPIC作为中断管理器和计时器
 + ACPI
 + 虚拟内存
 + APIC/IOAPIC作为中断管理器和计时器
 + ACPI
 + 虚拟内存

-+ 内存管理与按需分页
-+ 键盘输入
+  + 架构中性设计
+  + 按需分页
+  + Copy-on-Write
++ 内存管理

 + 进程模型
 + 进程模型

-+ 54个常见的Linux/POSIX系统调用（[附录1](#appendix1)）
-+ 用户模式
++ 61个常见的Linux/POSIX系统调用（[附录1](#appendix1)）
++ 用户/内核态隔离

 + 信号机制
 + PCI 3.0
 + PCIe 1.1 (WIP)
 + 信号机制
 + PCI 3.0
 + PCIe 1.1 (WIP)

-+ Serial ATA AHCI
-+ 文件系统
++ 块设备IO与驱动
+  + 块IO通用缓存池
+  + Serial ATA AHCI
+    + ATA设备
+    + ATAPI封装的SCSI协议
++ 文件系统（POSIX.1-2008, section 5 & 10）

   + 虚拟文件系统
   + 虚拟文件系统

+  + 内核态文件系统（twifs, Lunaix自己的sysfs）
+  + 设备文件系统（devfs, Lunaix自己的udev）
+  + 进程文件系统（procfs）

   + ISO9660
   + ISO9660

-    + 原生
-    + Rock Ridge拓展
+    + ECMA-119
+    + IEEE P1282（Rock Ridge拓展）
+  + ext2
+    + Revision 0
+    + Revision 1 （额外特性不支持）

 + 远程GDB串口调试 (COM1@9600Bd)
 + 用户程序加载与执行
 + 远程GDB串口调试 (COM1@9600Bd)
 + 用户程序加载与执行

-+ 动态链接 (WIP)

 + 通用设备抽象层
 + 通用设备抽象层

-+ 通用图形设备抽象层
-  + 标准VGA实现
-+ 虚拟终端设备接口（兼容 POSIX.1-2008）
+  + 架构中性的设备支持位于：`lunaix-os/hal`
+    + 16550 UART
+    + ACPI （不完全实现）
+  + 架构耦合的设备支持位于：`lunaix-os/arch/<ARCH>/hal`
+    + x86
+      + APIC/IOAPIC 组合
+      + MC146818 RTC
+      + i8042 PS/2
+      + RNG（使用`rdrand`）
+  + [Devicetree](https://www.devicetree.org/)
++ 通用图形设备抽象层 (Draft)
+  + 参考：`lunaix-os/hal/gfxa`
++ 虚拟终端设备接口（POSIX.1-2008, section 11）
+  + 参考：`lunaix-os/hal/term`

 + 线程模型
 + 线程模型

-
-已经测试过的环境：
-
-+ QEMU (>=7.0.0)
-+ Bochs（SATA功能不支持）
-+ Virtualbox
-+ Dell G3 3779
+  + 用户线程支持（pthread系列）
+  + 内核线程支持
++ 抢占式内核设计
+  + 内核态上下文切换
+  + 内核态异常挂起/死锁自动检测机制

 
 ## 3. 目录结构
 
 
 ## 3. 目录结构
 


@@ -69,6 +93,8 @@ LunaixOS - 一个简单的，详细的，POSIX兼容的（但愿！），带有
 
 ## 4. 编译与构建
 
 
 ## 4. 编译与构建
 

+**！如果想要立刻构建并运行，请参考4.7！**
+

 构建该项目需要满足以下条件：
 
 + gcc 工具链
 构建该项目需要满足以下条件：
 
 + gcc 工具链


@@ -78,7 +104,7 @@ LunaixOS - 一个简单的，详细的，POSIX兼容的（但愿！），带有
 
 ### 4.1 使用 GNU CC 工具链
 
 
 ### 4.1 使用 GNU CC 工具链
 

-正如同大多数OS一样，LunaixOS 是一个混合了 C 和汇编的产物。这就意味着你得要使用一些标准的C编译器来构建Lunaix。在这里，我推荐使用 GNU CC 工具链来进行构建。至于其他的工具链，如llvm，也可以去尝试，但对此我就不能作任何的保证了。
+正如同大多数内核一样，Lunaix 是一个混合了 C 和汇编的产物。这就意味着你得要使用一些标准的C编译器来构建Lunaix。在这里，我推荐使用 GNU CC 工具链来进行构建。因为Lunaix 在编写时使用了大量的GNU CC 相关编译器属性修饰 (`__attribute__`) 。假若使用其他工具链，如LLVM，我对此就不能做出任何保证了。

 
 如果你使用的是基于 x86 指令集的Linux系统，不论是64位还是32位，**其本机自带的gcc就足以编译Lunaix**。 当然了，如果说你的平台是其他非x86的，你也可以指定使用某个针对x86_32的gcc套件来进行交叉编译——在`make`时通过`CX_PREFIX`变量来指定gcc套件的前缀。如下例所示，我们可以在任意平台上，如risc-v，单独使用一个面向x86_32的gcc来进行交叉编译：
 
 
 如果你使用的是基于 x86 指令集的Linux系统，不论是64位还是32位，**其本机自带的gcc就足以编译Lunaix**。 当然了，如果说你的平台是其他非x86的，你也可以指定使用某个针对x86_32的gcc套件来进行交叉编译——在`make`时通过`CX_PREFIX`变量来指定gcc套件的前缀。如下例所示，我们可以在任意平台上，如risc-v，单独使用一个面向x86_32的gcc来进行交叉编译：
 


@@ -86,35 +112,50 @@ LunaixOS - 一个简单的，详细的，POSIX兼容的（但愿！），带有
 make CX_PREFIX=i686-linux-gnu- all
 ```
 
 make CX_PREFIX=i686-linux-gnu- all
 ```
 

-由于目前Lunaix仅支持x86_32微架构， `CX_PREFIX` 指向的gcc必须具有针对x86_32架构进行交叉编译的能力。
-

 ### 4.2 Docker镜像
 
 对于开发环境，本项目也提供了Docker镜像封装。开箱即用，无需配置，非常适合懒人或惜时者。详细使用方法请转到：[Lunaix OSDK项目](https://github.com/Minep/os-devkit)。
 
 ### 4.3 构建选项
 
 ### 4.2 Docker镜像
 
 对于开发环境，本项目也提供了Docker镜像封装。开箱即用，无需配置，非常适合懒人或惜时者。详细使用方法请转到：[Lunaix OSDK项目](https://github.com/Minep/os-devkit)。
 
 ### 4.3 构建选项
 

-假若条件满足，那么可以直接执行`make all`进行构建，完成后可在生成的`build`目录下找到可引导的iso。
-

 本项目支持的make命令：
 | 命令                     | 用途                                            |
 | ------------------------ | ----------------------------------------------- |
 本项目支持的make命令：
 | 命令                     | 用途                                            |
 | ------------------------ | ----------------------------------------------- |

-| `make all`               | 构建镜像（`-O2`，但禁用CSE相关的优化项 **※** ） |
-| `make instable`          | 构建镜像（`-O2`，开启CSE相关优化）              |
-| `make all-debug`         | 构建适合调试用的镜像（`-Og`）                   |
-| `make run`               | 使用QEMU运行build目录下的镜像                   |
-| `make debug-qemu`        | 构建并使用QEMU进行调试                          |
-| `make debug-bochs`       | 构建并使用Bochs进行调试                         |
-| `make debug-qemu-vscode` | 用于vscode整合                                  |
-| `make clean`             | 删除build目录                                   |
+| `make all`               | 构建内核ELF镜像 |
+| `make rootfs`            | 构建根文件系统镜像，将会封装`usr/`下的程序        |
+| `make clean`             | 删除构建缓存，用于重新构建               |
+| `make config`            | 配置Lunaix                                   |
+
+与make命令配套的环境变量，Lunaix的makefile会自动检测这些环境变量，以更改构建行为
+
++ `MODE={debug|release}` 使用debug模式构建（-Og）或者release模式（-O2）
++ `ARCH=<isa>` 为指定的指令集架构编译Lunaix。 所使用的配置选项均为选定架构默认，该环境变量
+  存在的目的就是方便用户进行快速编译，而无需钻研Lunaix的种种配置项。
+
+### 4.4 Lunaix的功能配置
+
+Lunaix是一个可配置的内核，允许用户在编译前选择应当包含或移除的功能。
+
+使用`make config`来进行基于命令行的交互配置。采用TUI呈现，效果类似于menuconfig.
+
+如果因为某种原因，TUI界面无法呈现，那么将会默认使用shell形式的呈现：
+
+所有的配置项按照类似于文件树的形式组织，如单个配置项为一个“文件”，多个配置项组成的配置组为一个目录，呈现形式为方括号`[]`包裹起来的项目。在提示符中输入`usage`并回车可以查看具体的使用方法。
+
+一个最常用的配置可能就是`architecture_support/arch`了，也就是配置Lunaix所面向的指令集。比如，编译一个在x86_64平台上运行的Lunaix，在提示符中输入（**注意等号两侧的空格，这是不能省略的**）：

 
 

-**※：由于在`-O2`模式下，GCC会进行CSE优化，这导致LunaixOS会出现一些非常奇怪、离谱的bug，从而影响到基本运行。具体原因有待调查。**
+```
+/architecture_support/arch = x86_64
+```

 
 

-### 4.4 设置内核启动参数
+之后输入`exit`保存并退出。而后正常编译。
+
+### 4.5 设置内核参数

 
 在 make 的时候通过`CMDLINE`变量可以设置内核启动参数列表。该列表可以包含多个参数，通过一个或多个空格来分割。每个参数可以为键值对 `<key>=<val>` 或者是开关标志位 `<flag>`。目前 Lunaix 支持以下参数：
 
 + `console=<dev>` 设置系统终端的输入输出设备（tty设备）。其中 `<dev>` 是设备文件路径 （注意，这里的设备文件路径是针对Lunaix，而非Linux）。关于LunaixOS设备文件系统的介绍可参考 Lunaix Wiki（WIP）
 
 在 make 的时候通过`CMDLINE`变量可以设置内核启动参数列表。该列表可以包含多个参数，通过一个或多个空格来分割。每个参数可以为键值对 `<key>=<val>` 或者是开关标志位 `<flag>`。目前 Lunaix 支持以下参数：
 
 + `console=<dev>` 设置系统终端的输入输出设备（tty设备）。其中 `<dev>` 是设备文件路径 （注意，这里的设备文件路径是针对Lunaix，而非Linux）。关于LunaixOS设备文件系统的介绍可参考 Lunaix Wiki（WIP）

++ （参考 4.6）

 
 如果`CMDLINE`未指定，则将会载入默认参数：
 
 
 如果`CMDLINE`未指定，则将会载入默认参数：
 


@@ -128,47 +169,41 @@ console=/dev/ttyFB0
 
 **注意：** 根据操作系统和键盘布局的不同，telnet客户端对一些关键键位的映射（如退格，回车）可能有所差别（如某些版本的Linux会将退格键映射为`0x7f`，也就是ASCII的`<DEL>`字符，而非我们熟知`0x08`）。如果读者想要通过串口方式把玩Lunaix，请修改`usr/init/init.c`里面的终端初始化代码，将`VERASE`设置为正确的映射（修改方式可以参考 POSIX termios 的使用方式。由于Lunaix的终端接口的实现是完全兼容POSIX的，读者可以直接去查阅Linux自带的帮助`man termios`，无需作任何的转换）
 
 
 **注意：** 根据操作系统和键盘布局的不同，telnet客户端对一些关键键位的映射（如退格，回车）可能有所差别（如某些版本的Linux会将退格键映射为`0x7f`，也就是ASCII的`<DEL>`字符，而非我们熟知`0x08`）。如果读者想要通过串口方式把玩Lunaix，请修改`usr/init/init.c`里面的终端初始化代码，将`VERASE`设置为正确的映射（修改方式可以参考 POSIX termios 的使用方式。由于Lunaix的终端接口的实现是完全兼容POSIX的，读者可以直接去查阅Linux自带的帮助`man termios`，无需作任何的转换）
 

-## 5. 运行，分支以及 Issue
-
-### 5.1 虚拟磁盘（非必须）
-
-你可以绑定一个虚拟磁盘镜像，可以使用如下命令快速创建一个：
-
-```bash
-qemu-img create -f vdi machine/disk0.vdi 128M
-```

 
 

-如果你想要使用别的磁盘镜像，需要修改`configs/make-debug-tool`
+### 4.6 Lunaix的启动

 
 

-找到这一行：
+由于 Lunaix 的定位是内核。为了避免太多的编译时的前置要求，同时为了提高灵活性，我们移除了iso文件的封装功能。目前的 Lunaix 将只会编译出一个 ELF 格式的二进制文件。用户可以根据自己的喜好，使用的不同的方式，不同的 bootloader 来引导 Lunaix. 

 
 

-```
--drive id=disk,file="machine/disk0.vdi",if=none \
-```
+为了能够使得 Lunaix 能够正确的启动，用户必须设置以下内核参数：

 
 

-然后把`machine/disk0.vdi`替换成你的磁盘路径。
++ `rootfs=` 指明根目录设备，值为设备文件路径，指向包含根文件系统的磁盘设备，如`/dev/block/sda`。 Lunaix将会在启动之后自动挂在该文件系统到根目录。缺少此选项 Lunaix 将会拒绝启动，并进入 kernel panic （在 Lunaix 的世界里，这个被称之为 Nightmare Moon arrival ）
++ `init=` 指明 init 程序的位置，该程序必须放在 `rootfs` 中。改选项为可选设置，其默认值为 `/init`。  init 程序是 Lunaix 在启动后所运行的第一个程序。

 
 

-有很多办法去创建一个虚拟磁盘，比如[qemu-img](https://qemu-project.gitlab.io/qemu/system/images.html)。
+### 4.7 测试与体验 Lunaix

 
 

-### 5.2 代码稳定性

 
 

-主分支一般是稳定的。因为在大多数情况下，我都会尽量保证本机运行无误后，push到该分支中。至于其他的分支，则是作为标记或者是开发中的功能。前者标记用分支一般会很快删掉；后者开发分支不能保证稳定性，这些分支的代码有可能没有经过测试，但可以作为Lunaix当前开发进度的参考。
+想要快速体验，请跟随以下步骤：

 
 

-该系统是经过虚拟机和真机测试。如果发现在使用`make all`之后，虚拟机中运行报错，则一般是编译器优化问题。这个问题笔者一般很快就会修复，如果你使用别的版本的gcc（笔者版本11.2），出现了此问题，欢迎提issue。请参考[附录3：Issue的提交](#appendix3)
+1. 决定一个你想要体验的架构，如 `x86_64`。 （支持：`x86_64`, `i386`）为了叙述方便，这个架构在下文被指代为`<arch>`
+2. 检查你是否安装了： `qemu-system-<arch>`，`gdb`，`python3`，`telnet`，`gcc`
+3. 运行 `make ARCH=<arch> user` 来编译自带的用户程序
+4. 运行 `make ARCH=<arch> rootfs` 来打包根文件系统镜像。（需要本机系统支持 `dd`，`mkfs.ext2`, `mount -o loop`, `mktemp`）
+5. 运行 `ARCH=<arch> live_debug.sh` 来启动

 
 

-下面列出一些可能会出现的问题。
+该脚本自动按照默认的选项构建Lunaix，而后调用 `scripts/qemu.py` 根据配置文件生成QEMU启动参数（配置文件位于`scripts/qemus/`）

 
 

-#### 问题#1： QEMU下8042控制器提示找不到
+由于该脚本的主要用途是方便作者进行调试，所以在QEMU窗口打开后还需要进行以下动作：

 
 

-这是QEMU配置ACPI时的一个bug，在7.0.0版中修复了。
+1. 使用telnet连接到`localhost:12345`，这里是Lunaix进行标准输入输出所使用的UART映射（QEMU为guest提供UART实现，并将其利用telnet协议重定向到宿主机）
+2. 在GDB窗口中输入`c`然后回车，此时Lunaix开始运行。这样做的目的是允许在QEMU进行模拟前，事先打好感兴趣的断点。

 
 

-#### 问题#2：多进程运行时，偶尔会出现General Protection错误
+## 5. 运行，分支以及 Issue

 
 

-这很大概率是出现了竞态条件。虽然是相当不可能的。但如果出现了，还是请提issue。
+### 5.1 代码稳定性

 
 

-#### 问题#3：Bochs无法运行，提示找不到AHCI控制器
+主分支一般是稳定的。因为在大多数情况下，我都会尽量保证本机运行无误后，push到该分支中。所有正在开发的功能请参考当前活跃的Pull Request。

 
 

-正常，**因为Bochs不支持SATA**。请使用QEMU或VirtualBox。
+如果主分支的运行出现了此问题，欢迎提issue。请参考[附录3：Issue的提交](#appendix3)

 
 ## 6. 调试 Lunaix 内核
 
 
 ## 6. 调试 Lunaix 内核
 


@@ -189,7 +224,15 @@ qemu-img create -f vdi machine/disk0.vdi 128M
 
 ## 7. 参考教程
 
 
 ## 7. 参考教程
 

-**没有！！** 本教程以及该操作系统均为原创，没有基于任何市面上现行的操作系统开发教程，且并非是基于任何的开源内核的二次开发。
+#### 没有！！
+
+本教程以及该操作系统的所有的架构设计与实现**均为原创**。
+
+对此，作者可以保证，该项目是做到了三个 “没有”：
+
++ **没有** 参考任何现行的，关于操作系统开发的，教程或书籍。
++ **没有** 参考任何开源内核的源代码（包括Linux）
++ **没有** 基于任何开源内核的二次开发行为。

 
 为了制作LunaixOS，作者耗费大量时间和精力钻研技术文档，手册，理论书籍以及现行工业标准，从而尽量保证了知识的一手性。（这样一来，读者和听众们也算是拿到了二手的知识，而不是三手，四手，甚至n手的知识）。
 
 
 为了制作LunaixOS，作者耗费大量时间和精力钻研技术文档，手册，理论书籍以及现行工业标准，从而尽量保证了知识的一手性。（这样一来，读者和听众们也算是拿到了二手的知识，而不是三手，四手，甚至n手的知识）。
 


@@ -227,7 +270,7 @@ qemu-img create -f vdi machine/disk0.vdi 128M
 
 #### 网站
 
 
 #### 网站
 

-+ [OSDev](https://wiki.osdev.org/Main_Page) - 杂七杂八的参考，很多过来人的经验。作者主要用于上古资料查询以及收集；技术文献，手册，标准的粗略总结；以及开发环境/工具链的搭建。
++ [OSDev](https://wiki.osdev.org/Main_Page) - 适合快速入门，和一些文档手册的总结。

 + [FreeVGA](http://www.osdever.net/FreeVGA/home.htm) - 98年的资源！关于VGA编程技术的宝藏网站。
 + GNU CC 和 GNU LD 的官方文档。
 + [PCI Lookup](https://www.pcilookup.com/) - PCI设备编号查询
 + [FreeVGA](http://www.osdever.net/FreeVGA/home.htm) - 98年的资源！关于VGA编程技术的宝藏网站。
 + GNU CC 和 GNU LD 的官方文档。
 + [PCI Lookup](https://www.pcilookup.com/) - PCI设备编号查询


@@ -266,11 +309,11 @@ LunaixOS 提供对以下POSIX的系统接口的实现。内核定义的系统调
 2. `readdir(2)`
 2. `readlink(2)`
 2. `readlinkat(2)`
 2. `readdir(2)`
 2. `readlink(2)`
 2. `readlinkat(2)`

-2. `rmdir(2)`※
-2. `unlink(2)`※
-2. `unlinkat(2)`※
+2. `rmdir(2)`
+2. `unlink(2)`
+2. `unlinkat(2)`

 2. `link(2)`※
 2. `link(2)`※

-2. `fsync(2)`※
+2. `fsync(2)`

 2. `dup(2)`
 2. `dup2(2)`
 2. `symlink(2)`
 2. `dup(2)`
 2. `dup2(2)`
 2. `symlink(2)`