feat: simple device abstraction layer
[lunaix-os.git] / README.md
1 <p align="center">
2   <img width="auto" src="docs/img/lunaix-os-logo.png">
3 </p>
4
5 <p align="center">
6   <span>简体中文</span> | <a href="docs/README_en.md">English</a>
7 </p>
8
9 # LunaixOS Project 
10 LunaixOS - 一个简单的,详细的,POSIX兼容的(但愿!),带有浓重个人风格的操作系统。开发过程以视频教程形式在Bilibili呈现:[《从零开始自制操作系统系列》](https://space.bilibili.com/12995787/channel/collectiondetail?sid=196337)。
11
12 ## 当前进度以及支持的功能
13
14 该操作系统支持x86架构,运行在保护模式中,采用宏内核架构,目前仅支持单核心。内存结构采用经典的3:1划分,即低3GiB为用户地址空间(0x400000 ~ 0xBFFFFFFF),内核地址空间重映射至高1GiB(0xC0000000 ~ 0xFFFFFFFF)。内存的详细布局可参考[LunaixOS内存地图](docs/img/lunaix-os-mem.png)
15
16 在下述列表中,则列出目前所支持的所用功能和特性。列表项按照项目时间戳进行升序排列。
17
18 + 使用Multiboot进行引导启动
19 + APIC/IOAPIC作为中断管理器和计时器
20 + ACPI
21 + 虚拟内存
22 + 内存管理与按需分页(Demand Paging)
23 + 键盘输入
24 + 多进程
25 + 二十多个常见的Linux/POSIX系统调用([附录1](#appendix1))
26 + 用户模式
27 + 信号机制
28 + PCI 3.0
29 + PCIe 1.1 (WIP)
30 + Serial ATA AHCI
31 + 文件系统 (WIP)
32
33 ## 目录结构
34
35 | | |
36 |-----|------|
37 | [lunaix-os](lunaix-os/) | LunaixOS源代码 |
38 | [slides](slides/) | 视频中所用的幻灯片和补充材料 |
39 | [reference-material](reference-material/)| 标准,技术文档和参考文献 |
40
41 ## 编译与构建
42
43 构建该项目需要满足以下条件:
44
45 + gcc (目标平台: i686-elf)
46 + binutils
47 + make
48 + xorriso
49 + grub-mkrescue
50
51 **注意:gcc不能是本机自带的,必须要从源码编译,并配置目标平台为:`i686-elf`,以进行交叉编译。配置过程可参考[附录二:编译gcc作为交叉编译器](#appendix2)。**
52
53 假若条件满足,那么可以直接执行`make all`进行构建,完成后可在生成的`build`目录下找到可引导的iso。
54
55 本项目支持的make命令:
56 | 命令 | 用途 |
57 |---|---|
58 | `make all` | 构建镜像(`-O2`) |
59 | `make all-debug` | 构建适合调试用的镜像(`-Og`) |
60 | `make run` | 使用QEMU运行build目录下的镜像|
61 | `make debug-qemu` | 构建并使用QEMU进行调试 |
62 | `make debug-bochs` | 构建并使用Bochs进行调试 |
63 | `make debug-qemu-vscode` | 用于vscode整合 |
64 | `make clean` | 删除build目录 |
65
66 ## 运行以及Issue
67
68 运行该操作系统需要一个虚拟磁盘镜像,可以使用如下命令快速创建一个:
69
70 ```bash
71 qemu-img create -f vdi machine/disk1.vdi 128M
72 ```
73
74 如果你想要使用别的磁盘镜像,需要修改`configs/make-debug-tool`
75
76 找到这一行:
77 ```
78 -drive id=disk,file="machine/disk0.vdi",if=none \
79 ```
80
81 然后把`machine/disk0.vdi`替换成你的磁盘路径。
82
83 有很多办法去创建一个虚拟磁盘,比如[qemu-img](https://qemu-project.gitlab.io/qemu/system/images.html)。
84
85 在大多数情况下,我都会尽量保证本机运行无误后,push到仓库中。同时,该系统是经过本机测试,能够在Bochs,QEMU (`= 7.0`),VirtualBox下正常的运行(暂时没试过真机)。如果发现在使用`make all`之后,虚拟机中运行报错,则一般是编译器优化问题。这个问题笔者一般很快就会修复,如果你使用别的版本的gcc(笔者版本11.2),出现了此问题,欢迎提issue。请参考[附录3:Issue的提交](#appendix3)
86
87 下面列出一些可能会出现的问题。
88
89 #### 问题#1: QEMU下8042控制器提示找不到。
90
91 这是QEMU配置ACPI时的一个bug,在7.0.0版中修复了。
92
93 #### 问题#2:多进程运行时,偶尔会出现General Protection错误。
94
95 这很大概率是出现了竞态条件。虽然是相当不可能的。但如果出现了,还是请提issue。
96
97 #### 问题#3:Bochs运行时,提示找不到AHCI控制器
98
99 正常,**因为Bochs不支持SATA**。请使用QEMU或VirtualBox。
100
101 #### 问题#4:键盘的上下方向键(用于滚屏)在VirtualBox下有时不好使
102
103 可以试试`Shift+<方向键>`,这个问题的解决需要重写键盘驱动的状态机。我会找时间去做,毕竟这不是燃眉之急。
104
105 ## 参考教程
106
107 **没有!!** 本教程以及该操作系统均为原创,没有基于任何市面上现行的操作系统开发教程,且并非是基于任何的开源内核的二次开发。
108
109 为了制作LunaixOS,作者耗费大量时间和精力钻研技术文档,手册,理论书籍以及现行工业标准,从而尽量保证了知识的一手性。(这样一来,读者和听众们也算是拿到了二手的知识,而不是三手,四手,甚至n手的知识)。
110
111 大部分的文档和标准可以在上述的[reference-material](reference-material/)中找到。
112
113 当然,您也可以参考以下列表来了解现阶段的LunaixOS都使用了哪些资料(本列表会随着开发进度更新):
114
115 #### 手册,标准,技术文档
116 + [Intel 64 and IA-32 Architecture Software Developer's Manual (Full Volume Bundle)](https://www.intel.com/content/www/us/en/developer/articles/technical/intel-sdm.html)
117 + [ACPI Specification (version 6.4)](https://uefi.org/sites/default/files/resources/ACPI_Spec_6_4_Jan22.pdf)
118 + IBM PC/AT Technical Reference
119 + IBM VGA/XGA Technical Reference
120 + 82093AA I/O Advanced Programmable Controller (IOAPIC) (Datasheet)
121 + MC146818A (Datasheet)
122 + Intel 500 Series Chipset Family Platform Controller Hub (Datasheet - Volume 2)
123 + PCI Local Bus Specification, Revision 3.0
124 + PCI Express Base Specification, Revision 1.1
125 + PCI Firmware Specification, Revision 3.0
126 + Serial ATA - Advanced Host Controller Interface (AHCI), Revision 1.3.1
127 + Serial ATA: HIgh Speed Serialized AT Attachment, Revision 3.2
128 + SCSI Command Reference Manual
129 + ATA/ATAPI Command Set - 3 (ACS-3)
130
131 **免责声明:PCI相关的标准最终解释权归PCI-SIG所有。此处提供的副本仅供个人学习使用。任何商用目的须向PCI-SIG购买。**
132
133 #### 理论书籍
134 + *Computer System - A Programmer's Perspective Third Edition (CS:APP)* (Bryant, R & O'Hallaron, D)
135 + *Modern Operating System* (Tanenbaum, A)
136 + 《汇编语言》(王爽) - 用于入门Intel语法的x86汇编(对于AT&T语法,推荐阅读CS:APP)
137 + ~~《微机原理与接口技术》 - 用于大致了解x86架构的微机体系(更加细致的了解可以阅读Intel Manual)~~ (已过时,推荐阅读CS:APP)
138
139 #### 网站
140 + [OSDev](https://wiki.osdev.org/Main_Page) - 杂七杂八的参考,很多过来人的经验。作者主要用于上古资料查询以及收集;技术文献,手册,标准的粗略总结;以及开发环境/工具链的搭建。
141 + [FreeVGA](http://www.osdever.net/FreeVGA/home.htm) - 98年的资源!关于VGA编程技术的宝藏网站。
142 + GNU CC 和 GNU LD 的官方文档。
143 + [PCI Lookup](https://www.pcilookup.com/) - PCI设备编号查询
144
145 #### 其他
146 + Linux Manual - 用于查询*nix API的一些具体行为。
147
148
149 ## 附录1:支持的系统调用<a id="appendix1"></a>
150
151 ### Unix/Linux/POSIX
152 1. `sleep(3)`
153 1. `wait(2)`
154 1. `waitpid(2)`
155 1. `fork(2)`
156 1. `getpid(2)`
157 1. `getppid(2)`
158 1. `getpgid(2)`
159 1. `setpgid(2)`
160 1. `brk(2)`
161 1. `sbrk(2)`
162 1. `_exit(2)`
163 1. `sigreturn(2)`
164 1. `sigprocmask(2)`
165 1. `signal(2)`
166 1. `kill(2)`
167 1. `sigpending(2)`
168 1. `sigsuspend(2)`
169 2. `read(2)`
170 2. `write(2)`
171 2. `open(2)`
172 2. `close(2)`
173 2. `mkdir(2)`
174 2. `lseek(2)`
175 2. `readdir(2)`
176
177 ### LunaixOS自有
178
179 1. `yield`
180 2. `geterrno`
181
182 ## 附录2:编译gcc作为交叉编译器<a id="appendix2"></a>
183
184 注意,gcc需要从源码构建,并配置为交叉编译器,即目标平台为`i686-elf`。你可以使用本项目提供的[自动化脚本](slides/c0-workspace/gcc-build.sh),这将会涵盖gcc和binutils源码的下载,配置和编译(没什么时间去打磨脚本,目前只知道在笔者的Ubuntu系统上可以运行)。
185
186 **推荐**手动编译。以下编译步骤搬运自:https://wiki.osdev.org/GCC_Cross-Compiler 
187
188 **首先安装构建依赖项:**
189 ```bash
190 sudo apt update &&\
191      apt install -y \
192         build-essential \
193         bison\
194         flex\
195         libgmp3-dev\
196         libmpc-dev\
197         libmpfr-dev\
198         texinfo
199 ```
200
201 **开始编译:**
202 1. 获取[gcc](https://ftp.gnu.org/gnu/gcc/)和[binutils](https://ftp.gnu.org/gnu/binutils)源码
203 2. 解压,并在同级目录为gcc和binutil新建专门的build文件夹
204
205 现在假设你的目录结构如下:
206 ```
207 + folder
208   + gcc-src
209   + binutils-src
210   + gcc-build
211   + binutils-build
212 ```
213
214 3. 确定gcc和binutil安装的位置,并设置环境变量:`export PREFIX=<安装路径>` 然后设置PATH: `export PATH="$PREFIX/bin:$PATH"`
215 4. 设置目标平台:`export TARGET=i686-elf`
216 5. 进入`binutils-build`进行配置
217 ```bash
218 ../binutils-src/configure --target="$TARGET" --prefix="$PREFIX" \
219         --with-sysroot --disable-nls --disable-werror
220 ```
221 然后 `make && make install`
222
223 6. 确保上述的`binutils`已经正常安装:执行:`which i686-elf-as`,应该会给出一个位于你安装目录下的路径。
224 6. 进入`gcc-build`进行配置
225 ```bash
226 ../gcc-src/configure --target="$TARGET" --prefix="$PREFIX" \
227         --disable-nls --enable-languages=c,c++ --without-headers
228 ```
229 然后编译安装(取决性能,大约10~20分钟):
230 ```bash
231 make all-gcc &&\
232  make all-target-libgcc &&\
233  make install-gcc &&\
234  make install-target-libgcc
235 ```
236 8. 验证安装:执行`i686-elf-gcc -dumpmachine`,输出应该为:`i686-elf`
237
238 ## 附录3:Issue的提交<a id="appendix3"></a>
239
240 最好提供:
241 + 错误症状描述
242 + (如可能)运行截图
243 + 错误消息(如果给出)
244 + 寄存器状态的dump
245 + (如可能)提供错误发生时,EIP附近的指令(精确到函数)。如果使用`make all-debug`,会提供`build/kdump.txt`,你可以在这里面定位。或者也可以直接`objdump`
246 + (如可能)虚拟内存映射信息(QEMU下可使用`info mem`查看)。