lunaix-os/kernel/mm/mmap.c

   1 #include <lunaix/mm/mmap.h>
   2 #include <lunaix/mm/pmm.h>
   3 #include <lunaix/mm/valloc.h>
   4 #include <lunaix/mm/vmm.h>
   5 #include <lunaix/spike.h>
   6
   7 #include <lunaix/syscall.h>
   8 #include <lunaix/syscall_utils.h>
   9
  10 #include <sys/mm/mempart.h>
  11
  12 // any size beyond this is bullshit
  13 #define BS_SIZE (KERNEL_EXEC - USR_MMAP)
  14
  15 int
  16 mem_has_overlap(vm_regions_t* regions, ptr_t start, ptr_t end)
  17 {
  18     struct mm_region *pos, *n;
  19     llist_for_each(pos, n, regions, head)
  20     {
  21         if (pos->end >= start && pos->start < start) {
  22             return 1;
  23         }
  24
  25         if (pos->end <= end && pos->start >= start) {
  26             return 1;
  27         }
  28
  29         if (pos->end >= end && pos->start < end) {
  30             return 1;
  31         }
  32     }
  33
  34     return 0;
  35 }
  36
  37 int
  38 mem_adjust_inplace(vm_regions_t* regions,
  39                    struct mm_region* region,
  40                    ptr_t newend)
  41 {
  42     ssize_t len = newend - region->start;
  43     if (len == 0) {
  44         return 0;
  45     }
  46
  47     if (len < 0) {
  48         return EINVAL;
  49     }
  50
  51     if (mem_has_overlap(regions, region->start, newend)) {
  52         return ENOMEM;
  53     }
  54
  55     region->end = newend;
  56
  57     return 0;
  58 }
  59
  60 int
  61 mem_map(void** addr_out,
  62         struct mm_region** created,
  63         ptr_t addr,
  64         struct v_file* file,
  65         struct mmap_param* param)
  66 {
  67     assert_msg(addr, "addr can not be NULL");
  68
  69     ptr_t last_end = USR_EXEC, found_loc = addr;
  70     struct mm_region *pos, *n;
  71
  72     vm_regions_t* vm_regions = &param->pvms->regions;
  73
  74     if ((param->flags & MAP_FIXED_NOREPLACE)) {
  75         if (mem_has_overlap(vm_regions, found_loc, param->mlen + found_loc)) {
  76             return EEXIST;
  77         }
  78         goto found;
  79     }
  80
  81     if ((param->flags & MAP_FIXED)) {
  82         int status =
  83           mem_unmap(param->vms_mnt, vm_regions, found_loc, param->mlen);
  84         if (status) {
  85             return status;
  86         }
  87         goto found;
  88     }
  89
  90     llist_for_each(pos, n, vm_regions, head)
  91     {
  92         if (last_end < found_loc) {
  93             size_t avail_space = pos->start - found_loc;
  94             if (pos->start > found_loc && avail_space > param->mlen) {
  95                 goto found;
  96             }
  97             found_loc = pos->end + MEM_PAGE;
  98         }
  99
 100         last_end = pos->end;
 101     }
 102
 103     return ENOMEM;
 104
 105 found:
 106     if (found_loc >= KERNEL_EXEC || found_loc < USR_EXEC) {
 107         return ENOMEM;
 108     }
 109
 110     struct mm_region* region = region_create_range(
 111       found_loc,
 112       param->mlen,
 113       ((param->proct | param->flags) & 0x3f) | (param->type & ~0xffff));
 114
 115     region->mfile = file;
 116     region->foff = param->offset;
 117     region->proc_vms = param->pvms;
 118
 119     region_add(vm_regions, region);
 120
 121     u32_t attr = PG_ALLOW_USER;
 122     if ((param->proct & REGION_WRITE)) {
 123         attr |= PG_WRITE;
 124     }
 125
 126     for (u32_t i = 0; i < param->mlen; i += PG_SIZE) {
 127         vmm_set_mapping(param->vms_mnt, found_loc + i, 0, attr, 0);
 128     }
 129
 130     if (file) {
 131         vfs_ref_file(file);
 132     }
 133
 134     if (addr_out) {
 135         *addr_out = (void*)found_loc;
 136     }
 137     if (created) {
 138         *created = region;
 139     }
 140     return 0;
 141 }
 142
 143 int
 144 mem_remap(void** addr_out,
 145           struct mm_region** remapped,
 146           void* addr,
 147           struct v_file* file,
 148           struct mmap_param* param)
 149 {
 150     // TODO
 151
 152     return EINVAL;
 153 }
 154
 155 void
 156 mem_sync_pages(ptr_t mnt,
 157                struct mm_region* region,
 158                ptr_t start,
 159                ptr_t length,
 160                int options)
 161 {
 162     if (!region->mfile || !(region->attr & REGION_WSHARED)) {
 163         return;
 164     }
 165
 166     v_mapping mapping;
 167     for (size_t i = 0; i < length; i += PG_SIZE) {
 168         if (!vmm_lookupat(mnt, start + i, &mapping)) {
 169             continue;
 170         }
 171
 172         if (PG_IS_DIRTY(*mapping.pte)) {
 173             size_t offset = mapping.va - region->start + region->foff;
 174             struct v_inode* inode = region->mfile->inode;
 175
 176             region->mfile->ops->write_page(inode, (void*)mapping.va, offset);
 177
 178             *mapping.pte &= ~PG_DIRTY;
 179
 180             cpu_flush_page((ptr_t)mapping.pte);
 181         } else if ((options & MS_INVALIDATE)) {
 182             goto invalidate;
 183         }
 184
 185         if (options & MS_INVALIDATE_ALL) {
 186             goto invalidate;
 187         }
 188
 189         continue;
 190
 191     invalidate:
 192         *mapping.pte &= ~PG_PRESENT;
 193         pmm_free_page(KERNEL_PID, mapping.pa);
 194         cpu_flush_page((ptr_t)mapping.pte);
 195     }
 196 }
 197
 198 int
 199 mem_msync(ptr_t mnt,
 200           vm_regions_t* regions,
 201           ptr_t addr,
 202           size_t length,
 203           int options)
 204 {
 205     struct mm_region* pos = list_entry(regions->next, struct mm_region, head);
 206     while (length && (ptr_t)&pos->head != (ptr_t)regions) {
 207         if (pos->end >= addr && pos->start <= addr) {
 208             size_t l = MIN(length, pos->end - addr);
 209             mem_sync_pages(mnt, pos, addr, l, options);
 210
 211             addr += l;
 212             length -= l;
 213         }
 214         pos = list_entry(pos->head.next, struct mm_region, head);
 215     }
 216
 217     if (length) {
 218         return ENOMEM;
 219     }
 220
 221     return 0;
 222 }
 223
 224 void
 225 mem_unmap_region(ptr_t mnt, struct mm_region* region)
 226 {
 227     size_t len = ROUNDUP(region->end - region->start, PG_SIZE);
 228     mem_sync_pages(mnt, region, region->start, len, 0);
 229
 230     for (size_t i = region->start; i <= region->end; i += PG_SIZE) {
 231         ptr_t pa = vmm_del_mapping(mnt, i);
 232         if (pa) {
 233             pmm_free_page(__current->pid, pa);
 234         }
 235     }
 236     llist_delete(&region->head);
 237     region_release(region);
 238 }
 239
 240 // Case: head inseted, tail inseted
 241 #define CASE_HITI(vmr, addr, len)                                              \
 242     ((vmr)->start <= (addr) && ((addr) + (len)) <= (vmr)->end)
 243
 244 // Case: head inseted, tail extruded
 245 #define CASE_HITE(vmr, addr, len)                                              \
 246     ((vmr)->start <= (addr) && ((addr) + (len)) > (vmr)->end)
 247
 248 // Case: head extruded, tail inseted
 249 #define CASE_HETI(vmr, addr, len)                                              \
 250     ((vmr)->start > (addr) && ((addr) + (len)) <= (vmr)->end)
 251
 252 // Case: head extruded, tail extruded
 253 #define CASE_HETE(vmr, addr, len)                                              \
 254     ((vmr)->start > (addr) && ((addr) + (len)) > (vmr)->end)
 255
 256 static void
 257 __unmap_overlapped_cases(ptr_t mnt,
 258                          struct mm_region* vmr,
 259                          ptr_t* addr,
 260                          size_t* length)
 261 {
 262     // seg start, umapped segement start
 263     ptr_t seg_start = *addr, umps_start = 0;
 264
 265     // seg len, umapped segement len
 266     size_t seg_len = *length, umps_len = 0;
 267
 268     size_t displ = 0, shrink = 0;
 269
 270     if (CASE_HITI(vmr, seg_start, seg_len)) {
 271         size_t new_start = seg_start + seg_len;
 272
 273         // Require a split
 274         if (new_start < vmr->end) {
 275             struct mm_region* region = region_dup(vmr);
 276             if (region->mfile) {
 277                 size_t f_shifted = new_start - region->start;
 278                 region->foff += f_shifted;
 279             }
 280             region->start = new_start;
 281             llist_insert_after(&vmr->head, &region->head);
 282         }
 283
 284         shrink = vmr->end - seg_start;
 285         umps_len = shrink;
 286         umps_start = seg_start;
 287     } else if (CASE_HITE(vmr, seg_start, seg_len)) {
 288         shrink = vmr->end - seg_start;
 289         umps_len = shrink;
 290         umps_start = seg_start;
 291     } else if (CASE_HETI(vmr, seg_start, seg_len)) {
 292         displ = seg_len - (vmr->start - seg_start);
 293         umps_len = displ;
 294         umps_start = vmr->start;
 295     } else if (CASE_HETE(vmr, seg_start, seg_len)) {
 296         shrink = vmr->end - vmr->start;
 297         umps_len = shrink;
 298         umps_start = vmr->start;
 299     }
 300
 301     mem_sync_pages(mnt, vmr, vmr->start, umps_len, 0);
 302     for (size_t i = 0; i < umps_len; i += PG_SIZE) {
 303         ptr_t pa = vmm_del_mapping(mnt, vmr->start + i);
 304         if (pa) {
 305             pmm_free_page(vmr->proc_vms->pid, pa);
 306         }
 307     }
 308
 309     vmr->start += displ;
 310     vmr->end -= shrink;
 311
 312     if (vmr->start >= vmr->end) {
 313         llist_delete(&vmr->head);
 314         region_release(vmr);
 315     } else if (vmr->mfile) {
 316         vmr->foff += displ;
 317     }
 318
 319     *addr = umps_start + umps_len;
 320
 321     size_t ump_len = *addr - seg_start;
 322     *length = MAX(seg_len, ump_len) - ump_len;
 323 }
 324
 325 int
 326 mem_unmap(ptr_t mnt, vm_regions_t* regions, ptr_t addr, size_t length)
 327 {
 328     length = ROUNDUP(length, PG_SIZE);
 329     ptr_t cur_addr = PG_ALIGN(addr);
 330     struct mm_region *pos, *n;
 331
 332     llist_for_each(pos, n, regions, head)
 333     {
 334         u32_t l = pos->start - cur_addr;
 335         if ((pos->start <= cur_addr && cur_addr < pos->end) || l <= length) {
 336             break;
 337         }
 338     }
 339
 340     while (&pos->head != regions && length) {
 341         n = container_of(pos->head.next, typeof(*pos), head);
 342         __unmap_overlapped_cases(mnt, pos, &cur_addr, &length);
 343
 344         pos = n;
 345     }
 346
 347     return 0;
 348 }
 349
 350 __DEFINE_LXSYSCALL3(void*, sys_mmap, void*, addr, size_t, length, va_list, lst)
 351 {
 352     int proct = va_arg(lst, int);
 353     int fd = va_arg(lst, u32_t);
 354     off_t offset = va_arg(lst, off_t);
 355     int options = va_arg(lst, int);
 356     int errno = 0;
 357     void* result = (void*)-1;
 358
 359     ptr_t addr_ptr = (ptr_t)addr;
 360
 361     if (!length || length > BS_SIZE || !PG_ALIGNED(addr_ptr)) {
 362         errno = EINVAL;
 363         goto done;
 364     }
 365
 366     if (!addr_ptr) {
 367         addr_ptr = USR_MMAP;
 368     } else if (addr_ptr < USR_MMAP || addr_ptr + length >= USR_MMAP_END) {
 369         if (!(options & (MAP_FIXED | MAP_FIXED_NOREPLACE))) {
 370             errno = ENOMEM;
 371             goto done;
 372         }
 373     }
 374
 375     struct v_file* file = NULL;
 376
 377     if (!(options & MAP_ANON)) {
 378         struct v_fd* vfd;
 379         if ((errno = vfs_getfd(fd, &vfd))) {
 380             goto done;
 381         }
 382
 383         file = vfd->file;
 384         if (!file->ops->read_page) {
 385             errno = ENODEV;
 386             goto done;
 387         }
 388     }
 389
 390     struct mmap_param param = { .flags = options,
 391                                 .mlen = ROUNDUP(length, PG_SIZE),
 392                                 .flen = length,
 393                                 .offset = offset,
 394                                 .type = REGION_TYPE_GENERAL,
 395                                 .proct = proct,
 396                                 .pvms = (struct proc_mm*)&__current->mm,
 397                                 .vms_mnt = VMS_SELF };
 398
 399     errno = mem_map(&result, NULL, addr_ptr, file, &param);
 400
 401 done:
 402     __current->k_status = errno;
 403     return result;
 404 }
 405
 406 __DEFINE_LXSYSCALL2(int, munmap, void*, addr, size_t, length)
 407 {
 408     return mem_unmap(
 409       VMS_SELF, (vm_regions_t*)&__current->mm.regions, (ptr_t)addr, length);
 410 }
 411
 412 __DEFINE_LXSYSCALL3(int, msync, void*, addr, size_t, length, int, flags)
 413 {
 414     if (!PG_ALIGNED(addr) || ((flags & MS_ASYNC) && (flags & MS_SYNC))) {
 415         return DO_STATUS(EINVAL);
 416     }
 417
 418     int status = mem_msync(VMS_SELF,
 419                            (vm_regions_t*)&__current->mm.regions,
 420                            (ptr_t)addr,
 421                            length,
 422                            flags);
 423
 424     return DO_STATUS(status);
 425 }