lunaix-os/kernel/mm/mmap.c

   1 #include <lunaix/mm/mmap.h>
   2 #include <lunaix/mm/pmm.h>
   3 #include <lunaix/mm/valloc.h>
   4 #include <lunaix/mm/vmm.h>
   5 #include <lunaix/spike.h>
   6
   7 #include <lunaix/syscall.h>
   8 #include <lunaix/syscall_utils.h>
   9
  10 // any size beyond this is bullshit
  11 #define BS_SIZE (KERNEL_MM_BASE - UMMAP_START)
  12
  13 int
  14 mem_has_overlap(vm_regions_t* regions, ptr_t start, ptr_t end)
  15 {
  16     struct mm_region *pos, *n;
  17     llist_for_each(pos, n, regions, head)
  18     {
  19         if (pos->end >= start && pos->start < start) {
  20             return 1;
  21         }
  22
  23         if (pos->end <= end && pos->start >= start) {
  24             return 1;
  25         }
  26
  27         if (pos->end >= end && pos->start < end) {
  28             return 1;
  29         }
  30     }
  31
  32     return 0;
  33 }
  34
  35 int
  36 mem_adjust_inplace(vm_regions_t* regions,
  37                    struct mm_region* region,
  38                    ptr_t newend)
  39 {
  40     ssize_t len = newend - region->start;
  41     if (len == 0) {
  42         return 0;
  43     }
  44
  45     if (len < 0) {
  46         return EINVAL;
  47     }
  48
  49     if (mem_has_overlap(regions, region->start, newend)) {
  50         return ENOMEM;
  51     }
  52
  53     region->end = newend;
  54
  55     return 0;
  56 }
  57
  58 int
  59 mem_map(void** addr_out,
  60         struct mm_region** created,
  61         ptr_t addr,
  62         struct v_file* file,
  63         struct mmap_param* param)
  64 {
  65     assert_msg(addr, "addr can not be NULL");
  66
  67     ptr_t last_end = USER_START, found_loc = addr;
  68     struct mm_region *pos, *n;
  69
  70     vm_regions_t* vm_regions = &param->pvms->regions;
  71
  72     if ((param->flags & MAP_FIXED_NOREPLACE)) {
  73         if (mem_has_overlap(vm_regions, found_loc, param->mlen + found_loc)) {
  74             return EEXIST;
  75         }
  76         goto found;
  77     }
  78
  79     if ((param->flags & MAP_FIXED)) {
  80         int status =
  81           mem_unmap(param->vms_mnt, vm_regions, found_loc, param->mlen);
  82         if (status) {
  83             return status;
  84         }
  85         goto found;
  86     }
  87
  88     llist_for_each(pos, n, vm_regions, head)
  89     {
  90         if (last_end < found_loc) {
  91             size_t avail_space = pos->start - found_loc;
  92             if (pos->start > found_loc && avail_space > param->mlen) {
  93                 goto found;
  94             }
  95             found_loc = pos->end + PG_SIZE;
  96         }
  97
  98         last_end = pos->end;
  99     }
 100
 101     return ENOMEM;
 102
 103 found:
 104     if (found_loc >= KERNEL_MM_BASE || found_loc < USER_START) {
 105         return ENOMEM;
 106     }
 107
 108     struct mm_region* region = region_create_range(
 109       found_loc,
 110       param->mlen,
 111       ((param->proct | param->flags) & 0x3f) | (param->type & ~0xffff));
 112
 113     region->mfile = file;
 114     region->foff = param->offset;
 115     region->flen = param->flen;
 116     region->proc_vms = param->pvms;
 117
 118     region_add(vm_regions, region);
 119
 120     u32_t attr = PG_ALLOW_USER;
 121     if ((param->proct & REGION_WRITE)) {
 122         attr |= PG_WRITE;
 123     }
 124
 125     for (u32_t i = 0; i < param->mlen; i += PG_SIZE) {
 126         vmm_set_mapping(param->vms_mnt, found_loc + i, 0, attr, 0);
 127     }
 128
 129     if (file) {
 130         vfs_ref_file(file);
 131     }
 132
 133     if (addr_out) {
 134         *addr_out = (void*)found_loc;
 135     }
 136     if (created) {
 137         *created = region;
 138     }
 139     return 0;
 140 }
 141
 142 int
 143 mem_remap(void** addr_out,
 144           struct mm_region** remapped,
 145           void* addr,
 146           struct v_file* file,
 147           struct mmap_param* param)
 148 {
 149     // TODO
 150
 151     return EINVAL;
 152 }
 153
 154 void
 155 mem_sync_pages(ptr_t mnt,
 156                struct mm_region* region,
 157                ptr_t start,
 158                ptr_t length,
 159                int options)
 160 {
 161     if (!region->mfile || !(region->attr & REGION_WSHARED)) {
 162         return;
 163     }
 164
 165     v_mapping mapping;
 166     for (size_t i = 0; i < length; i += PG_SIZE) {
 167         if (!vmm_lookupat(mnt, start + i, &mapping)) {
 168             continue;
 169         }
 170
 171         if (PG_IS_DIRTY(*mapping.pte)) {
 172             size_t offset = mapping.va - region->start + region->foff;
 173             struct v_inode* inode = region->mfile->inode;
 174
 175             region->mfile->ops->write_page(
 176               inode, (void*)mapping.va, PG_SIZE, offset);
 177
 178             *mapping.pte &= ~PG_DIRTY;
 179
 180             cpu_flush_page((ptr_t)mapping.pte);
 181         } else if ((options & MS_INVALIDATE)) {
 182             goto invalidate;
 183         }
 184
 185         if (options & MS_INVALIDATE_ALL) {
 186             goto invalidate;
 187         }
 188
 189         continue;
 190
 191     invalidate:
 192         *mapping.pte &= ~PG_PRESENT;
 193         pmm_free_page(KERNEL_PID, mapping.pa);
 194         cpu_flush_page((ptr_t)mapping.pte);
 195     }
 196 }
 197
 198 int
 199 mem_msync(ptr_t mnt,
 200           vm_regions_t* regions,
 201           ptr_t addr,
 202           size_t length,
 203           int options)
 204 {
 205     struct mm_region* pos = list_entry(regions->next, struct mm_region, head);
 206     while (length && (ptr_t)&pos->head != (ptr_t)regions) {
 207         if (pos->end >= addr && pos->start <= addr) {
 208             size_t l = MIN(length, pos->end - addr);
 209             mem_sync_pages(mnt, pos, addr, l, options);
 210
 211             addr += l;
 212             length -= l;
 213         }
 214         pos = list_entry(pos->head.next, struct mm_region, head);
 215     }
 216
 217     if (length) {
 218         return ENOMEM;
 219     }
 220
 221     return 0;
 222 }
 223
 224 void
 225 mem_unmap_region(ptr_t mnt, struct mm_region* region)
 226 {
 227     size_t len = ROUNDUP(region->end - region->start, PG_SIZE);
 228     mem_sync_pages(mnt, region, region->start, len, 0);
 229
 230     for (size_t i = region->start; i <= region->end; i += PG_SIZE) {
 231         ptr_t pa = vmm_del_mapping(mnt, i);
 232         if (pa) {
 233             pmm_free_page(__current->pid, pa);
 234         }
 235     }
 236     llist_delete(&region->head);
 237     region_release(region);
 238 }
 239
 240 int
 241 mem_unmap(ptr_t mnt, vm_regions_t* regions, ptr_t addr, size_t length)
 242 {
 243     length = ROUNDUP(length, PG_SIZE);
 244     ptr_t cur_addr = PG_ALIGN(addr);
 245     struct mm_region *pos, *n;
 246
 247     llist_for_each(pos, n, regions, head)
 248     {
 249         if (pos->start <= cur_addr && pos->end >= cur_addr) {
 250             break;
 251         }
 252     }
 253
 254     while (&pos->head != regions && cur_addr >= pos->start) {
 255         u32_t l = pos->end - cur_addr;
 256         pos->end = cur_addr;
 257
 258         if (l > length) {
 259             // unmap cause discontinunity in a memory region -  do split
 260             struct mm_region* region = valloc(sizeof(struct mm_region));
 261             *region = *pos;
 262             region->start = cur_addr + length;
 263             llist_insert_after(&pos->head, &region->head);
 264             l = length;
 265         }
 266
 267         mem_sync_pages(mnt, pos, cur_addr, l, 0);
 268
 269         for (size_t i = 0; i < l; i += PG_SIZE) {
 270             ptr_t pa = vmm_del_mapping(mnt, cur_addr + i);
 271             if (pa) {
 272                 pmm_free_page(pos->proc_vms->pid, pa);
 273             }
 274         }
 275
 276         n = container_of(pos->head.next, typeof(*pos), head);
 277         if (pos->end == pos->start) {
 278             llist_delete(&pos->head);
 279             region_release(pos);
 280         }
 281
 282         pos = n;
 283         length -= l;
 284         cur_addr += length;
 285     }
 286
 287     return 0;
 288 }
 289
 290 __DEFINE_LXSYSCALL3(void*, sys_mmap, void*, addr, size_t, length, va_list, lst)
 291 {
 292     int proct = va_arg(lst, int);
 293     int fd = va_arg(lst, u32_t);
 294     off_t offset = va_arg(lst, off_t);
 295     int options = va_arg(lst, int);
 296     int errno = 0;
 297     void* result = (void*)-1;
 298
 299     ptr_t addr_ptr = (ptr_t)addr;
 300
 301     if (!length || length > BS_SIZE || !PG_ALIGNED(addr_ptr)) {
 302         errno = EINVAL;
 303         goto done;
 304     }
 305
 306     if (!addr_ptr) {
 307         addr_ptr = UMMAP_START;
 308     } else if (addr_ptr < UMMAP_START || addr_ptr + length >= UMMAP_END) {
 309         if (!(options & (MAP_FIXED | MAP_FIXED_NOREPLACE))) {
 310             errno = ENOMEM;
 311             goto done;
 312         }
 313     }
 314
 315     struct v_file* file = NULL;
 316
 317     if (!(options & MAP_ANON)) {
 318         struct v_fd* vfd;
 319         if ((errno = vfs_getfd(fd, &vfd))) {
 320             goto done;
 321         }
 322
 323         file = vfd->file;
 324         if (!file->ops->read_page) {
 325             errno = ENODEV;
 326             goto done;
 327         }
 328     }
 329
 330     struct mmap_param param = { .flags = options,
 331                                 .mlen = ROUNDUP(length, PG_SIZE),
 332                                 .offset = offset,
 333                                 .type = REGION_TYPE_GENERAL,
 334                                 .proct = proct,
 335                                 .pvms = (struct proc_mm*)&__current->mm,
 336                                 .vms_mnt = VMS_SELF };
 337
 338     errno = mem_map(&result, NULL, addr_ptr, file, &param);
 339
 340 done:
 341     __current->k_status = errno;
 342     return result;
 343 }
 344
 345 __DEFINE_LXSYSCALL2(int, munmap, void*, addr, size_t, length)
 346 {
 347     return mem_unmap(
 348       VMS_SELF, (vm_regions_t*)&__current->mm.regions, (ptr_t)addr, length);
 349 }
 350
 351 __DEFINE_LXSYSCALL3(int, msync, void*, addr, size_t, length, int, flags)
 352 {
 353     if (!PG_ALIGNED(addr) || ((flags & MS_ASYNC) && (flags & MS_SYNC))) {
 354         return DO_STATUS(EINVAL);
 355     }
 356
 357     int status = mem_msync(VMS_SELF,
 358                            (vm_regions_t*)&__current->mm.regions,
 359                            (ptr_t)addr,
 360                            length,
 361                            flags);
 362
 363     return DO_STATUS(status);
 364 }