lunaix-os/kernel/mm/mmap.c

   1 #include <lunaix/mm/mmap.h>
   2 #include <lunaix/mm/pmm.h>
   3 #include <lunaix/mm/valloc.h>
   4 #include <lunaix/mm/vmm.h>
   5 #include <lunaix/spike.h>
   6
   7 #include <lunaix/syscall.h>
   8 #include <lunaix/syscall_utils.h>
   9
  10 // any size beyond this is bullshit
  11 #define BS_SIZE (KERNEL_MM_BASE - UMMAP_START)
  12
  13 int
  14 mem_has_overlap(vm_regions_t* regions, ptr_t start, size_t len)
  15 {
  16     ptr_t end = start + end - 1;
  17     struct mm_region *pos, *n;
  18     llist_for_each(pos, n, regions, head)
  19     {
  20         if (pos->end >= start && pos->start < start) {
  21             return 1;
  22         }
  23
  24         if (pos->end <= end && pos->start >= start) {
  25             return 1;
  26         }
  27
  28         if (pos->end >= end && pos->start < end) {
  29             return 1;
  30         }
  31     }
  32
  33     return 0;
  34 }
  35
  36 int
  37 mem_map(void** addr_out,
  38         struct mm_region** created,
  39         void* addr,
  40         struct v_file* file,
  41         struct mmap_param* param)
  42 {
  43     ptr_t last_end = USER_START;
  44     struct mm_region *pos, *n;
  45
  46     if ((param->flags & MAP_FIXED_NOREPLACE)) {
  47         if (mem_has_overlap(param->regions, addr, param->length)) {
  48             return EEXIST;
  49         }
  50         last_end = addr;
  51         goto found;
  52     }
  53
  54     if ((param->flags & MAP_FIXED)) {
  55         int status =
  56           mem_unmap(param->vms_mnt, param->regions, addr, param->length);
  57         if (status) {
  58             return status;
  59         }
  60         last_end = addr;
  61         goto found;
  62     }
  63
  64     llist_for_each(pos, n, param->regions, head)
  65     {
  66         if (pos->start - last_end > param->length && last_end > addr) {
  67             last_end += 1;
  68             goto found;
  69         }
  70         last_end = pos->end;
  71     }
  72
  73     return ENOMEM;
  74
  75 found:
  76     addr = last_end;
  77
  78     if (addr >= KERNEL_MM_BASE || addr < USER_START) {
  79         return ENOMEM;
  80     }
  81
  82     struct mm_region* region = region_create_range(
  83       addr,
  84       param->length,
  85       ((param->proct | param->flags) & 0x1f) | (param->type & ~0xffff));
  86
  87     region->mfile = file;
  88     region->offset = param->offset;
  89
  90     region_add(param->regions, region);
  91
  92     u32_t attr = PG_ALLOW_USER;
  93     if ((param->proct & REGION_WRITE)) {
  94         attr |= PG_WRITE;
  95     }
  96
  97     for (u32_t i = 0; i < param->length; i += PG_SIZE) {
  98         vmm_set_mapping(param->vms_mnt, addr + i, 0, attr, 0);
  99     }
 100
 101     vfs_ref_file(file);
 102
 103     if (addr_out) {
 104         *addr_out = addr;
 105     }
 106     if (created) {
 107         *created = region;
 108     }
 109     return 0;
 110 }
 111
 112 void
 113 mem_sync_pages(ptr_t mnt,
 114                struct mm_region* region,
 115                ptr_t start,
 116                ptr_t length,
 117                int options)
 118 {
 119     if (!region->mfile || !(region->attr & REGION_WSHARED)) {
 120         return;
 121     }
 122
 123     v_mapping mapping;
 124     for (size_t i = 0; i < length; i += PG_SIZE) {
 125         if (!vmm_lookupat(mnt, start + i, &mapping)) {
 126             continue;
 127         }
 128
 129         if (PG_IS_DIRTY(*mapping.pte)) {
 130             size_t offset = mapping.va - region->start + region->offset;
 131             struct v_inode* inode = region->mfile->inode;
 132             region->mfile->ops->write_page(inode, mapping.va, PG_SIZE, offset);
 133             *mapping.pte &= ~PG_DIRTY;
 134             cpu_invplg(mapping.pte);
 135         } else if ((options & MS_INVALIDATE)) {
 136             goto invalidate;
 137         }
 138
 139         if (options & MS_INVALIDATE_ALL) {
 140             goto invalidate;
 141         }
 142
 143         continue;
 144
 145     invalidate:
 146         *mapping.pte &= ~PG_PRESENT;
 147         pmm_free_page(KERNEL_PID, mapping.pa);
 148         cpu_invplg(mapping.pte);
 149     }
 150 }
 151
 152 int
 153 mem_msync(ptr_t mnt,
 154           vm_regions_t* regions,
 155           ptr_t addr,
 156           size_t length,
 157           int options)
 158 {
 159     struct mm_region* pos = list_entry(regions->next, struct mm_region, head);
 160     while (length && (ptr_t)&pos->head != (ptr_t)regions) {
 161         if (pos->end >= addr && pos->start <= addr) {
 162             size_t l = MIN(length, pos->end - addr);
 163             mem_sync_pages(mnt, pos, addr, l, options);
 164
 165             addr += l;
 166             length -= l;
 167         }
 168         pos = list_entry(pos->head.next, struct mm_region, head);
 169     }
 170
 171     if (length) {
 172         return ENOMEM;
 173     }
 174
 175     return 0;
 176 }
 177
 178 int
 179 mem_unmap(ptr_t mnt, vm_regions_t* regions, void* addr, size_t length)
 180 {
 181     length = ROUNDUP(length, PG_SIZE);
 182     ptr_t cur_addr = ROUNDDOWN((ptr_t)addr, PG_SIZE);
 183     struct mm_region *pos, *n;
 184
 185     llist_for_each(pos, n, regions, head)
 186     {
 187         if (pos->start <= cur_addr) {
 188             break;
 189         }
 190     }
 191
 192     while (&pos->head != regions && cur_addr > pos->start) {
 193         u32_t l = pos->end - cur_addr;
 194         pos->end = cur_addr;
 195
 196         if (l > length) {
 197             // unmap cause discontinunity in a memory region -  do split
 198             struct mm_region* region = valloc(sizeof(struct mm_region));
 199             *region = *pos;
 200             region->start = cur_addr + length;
 201             llist_insert_after(&pos->head, &region->head);
 202             l = length;
 203         }
 204
 205         mem_sync_pages(mnt, pos, cur_addr, l, 0);
 206
 207         for (size_t i = 0; i < l; i += PG_SIZE) {
 208             ptr_t pa = vmm_del_mapping(mnt, cur_addr + i);
 209             if (pa) {
 210                 pmm_free_page(__current->pid, pa);
 211             }
 212         }
 213
 214         n = container_of(pos->head.next, typeof(*pos), head);
 215         if (pos->end == pos->start) {
 216             llist_delete(&pos->head);
 217             region_release(__current->pid, pos);
 218         }
 219
 220         pos = n;
 221         length -= l;
 222         cur_addr += length;
 223     }
 224
 225     return 0;
 226 }
 227
 228 __DEFINE_LXSYSCALL3(void*, sys_mmap, void*, addr, size_t, length, va_list, lst)
 229 {
 230     int proct = va_arg(lst, int);
 231     int fd = va_arg(lst, u32_t);
 232     off_t offset = va_arg(lst, off_t);
 233     int options = va_arg(lst, int);
 234     int errno = 0;
 235     void* result = (void*)-1;
 236
 237     if (!length || length > BS_SIZE || !PG_ALIGNED(addr)) {
 238         errno = EINVAL;
 239         goto done;
 240     }
 241
 242     if (!addr) {
 243         addr = UMMAP_START;
 244     } else if (addr < UMMAP_START || addr + length >= UMMAP_END) {
 245         errno = ENOMEM;
 246         goto done;
 247     }
 248
 249     struct v_fd* vfd;
 250     if ((errno = vfs_getfd(fd, &vfd))) {
 251         goto done;
 252     }
 253
 254     struct v_file* file = vfd->file;
 255
 256     if (!(options & MAP_ANON)) {
 257         if (!file->ops->read_page) {
 258             errno = ENODEV;
 259             goto done;
 260         }
 261     } else {
 262         file = NULL;
 263     }
 264
 265     struct mmap_param param = { .flags = options,
 266                                 .length = ROUNDUP(length, PG_SIZE),
 267                                 .offset = offset,
 268                                 .type = REGION_TYPE_GENERAL,
 269                                 .proct = proct,
 270                                 .regions = &__current->mm.regions,
 271                                 .vms_mnt = VMS_SELF };
 272
 273     errno = mem_map(&result, NULL, addr, file, &param);
 274
 275 done:
 276     __current->k_status = errno;
 277     return result;
 278 }
 279
 280 __DEFINE_LXSYSCALL2(void, munmap, void*, addr, size_t, length)
 281 {
 282     return mem_unmap(VMS_SELF, &__current->mm.regions, addr, length);
 283 }
 284
 285 __DEFINE_LXSYSCALL3(int, msync, void*, addr, size_t, length, int, flags)
 286 {
 287     if (!PG_ALIGNED(addr) || ((flags & MS_ASYNC) && (flags & MS_SYNC))) {
 288         return DO_STATUS(EINVAL);
 289     }
 290
 291     int status =
 292       mem_msync(VMS_SELF, &__current->mm.regions, addr, length, flags);
 293
 294     return DO_STATUS(status);
 295 }