arch/x86/mm/pat.c

   1 /*
   2  * Handle caching attributes in page tables (PAT)
   3  *
   4  * Authors: Venkatesh Pallipadi <venkatesh.pallipadi@intel.com>
   5  *          Suresh B Siddha <suresh.b.siddha@intel.com>
   6  *
   7  * Loosely based on earlier PAT patchset from Eric Biederman and Andi Kleen.
   8  */
   9
  10 #include <linux/seq_file.h>
  11 #include <linux/bootmem.h>
  12 #include <linux/debugfs.h>
  13 #include <linux/kernel.h>
  14 #include <linux/module.h>
  15 #include <linux/slab.h>
  16 #include <linux/mm.h>
  17 #include <linux/fs.h>
  18 #include <linux/rbtree.h>
  19
  20 #include <asm/cacheflush.h>
  21 #include <asm/processor.h>
  22 #include <asm/tlbflush.h>
  23 #include <asm/x86_init.h>
  24 #include <asm/pgtable.h>
  25 #include <asm/fcntl.h>
  26 #include <asm/e820.h>
  27 #include <asm/mtrr.h>
  28 #include <asm/page.h>
  29 #include <asm/msr.h>
  30 #include <asm/pat.h>
  31 #include <asm/io.h>
  32
  33 #include "pat_internal.h"
  34 #include "mm_internal.h"
  35
  36 #undef pr_fmt
  37 #define pr_fmt(fmt) "" fmt
  38
  39 static bool __read_mostly boot_cpu_done;
  40 static bool __read_mostly pat_disabled = !IS_ENABLED(CONFIG_X86_PAT);
  41 static bool __read_mostly pat_initialized;
  42 static bool __read_mostly init_cm_done;
  43
  44 void pat_disable(const char *reason)
  45 {
  46         if (pat_disabled)
  47                 return;
  48
  49         if (boot_cpu_done) {
  50                 WARN_ONCE(1, "x86/PAT: PAT cannot be disabled after initialization\n");
  51                 return;
  52         }
  53
  54         pat_disabled = true;
  55         pr_info("x86/PAT: %s\n", reason);
  56 }
  57
  58 static int __init nopat(char *str)
  59 {
  60         pat_disable("PAT support disabled.");
  61         return 0;
  62 }
  63 early_param("nopat", nopat);
  64
  65 bool pat_enabled(void)
  66 {
  67         return pat_initialized;
  68 }
  69 EXPORT_SYMBOL_GPL(pat_enabled);
  70
  71 int pat_debug_enable;
  72
  73 static int __init pat_debug_setup(char *str)
  74 {
  75         pat_debug_enable = 1;
  76         return 0;
  77 }
  78 __setup("debugpat", pat_debug_setup);
  79
  80 #ifdef CONFIG_X86_PAT
  81 /*
  82  * X86 PAT uses page flags arch_1 and uncached together to keep track of
  83  * memory type of pages that have backing page struct.
  84  *
  85  * X86 PAT supports 4 different memory types:
  86  *  - _PAGE_CACHE_MODE_WB
  87  *  - _PAGE_CACHE_MODE_WC
  88  *  - _PAGE_CACHE_MODE_UC_MINUS
  89  *  - _PAGE_CACHE_MODE_WT
  90  *
  91  * _PAGE_CACHE_MODE_WB is the default type.
  92  */
  93
  94 #define _PGMT_WB                0
  95 #define _PGMT_WC                (1UL << PG_arch_1)
  96 #define _PGMT_UC_MINUS          (1UL << PG_uncached)
  97 #define _PGMT_WT                (1UL << PG_uncached | 1UL << PG_arch_1)
  98 #define _PGMT_MASK              (1UL << PG_uncached | 1UL << PG_arch_1)
  99 #define _PGMT_CLEAR_MASK        (~_PGMT_MASK)
 100
 101 static inline enum page_cache_mode get_page_memtype(struct page *pg)
 102 {
 103         unsigned long pg_flags = pg->flags & _PGMT_MASK;
 104
 105         if (pg_flags == _PGMT_WB)
 106                 return _PAGE_CACHE_MODE_WB;
 107         else if (pg_flags == _PGMT_WC)
 108                 return _PAGE_CACHE_MODE_WC;
 109         else if (pg_flags == _PGMT_UC_MINUS)
 110                 return _PAGE_CACHE_MODE_UC_MINUS;
 111         else
 112                 return _PAGE_CACHE_MODE_WT;
 113 }
 114
 115 static inline void set_page_memtype(struct page *pg,
 116                                     enum page_cache_mode memtype)
 117 {
 118         unsigned long memtype_flags;
 119         unsigned long old_flags;
 120         unsigned long new_flags;
 121
 122         switch (memtype) {
 123         case _PAGE_CACHE_MODE_WC:
 124                 memtype_flags = _PGMT_WC;
 125                 break;
 126         case _PAGE_CACHE_MODE_UC_MINUS:
 127                 memtype_flags = _PGMT_UC_MINUS;
 128                 break;
 129         case _PAGE_CACHE_MODE_WT:
 130                 memtype_flags = _PGMT_WT;
 131                 break;
 132         case _PAGE_CACHE_MODE_WB:
 133         default:
 134                 memtype_flags = _PGMT_WB;
 135                 break;
 136         }
 137
 138         do {
 139                 old_flags = pg->flags;
 140                 new_flags = (old_flags & _PGMT_CLEAR_MASK) | memtype_flags;
 141         } while (cmpxchg(&pg->flags, old_flags, new_flags) != old_flags);
 142 }
 143 #else
 144 static inline enum page_cache_mode get_page_memtype(struct page *pg)
 145 {
 146         return -1;
 147 }
 148 static inline void set_page_memtype(struct page *pg,
 149                                     enum page_cache_mode memtype)
 150 {
 151 }
 152 #endif
 153
 154 enum {
 155         PAT_UC = 0,             /* uncached */
 156         PAT_WC = 1,             /* Write combining */
 157         PAT_WT = 4,             /* Write Through */
 158         PAT_WP = 5,             /* Write Protected */
 159         PAT_WB = 6,             /* Write Back (default) */
 160         PAT_UC_MINUS = 7,       /* UC, but can be overriden by MTRR */
 161 };
 162
 163 #define CM(c) (_PAGE_CACHE_MODE_ ## c)
 164
 165 static enum page_cache_mode pat_get_cache_mode(unsigned pat_val, char *msg)
 166 {
 167         enum page_cache_mode cache;
 168         char *cache_mode;
 169
 170         switch (pat_val) {
 171         case PAT_UC:       cache = CM(UC);       cache_mode = "UC  "; break;
 172         case PAT_WC:       cache = CM(WC);       cache_mode = "WC  "; break;
 173         case PAT_WT:       cache = CM(WT);       cache_mode = "WT  "; break;
 174         case PAT_WP:       cache = CM(WP);       cache_mode = "WP  "; break;
 175         case PAT_WB:       cache = CM(WB);       cache_mode = "WB  "; break;
 176         case PAT_UC_MINUS: cache = CM(UC_MINUS); cache_mode = "UC- "; break;
 177         default:           cache = CM(WB);       cache_mode = "WB  "; break;
 178         }
 179
 180         memcpy(msg, cache_mode, 4);
 181
 182         return cache;
 183 }
 184
 185 #undef CM
 186
 187 /*
 188  * Update the cache mode to pgprot translation tables according to PAT
 189  * configuration.
 190  * Using lower indices is preferred, so we start with highest index.
 191  */
 192 static void __init_cache_modes(u64 pat)
 193 {
 194         enum page_cache_mode cache;
 195         char pat_msg[33];
 196         int i;
 197
 198         pat_msg[32] = 0;
 199         for (i = 7; i >= 0; i--) {
 200                 cache = pat_get_cache_mode((pat >> (i * 8)) & 7,
 201                                            pat_msg + 4 * i);
 202                 update_cache_mode_entry(i, cache);
 203         }
 204         pr_info("x86/PAT: Configuration [0-7]: %s\n", pat_msg);
 205
 206         init_cm_done = true;
 207 }
 208
 209 #define PAT(x, y)       ((u64)PAT_ ## y << ((x)*8))
 210
 211 static void pat_bsp_init(u64 pat)
 212 {
 213         u64 tmp_pat;
 214
 215         if (!boot_cpu_has(X86_FEATURE_PAT)) {
 216                 pat_disable("PAT not supported by CPU.");
 217                 return;
 218         }
 219
 220         rdmsrl(MSR_IA32_CR_PAT, tmp_pat);
 221         if (!tmp_pat) {
 222                 pat_disable("PAT MSR is 0, disabled.");
 223                 return;
 224         }
 225
 226         wrmsrl(MSR_IA32_CR_PAT, pat);
 227         pat_initialized = true;
 228
 229         __init_cache_modes(pat);
 230 }
 231
 232 static void pat_ap_init(u64 pat)
 233 {
 234         if (!boot_cpu_has(X86_FEATURE_PAT)) {
 235                 /*
 236                  * If this happens we are on a secondary CPU, but switched to
 237                  * PAT on the boot CPU. We have no way to undo PAT.
 238                  */
 239                 panic("x86/PAT: PAT enabled, but not supported by secondary CPU\n");
 240         }
 241
 242         wrmsrl(MSR_IA32_CR_PAT, pat);
 243 }
 244
 245 void init_cache_modes(void)
 246 {
 247         u64 pat = 0;
 248
 249         if (init_cm_done)
 250                 return;
 251
 252         if (boot_cpu_has(X86_FEATURE_PAT)) {
 253                 /*
 254                  * CPU supports PAT. Set PAT table to be consistent with
 255                  * PAT MSR. This case supports "nopat" boot option, and
 256                  * virtual machine environments which support PAT without
 257                  * MTRRs. In specific, Xen has unique setup to PAT MSR.
 258                  *
 259                  * If PAT MSR returns 0, it is considered invalid and emulates
 260                  * as No PAT.
 261                  */
 262                 rdmsrl(MSR_IA32_CR_PAT, pat);
 263         }
 264
 265         if (!pat) {
 266                 /*
 267                  * No PAT. Emulate the PAT table that corresponds to the two
 268                  * cache bits, PWT (Write Through) and PCD (Cache Disable).
 269                  * This setup is also the same as the BIOS default setup.
 270                  *
 271                  * PTE encoding:
 272                  *
 273                  *       PCD
 274                  *       |PWT  PAT
 275                  *       ||    slot
 276                  *       00    0    WB : _PAGE_CACHE_MODE_WB
 277                  *       01    1    WT : _PAGE_CACHE_MODE_WT
 278                  *       10    2    UC-: _PAGE_CACHE_MODE_UC_MINUS
 279                  *       11    3    UC : _PAGE_CACHE_MODE_UC
 280                  *
 281                  * NOTE: When WC or WP is used, it is redirected to UC- per
 282                  * the default setup in __cachemode2pte_tbl[].
 283                  */
 284                 pat = PAT(0, WB) | PAT(1, WT) | PAT(2, UC_MINUS) | PAT(3, UC) |
 285                       PAT(4, WB) | PAT(5, WT) | PAT(6, UC_MINUS) | PAT(7, UC);
 286         }
 287
 288         __init_cache_modes(pat);
 289 }
 290
 291 /**
 292  * pat_init - Initialize PAT MSR and PAT table
 293  *
 294  * This function initializes PAT MSR and PAT table with an OS-defined value
 295  * to enable additional cache attributes, WC and WT.
 296  *
 297  * This function must be called on all CPUs using the specific sequence of
 298  * operations defined in Intel SDM. mtrr_rendezvous_handler() provides this
 299  * procedure for PAT.
 300  */
 301 void pat_init(void)
 302 {
 303         u64 pat;
 304         struct cpuinfo_x86 *c = &boot_cpu_data;
 305
 306         if (pat_disabled)
 307                 return;
 308
 309         if ((c->x86_vendor == X86_VENDOR_INTEL) &&
 310             (((c->x86 == 0x6) && (c->x86_model <= 0xd)) ||
 311              ((c->x86 == 0xf) && (c->x86_model <= 0x6)))) {
 312                 /*
 313                  * PAT support with the lower four entries. Intel Pentium 2,
 314                  * 3, M, and 4 are affected by PAT errata, which makes the
 315                  * upper four entries unusable. To be on the safe side, we don't
 316                  * use those.
 317                  *
 318                  *  PTE encoding:
 319                  *      PAT
 320                  *      |PCD
 321                  *      ||PWT  PAT
 322                  *      |||    slot
 323                  *      000    0    WB : _PAGE_CACHE_MODE_WB
 324                  *      001    1    WC : _PAGE_CACHE_MODE_WC
 325                  *      010    2    UC-: _PAGE_CACHE_MODE_UC_MINUS
 326                  *      011    3    UC : _PAGE_CACHE_MODE_UC
 327                  * PAT bit unused
 328                  *
 329                  * NOTE: When WT or WP is used, it is redirected to UC- per
 330                  * the default setup in __cachemode2pte_tbl[].
 331                  */
 332                 pat = PAT(0, WB) | PAT(1, WC) | PAT(2, UC_MINUS) | PAT(3, UC) |
 333                       PAT(4, WB) | PAT(5, WC) | PAT(6, UC_MINUS) | PAT(7, UC);
 334         } else {
 335                 /*
 336                  * Full PAT support.  We put WT in slot 7 to improve
 337                  * robustness in the presence of errata that might cause
 338                  * the high PAT bit to be ignored.  This way, a buggy slot 7
 339                  * access will hit slot 3, and slot 3 is UC, so at worst
 340                  * we lose performance without causing a correctness issue.
 341                  * Pentium 4 erratum N46 is an example for such an erratum,
 342                  * although we try not to use PAT at all on affected CPUs.
 343                  *
 344                  *  PTE encoding:
 345                  *      PAT
 346                  *      |PCD
 347                  *      ||PWT  PAT
 348                  *      |||    slot
 349                  *      000    0    WB : _PAGE_CACHE_MODE_WB
 350                  *      001    1    WC : _PAGE_CACHE_MODE_WC
 351                  *      010    2    UC-: _PAGE_CACHE_MODE_UC_MINUS
 352                  *      011    3    UC : _PAGE_CACHE_MODE_UC
 353                  *      100    4    WB : Reserved
 354                  *      101    5    WC : Reserved
 355                  *      110    6    UC-: Reserved
 356                  *      111    7    WT : _PAGE_CACHE_MODE_WT
 357                  *
 358                  * The reserved slots are unused, but mapped to their
 359                  * corresponding types in the presence of PAT errata.
 360                  */
 361                 pat = PAT(0, WB) | PAT(1, WC) | PAT(2, UC_MINUS) | PAT(3, UC) |
 362                       PAT(4, WB) | PAT(5, WC) | PAT(6, UC_MINUS) | PAT(7, WT);
 363         }
 364
 365         if (!boot_cpu_done) {
 366                 pat_bsp_init(pat);
 367                 boot_cpu_done = true;
 368         } else {
 369                 pat_ap_init(pat);
 370         }
 371 }
 372
 373 #undef PAT
 374
 375 static DEFINE_SPINLOCK(memtype_lock);   /* protects memtype accesses */
 376
 377 /*
 378  * Does intersection of PAT memory type and MTRR memory type and returns
 379  * the resulting memory type as PAT understands it.
 380  * (Type in pat and mtrr will not have same value)
 381  * The intersection is based on "Effective Memory Type" tables in IA-32
 382  * SDM vol 3a
 383  */
 384 static unsigned long pat_x_mtrr_type(u64 start, u64 end,
 385                                      enum page_cache_mode req_type)
 386 {
 387         /*
 388          * Look for MTRR hint to get the effective type in case where PAT
 389          * request is for WB.
 390          */
 391         if (req_type == _PAGE_CACHE_MODE_WB) {
 392                 u8 mtrr_type, uniform;
 393
 394                 mtrr_type = mtrr_type_lookup(start, end, &uniform);
 395                 if (mtrr_type != MTRR_TYPE_WRBACK)
 396                         return _PAGE_CACHE_MODE_UC_MINUS;
 397
 398                 return _PAGE_CACHE_MODE_WB;
 399         }
 400
 401         return req_type;
 402 }
 403
 404 struct pagerange_state {
 405         unsigned long           cur_pfn;
 406         int                     ram;
 407         int                     not_ram;
 408 };
 409
 410 static int
 411 pagerange_is_ram_callback(unsigned long initial_pfn, unsigned long total_nr_pages, void *arg)
 412 {
 413         struct pagerange_state *state = arg;
 414
 415         state->not_ram  |= initial_pfn > state->cur_pfn;
 416         state->ram      |= total_nr_pages > 0;
 417         state->cur_pfn   = initial_pfn + total_nr_pages;
 418
 419         return state->ram && state->not_ram;
 420 }
 421
 422 static int pat_pagerange_is_ram(resource_size_t start, resource_size_t end)
 423 {
 424         int ret = 0;
 425         unsigned long start_pfn = start >> PAGE_SHIFT;
 426         unsigned long end_pfn = (end + PAGE_SIZE - 1) >> PAGE_SHIFT;
 427         struct pagerange_state state = {start_pfn, 0, 0};
 428
 429         /*
 430          * For legacy reasons, physical address range in the legacy ISA
 431          * region is tracked as non-RAM. This will allow users of
 432          * /dev/mem to map portions of legacy ISA region, even when
 433          * some of those portions are listed(or not even listed) with
 434          * different e820 types(RAM/reserved/..)
 435          */
 436         if (start_pfn < ISA_END_ADDRESS >> PAGE_SHIFT)
 437                 start_pfn = ISA_END_ADDRESS >> PAGE_SHIFT;
 438
 439         if (start_pfn < end_pfn) {
 440                 ret = walk_system_ram_range(start_pfn, end_pfn - start_pfn,
 441                                 &state, pagerange_is_ram_callback);
 442         }
 443
 444         return (ret > 0) ? -1 : (state.ram ? 1 : 0);
 445 }
 446
 447 /*
 448  * For RAM pages, we use page flags to mark the pages with appropriate type.
 449  * The page flags are limited to four types, WB (default), WC, WT and UC-.
 450  * WP request fails with -EINVAL, and UC gets redirected to UC-.  Setting
 451  * a new memory type is only allowed for a page mapped with the default WB
 452  * type.
 453  *
 454  * Here we do two passes:
 455  * - Find the memtype of all the pages in the range, look for any conflicts.
 456  * - In case of no conflicts, set the new memtype for pages in the range.
 457  */
 458 static int reserve_ram_pages_type(u64 start, u64 end,
 459                                   enum page_cache_mode req_type,
 460                                   enum page_cache_mode *new_type)
 461 {
 462         struct page *page;
 463         u64 pfn;
 464
 465         if (req_type == _PAGE_CACHE_MODE_WP) {
 466                 if (new_type)
 467                         *new_type = _PAGE_CACHE_MODE_UC_MINUS;
 468                 return -EINVAL;
 469         }
 470
 471         if (req_type == _PAGE_CACHE_MODE_UC) {
 472                 /* We do not support strong UC */
 473                 WARN_ON_ONCE(1);
 474                 req_type = _PAGE_CACHE_MODE_UC_MINUS;
 475         }
 476
 477         for (pfn = (start >> PAGE_SHIFT); pfn < (end >> PAGE_SHIFT); ++pfn) {
 478                 enum page_cache_mode type;
 479
 480                 page = pfn_to_page(pfn);
 481                 type = get_page_memtype(page);
 482                 if (type != _PAGE_CACHE_MODE_WB) {
 483                         pr_info("x86/PAT: reserve_ram_pages_type failed [mem %#010Lx-%#010Lx], track 0x%x, req 0x%x\n",
 484                                 start, end - 1, type, req_type);
 485                         if (new_type)
 486                                 *new_type = type;
 487
 488                         return -EBUSY;
 489                 }
 490         }
 491
 492         if (new_type)
 493                 *new_type = req_type;
 494
 495         for (pfn = (start >> PAGE_SHIFT); pfn < (end >> PAGE_SHIFT); ++pfn) {
 496                 page = pfn_to_page(pfn);
 497                 set_page_memtype(page, req_type);
 498         }
 499         return 0;
 500 }
 501
 502 static int free_ram_pages_type(u64 start, u64 end)
 503 {
 504         struct page *page;
 505         u64 pfn;
 506
 507         for (pfn = (start >> PAGE_SHIFT); pfn < (end >> PAGE_SHIFT); ++pfn) {
 508                 page = pfn_to_page(pfn);
 509                 set_page_memtype(page, _PAGE_CACHE_MODE_WB);
 510         }
 511         return 0;
 512 }
 513
 514 /*
 515  * req_type typically has one of the:
 516  * - _PAGE_CACHE_MODE_WB
 517  * - _PAGE_CACHE_MODE_WC
 518  * - _PAGE_CACHE_MODE_UC_MINUS
 519  * - _PAGE_CACHE_MODE_UC
 520  * - _PAGE_CACHE_MODE_WT
 521  *
 522  * If new_type is NULL, function will return an error if it cannot reserve the
 523  * region with req_type. If new_type is non-NULL, function will return
 524  * available type in new_type in case of no error. In case of any error
 525  * it will return a negative return value.
 526  */
 527 int reserve_memtype(u64 start, u64 end, enum page_cache_mode req_type,
 528                     enum page_cache_mode *new_type)
 529 {
 530         struct memtype *new;
 531         enum page_cache_mode actual_type;
 532         int is_range_ram;
 533         int err = 0;
 534
 535         BUG_ON(start >= end); /* end is exclusive */
 536
 537         if (!pat_enabled()) {
 538                 /* This is identical to page table setting without PAT */
 539                 if (new_type)
 540                         *new_type = req_type;
 541                 return 0;
 542         }
 543
 544         /* Low ISA region is always mapped WB in page table. No need to track */
 545         if (x86_platform.is_untracked_pat_range(start, end)) {
 546                 if (new_type)
 547                         *new_type = _PAGE_CACHE_MODE_WB;
 548                 return 0;
 549         }
 550
 551         /*
 552          * Call mtrr_lookup to get the type hint. This is an
 553          * optimization for /dev/mem mmap'ers into WB memory (BIOS
 554          * tools and ACPI tools). Use WB request for WB memory and use
 555          * UC_MINUS otherwise.
 556          */
 557         actual_type = pat_x_mtrr_type(start, end, req_type);
 558
 559         if (new_type)
 560                 *new_type = actual_type;
 561
 562         is_range_ram = pat_pagerange_is_ram(start, end);
 563         if (is_range_ram == 1) {
 564
 565                 err = reserve_ram_pages_type(start, end, req_type, new_type);
 566
 567                 return err;
 568         } else if (is_range_ram < 0) {
 569                 return -EINVAL;
 570         }
 571
 572         new  = kzalloc(sizeof(struct memtype), GFP_KERNEL);
 573         if (!new)
 574                 return -ENOMEM;
 575
 576         new->start      = start;
 577         new->end        = end;
 578         new->type       = actual_type;
 579
 580         spin_lock(&memtype_lock);
 581
 582         err = rbt_memtype_check_insert(new, new_type);
 583         if (err) {
 584                 pr_info("x86/PAT: reserve_memtype failed [mem %#010Lx-%#010Lx], track %s, req %s\n",
 585                         start, end - 1,
 586                         cattr_name(new->type), cattr_name(req_type));
 587                 kfree(new);
 588                 spin_unlock(&memtype_lock);
 589
 590                 return err;
 591         }
 592
 593         spin_unlock(&memtype_lock);
 594
 595         dprintk("reserve_memtype added [mem %#010Lx-%#010Lx], track %s, req %s, ret %s\n",
 596                 start, end - 1, cattr_name(new->type), cattr_name(req_type),
 597                 new_type ? cattr_name(*new_type) : "-");
 598
 599         return err;
 600 }
 601
 602 int free_memtype(u64 start, u64 end)
 603 {
 604         int err = -EINVAL;
 605         int is_range_ram;
 606         struct memtype *entry;
 607
 608         if (!pat_enabled())
 609                 return 0;
 610
 611         /* Low ISA region is always mapped WB. No need to track */
 612         if (x86_platform.is_untracked_pat_range(start, end))
 613                 return 0;
 614
 615         is_range_ram = pat_pagerange_is_ram(start, end);
 616         if (is_range_ram == 1) {
 617
 618                 err = free_ram_pages_type(start, end);
 619
 620                 return err;
 621         } else if (is_range_ram < 0) {
 622                 return -EINVAL;
 623         }
 624
 625         spin_lock(&memtype_lock);
 626         entry = rbt_memtype_erase(start, end);
 627         spin_unlock(&memtype_lock);
 628
 629         if (!entry) {
 630                 pr_info("x86/PAT: %s:%d freeing invalid memtype [mem %#010Lx-%#010Lx]\n",
 631                         current->comm, current->pid, start, end - 1);
 632                 return -EINVAL;
 633         }
 634
 635         kfree(entry);
 636
 637         dprintk("free_memtype request [mem %#010Lx-%#010Lx]\n", start, end - 1);
 638
 639         return 0;
 640 }
 641
 642
 643 /**
 644  * lookup_memtype - Looksup the memory type for a physical address
 645  * @paddr: physical address of which memory type needs to be looked up
 646  *
 647  * Only to be called when PAT is enabled
 648  *
 649  * Returns _PAGE_CACHE_MODE_WB, _PAGE_CACHE_MODE_WC, _PAGE_CACHE_MODE_UC_MINUS
 650  * or _PAGE_CACHE_MODE_WT.
 651  */
 652 static enum page_cache_mode lookup_memtype(u64 paddr)
 653 {
 654         enum page_cache_mode rettype = _PAGE_CACHE_MODE_WB;
 655         struct memtype *entry;
 656
 657         if (x86_platform.is_untracked_pat_range(paddr, paddr + PAGE_SIZE))
 658                 return rettype;
 659
 660         if (pat_pagerange_is_ram(paddr, paddr + PAGE_SIZE)) {
 661                 struct page *page;
 662
 663                 page = pfn_to_page(paddr >> PAGE_SHIFT);
 664                 return get_page_memtype(page);
 665         }
 666
 667         spin_lock(&memtype_lock);
 668
 669         entry = rbt_memtype_lookup(paddr);
 670         if (entry != NULL)
 671                 rettype = entry->type;
 672         else
 673                 rettype = _PAGE_CACHE_MODE_UC_MINUS;
 674
 675         spin_unlock(&memtype_lock);
 676         return rettype;
 677 }
 678
 679 /**
 680  * io_reserve_memtype - Request a memory type mapping for a region of memory
 681  * @start: start (physical address) of the region
 682  * @end: end (physical address) of the region
 683  * @type: A pointer to memtype, with requested type. On success, requested
 684  * or any other compatible type that was available for the region is returned
 685  *
 686  * On success, returns 0
 687  * On failure, returns non-zero
 688  */
 689 int io_reserve_memtype(resource_size_t start, resource_size_t end,
 690                         enum page_cache_mode *type)
 691 {
 692         resource_size_t size = end - start;
 693         enum page_cache_mode req_type = *type;
 694         enum page_cache_mode new_type;
 695         int ret;
 696
 697         WARN_ON_ONCE(iomem_map_sanity_check(start, size));
 698
 699         ret = reserve_memtype(start, end, req_type, &new_type);
 700         if (ret)
 701                 goto out_err;
 702
 703         if (!is_new_memtype_allowed(start, size, req_type, new_type))
 704                 goto out_free;
 705
 706         if (kernel_map_sync_memtype(start, size, new_type) < 0)
 707                 goto out_free;
 708
 709         *type = new_type;
 710         return 0;
 711
 712 out_free:
 713         free_memtype(start, end);
 714         ret = -EBUSY;
 715 out_err:
 716         return ret;
 717 }
 718
 719 /**
 720  * io_free_memtype - Release a memory type mapping for a region of memory
 721  * @start: start (physical address) of the region
 722  * @end: end (physical address) of the region
 723  */
 724 void io_free_memtype(resource_size_t start, resource_size_t end)
 725 {
 726         free_memtype(start, end);
 727 }
 728
 729 int arch_io_reserve_memtype_wc(resource_size_t start, resource_size_t size)
 730 {
 731         enum page_cache_mode type = _PAGE_CACHE_MODE_WC;
 732
 733         return io_reserve_memtype(start, start + size, &type);
 734 }
 735 EXPORT_SYMBOL(arch_io_reserve_memtype_wc);
 736
 737 void arch_io_free_memtype_wc(resource_size_t start, resource_size_t size)
 738 {
 739         io_free_memtype(start, start + size);
 740 }
 741 EXPORT_SYMBOL(arch_io_free_memtype_wc);
 742
 743 pgprot_t phys_mem_access_prot(struct file *file, unsigned long pfn,
 744                                 unsigned long size, pgprot_t vma_prot)
 745 {
 746         return vma_prot;
 747 }
 748
 749 #ifdef CONFIG_STRICT_DEVMEM
 750 /* This check is done in drivers/char/mem.c in case of STRICT_DEVMEM */
 751 static inline int range_is_allowed(unsigned long pfn, unsigned long size)
 752 {
 753         return 1;
 754 }
 755 #else
 756 /* This check is needed to avoid cache aliasing when PAT is enabled */
 757 static inline int range_is_allowed(unsigned long pfn, unsigned long size)
 758 {
 759         u64 from = ((u64)pfn) << PAGE_SHIFT;
 760         u64 to = from + size;
 761         u64 cursor = from;
 762
 763         if (!pat_enabled())
 764                 return 1;
 765
 766         while (cursor < to) {
 767                 if (!devmem_is_allowed(pfn))
 768                         return 0;
 769                 cursor += PAGE_SIZE;
 770                 pfn++;
 771         }
 772         return 1;
 773 }
 774 #endif /* CONFIG_STRICT_DEVMEM */
 775
 776 int phys_mem_access_prot_allowed(struct file *file, unsigned long pfn,
 777                                 unsigned long size, pgprot_t *vma_prot)
 778 {
 779         enum page_cache_mode pcm = _PAGE_CACHE_MODE_WB;
 780
 781         if (!range_is_allowed(pfn, size))
 782                 return 0;
 783
 784         if (file->f_flags & O_DSYNC)
 785                 pcm = _PAGE_CACHE_MODE_UC_MINUS;
 786
 787         *vma_prot = __pgprot((pgprot_val(*vma_prot) & ~_PAGE_CACHE_MASK) |
 788                              cachemode2protval(pcm));
 789         return 1;
 790 }
 791
 792 /*
 793  * Change the memory type for the physial address range in kernel identity
 794  * mapping space if that range is a part of identity map.
 795  */
 796 int kernel_map_sync_memtype(u64 base, unsigned long size,
 797                             enum page_cache_mode pcm)
 798 {
 799         unsigned long id_sz;
 800
 801         if (base > __pa(high_memory-1))
 802                 return 0;
 803
 804         /*
 805          * some areas in the middle of the kernel identity range
 806          * are not mapped, like the PCI space.
 807          */
 808         if (!page_is_ram(base >> PAGE_SHIFT))
 809                 return 0;
 810
 811         id_sz = (__pa(high_memory-1) <= base + size) ?
 812                                 __pa(high_memory) - base :
 813                                 size;
 814
 815         if (ioremap_change_attr((unsigned long)__va(base), id_sz, pcm) < 0) {
 816                 pr_info("x86/PAT: %s:%d ioremap_change_attr failed %s for [mem %#010Lx-%#010Lx]\n",
 817                         current->comm, current->pid,
 818                         cattr_name(pcm),
 819                         base, (unsigned long long)(base + size-1));
 820                 return -EINVAL;
 821         }
 822         return 0;
 823 }
 824
 825 /*
 826  * Internal interface to reserve a range of physical memory with prot.
 827  * Reserved non RAM regions only and after successful reserve_memtype,
 828  * this func also keeps identity mapping (if any) in sync with this new prot.
 829  */
 830 static int reserve_pfn_range(u64 paddr, unsigned long size, pgprot_t *vma_prot,
 831                                 int strict_prot)
 832 {
 833         int is_ram = 0;
 834         int ret;
 835         enum page_cache_mode want_pcm = pgprot2cachemode(*vma_prot);
 836         enum page_cache_mode pcm = want_pcm;
 837
 838         is_ram = pat_pagerange_is_ram(paddr, paddr + size);
 839
 840         /*
 841          * reserve_pfn_range() for RAM pages. We do not refcount to keep
 842          * track of number of mappings of RAM pages. We can assert that
 843          * the type requested matches the type of first page in the range.
 844          */
 845         if (is_ram) {
 846                 if (!pat_enabled())
 847                         return 0;
 848
 849                 pcm = lookup_memtype(paddr);
 850                 if (want_pcm != pcm) {
 851                         pr_warn("x86/PAT: %s:%d map pfn RAM range req %s for [mem %#010Lx-%#010Lx], got %s\n",
 852                                 current->comm, current->pid,
 853                                 cattr_name(want_pcm),
 854                                 (unsigned long long)paddr,
 855                                 (unsigned long long)(paddr + size - 1),
 856                                 cattr_name(pcm));
 857                         *vma_prot = __pgprot((pgprot_val(*vma_prot) &
 858                                              (~_PAGE_CACHE_MASK)) |
 859                                              cachemode2protval(pcm));
 860                 }
 861                 return 0;
 862         }
 863
 864         ret = reserve_memtype(paddr, paddr + size, want_pcm, &pcm);
 865         if (ret)
 866                 return ret;
 867
 868         if (pcm != want_pcm) {
 869                 if (strict_prot ||
 870                     !is_new_memtype_allowed(paddr, size, want_pcm, pcm)) {
 871                         free_memtype(paddr, paddr + size);
 872                         pr_err("x86/PAT: %s:%d map pfn expected mapping type %s for [mem %#010Lx-%#010Lx], got %s\n",
 873                                current->comm, current->pid,
 874                                cattr_name(want_pcm),
 875                                (unsigned long long)paddr,
 876                                (unsigned long long)(paddr + size - 1),
 877                                cattr_name(pcm));
 878                         return -EINVAL;
 879                 }
 880                 /*
 881                  * We allow returning different type than the one requested in
 882                  * non strict case.
 883                  */
 884                 *vma_prot = __pgprot((pgprot_val(*vma_prot) &
 885                                       (~_PAGE_CACHE_MASK)) |
 886                                      cachemode2protval(pcm));
 887         }
 888
 889         if (kernel_map_sync_memtype(paddr, size, pcm) < 0) {
 890                 free_memtype(paddr, paddr + size);
 891                 return -EINVAL;
 892         }
 893         return 0;
 894 }
 895
 896 /*
 897  * Internal interface to free a range of physical memory.
 898  * Frees non RAM regions only.
 899  */
 900 static void free_pfn_range(u64 paddr, unsigned long size)
 901 {
 902         int is_ram;
 903
 904         is_ram = pat_pagerange_is_ram(paddr, paddr + size);
 905         if (is_ram == 0)
 906                 free_memtype(paddr, paddr + size);
 907 }
 908
 909 /*
 910  * track_pfn_copy is called when vma that is covering the pfnmap gets
 911  * copied through copy_page_range().
 912  *
 913  * If the vma has a linear pfn mapping for the entire range, we get the prot
 914  * from pte and reserve the entire vma range with single reserve_pfn_range call.
 915  */
 916 int track_pfn_copy(struct vm_area_struct *vma)
 917 {
 918         resource_size_t paddr;
 919         unsigned long prot;
 920         unsigned long vma_size = vma->vm_end - vma->vm_start;
 921         pgprot_t pgprot;
 922
 923         if (vma->vm_flags & VM_PAT) {
 924                 /*
 925                  * reserve the whole chunk covered by vma. We need the
 926                  * starting address and protection from pte.
 927                  */
 928                 if (follow_phys(vma, vma->vm_start, 0, &prot, &paddr)) {
 929                         WARN_ON_ONCE(1);
 930                         return -EINVAL;
 931                 }
 932                 pgprot = __pgprot(prot);
 933                 return reserve_pfn_range(paddr, vma_size, &pgprot, 1);
 934         }
 935
 936         return 0;
 937 }
 938
 939 /*
 940  * prot is passed in as a parameter for the new mapping. If the vma has a
 941  * linear pfn mapping for the entire range reserve the entire vma range with
 942  * single reserve_pfn_range call.
 943  */
 944 int track_pfn_remap(struct vm_area_struct *vma, pgprot_t *prot,
 945                     unsigned long pfn, unsigned long addr, unsigned long size)
 946 {
 947         resource_size_t paddr = (resource_size_t)pfn << PAGE_SHIFT;
 948         enum page_cache_mode pcm;
 949
 950         /* reserve the whole chunk starting from paddr */
 951         if (addr == vma->vm_start && size == (vma->vm_end - vma->vm_start)) {
 952                 int ret;
 953
 954                 ret = reserve_pfn_range(paddr, size, prot, 0);
 955                 if (!ret)
 956                         vma->vm_flags |= VM_PAT;
 957                 return ret;
 958         }
 959
 960         if (!pat_enabled())
 961                 return 0;
 962
 963         /*
 964          * For anything smaller than the vma size we set prot based on the
 965          * lookup.
 966          */
 967         pcm = lookup_memtype(paddr);
 968
 969         /* Check memtype for the remaining pages */
 970         while (size > PAGE_SIZE) {
 971                 size -= PAGE_SIZE;
 972                 paddr += PAGE_SIZE;
 973                 if (pcm != lookup_memtype(paddr))
 974                         return -EINVAL;
 975         }
 976
 977         *prot = __pgprot((pgprot_val(vma->vm_page_prot) & (~_PAGE_CACHE_MASK)) |
 978                          cachemode2protval(pcm));
 979
 980         return 0;
 981 }
 982
 983 int track_pfn_insert(struct vm_area_struct *vma, pgprot_t *prot,
 984                      unsigned long pfn)
 985 {
 986         enum page_cache_mode pcm;
 987
 988         if (!pat_enabled())
 989                 return 0;
 990
 991         /* Set prot based on lookup */
 992         pcm = lookup_memtype((resource_size_t)pfn << PAGE_SHIFT);
 993         *prot = __pgprot((pgprot_val(vma->vm_page_prot) & (~_PAGE_CACHE_MASK)) |
 994                          cachemode2protval(pcm));
 995
 996         return 0;
 997 }
 998
 999 /*
1000  * untrack_pfn is called while unmapping a pfnmap for a region.
1001  * untrack can be called for a specific region indicated by pfn and size or
1002  * can be for the entire vma (in which case pfn, size are zero).
1003  */
1004 void untrack_pfn(struct vm_area_struct *vma, unsigned long pfn,
1005                  unsigned long size)
1006 {
1007         resource_size_t paddr;
1008         unsigned long prot;
1009
1010         if (!(vma->vm_flags & VM_PAT))
1011                 return;
1012
1013         /* free the chunk starting from pfn or the whole chunk */
1014         paddr = (resource_size_t)pfn << PAGE_SHIFT;
1015         if (!paddr && !size) {
1016                 if (follow_phys(vma, vma->vm_start, 0, &prot, &paddr)) {
1017                         WARN_ON_ONCE(1);
1018                         return;
1019                 }
1020
1021                 size = vma->vm_end - vma->vm_start;
1022         }
1023         free_pfn_range(paddr, size);
1024         vma->vm_flags &= ~VM_PAT;
1025 }
1026
1027 pgprot_t pgprot_writecombine(pgprot_t prot)
1028 {
1029         return __pgprot(pgprot_val(prot) |
1030                                 cachemode2protval(_PAGE_CACHE_MODE_WC));
1031 }
1032 EXPORT_SYMBOL_GPL(pgprot_writecombine);
1033
1034 pgprot_t pgprot_writethrough(pgprot_t prot)
1035 {
1036         return __pgprot(pgprot_val(prot) |
1037                                 cachemode2protval(_PAGE_CACHE_MODE_WT));
1038 }
1039 EXPORT_SYMBOL_GPL(pgprot_writethrough);
1040
1041 #if defined(CONFIG_DEBUG_FS) && defined(CONFIG_X86_PAT)
1042
1043 static struct memtype *memtype_get_idx(loff_t pos)
1044 {
1045         struct memtype *print_entry;
1046         int ret;
1047
1048         print_entry  = kzalloc(sizeof(struct memtype), GFP_KERNEL);
1049         if (!print_entry)
1050                 return NULL;
1051
1052         spin_lock(&memtype_lock);
1053         ret = rbt_memtype_copy_nth_element(print_entry, pos);
1054         spin_unlock(&memtype_lock);
1055
1056         if (!ret) {
1057                 return print_entry;
1058         } else {
1059                 kfree(print_entry);
1060                 return NULL;
1061         }
1062 }
1063
1064 static void *memtype_seq_start(struct seq_file *seq, loff_t *pos)
1065 {
1066         if (*pos == 0) {
1067                 ++*pos;
1068                 seq_puts(seq, "PAT memtype list:\n");
1069         }
1070
1071         return memtype_get_idx(*pos);
1072 }
1073
1074 static void *memtype_seq_next(struct seq_file *seq, void *v, loff_t *pos)
1075 {
1076         ++*pos;
1077         return memtype_get_idx(*pos);
1078 }
1079
1080 static void memtype_seq_stop(struct seq_file *seq, void *v)
1081 {
1082 }
1083
1084 static int memtype_seq_show(struct seq_file *seq, void *v)
1085 {
1086         struct memtype *print_entry = (struct memtype *)v;
1087
1088         seq_printf(seq, "%s @ 0x%Lx-0x%Lx\n", cattr_name(print_entry->type),
1089                         print_entry->start, print_entry->end);
1090         kfree(print_entry);
1091
1092         return 0;
1093 }
1094
1095 static const struct seq_operations memtype_seq_ops = {
1096         .start = memtype_seq_start,
1097         .next  = memtype_seq_next,
1098         .stop  = memtype_seq_stop,
1099         .show  = memtype_seq_show,
1100 };
1101
1102 static int memtype_seq_open(struct inode *inode, struct file *file)
1103 {
1104         return seq_open(file, &memtype_seq_ops);
1105 }
1106
1107 static const struct file_operations memtype_fops = {
1108         .open    = memtype_seq_open,
1109         .read    = seq_read,
1110         .llseek  = seq_lseek,
1111         .release = seq_release,
1112 };
1113
1114 static int __init pat_memtype_list_init(void)
1115 {
1116         if (pat_enabled()) {
1117                 debugfs_create_file("pat_memtype_list", S_IRUSR,
1118                                     arch_debugfs_dir, NULL, &memtype_fops);
1119         }
1120         return 0;
1121 }
1122
1123 late_initcall(pat_memtype_list_init);
1124
1125 #endif /* CONFIG_DEBUG_FS && CONFIG_X86_PAT */