arch/arm64/include/asm/tlb.h

   1 /*
   2  * Based on arch/arm/include/asm/tlb.h
   3  *
   4  * Copyright (C) 2002 Russell King
   5  * Copyright (C) 2012 ARM Ltd.
   6  *
   7  * This program is free software; you can redistribute it and/or modify
   8  * it under the terms of the GNU General Public License version 2 as
   9  * published by the Free Software Foundation.
  10  *
  11  * This program is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
  18  */
  19 #ifndef __ASM_TLB_H
  20 #define __ASM_TLB_H
  21
  22 #include <linux/pagemap.h>
  23 #include <linux/swap.h>
  24
  25 #ifdef CONFIG_HAVE_RCU_TABLE_FREE
  26
  27 #define tlb_remove_entry(tlb, entry)    tlb_remove_table(tlb, entry)
  28 static inline void __tlb_remove_table(void *_table)
  29 {
  30         free_page_and_swap_cache((struct page *)_table);
  31 }
  32 #else
  33 #define tlb_remove_entry(tlb, entry)    tlb_remove_page(tlb, entry)
  34 #endif /* CONFIG_HAVE_RCU_TABLE_FREE */
  35
  36 static void tlb_flush(struct mmu_gather *tlb);
  37
  38 #include <asm-generic/tlb.h>
  39
  40 static inline void tlb_flush(struct mmu_gather *tlb)
  41 {
  42         struct vm_area_struct vma = TLB_FLUSH_VMA(tlb->mm, 0);
  43
  44         /*
  45          * The ASID allocator will either invalidate the ASID or mark
  46          * it as used.
  47          */
  48         if (tlb->fullmm)
  49                 return;
  50
  51         /*
  52          * The intermediate page table levels are already handled by
  53          * the __(pte|pmd|pud)_free_tlb() functions, so last level
  54          * TLBI is sufficient here.
  55          */
  56         __flush_tlb_range(&vma, tlb->start, tlb->end, true);
  57 }
  58
  59 static inline void __pte_free_tlb(struct mmu_gather *tlb, pgtable_t pte,
  60                                   unsigned long addr)
  61 {
  62         __flush_tlb_pgtable(tlb->mm, addr);
  63         pgtable_page_dtor(pte);
  64         tlb_remove_entry(tlb, pte);
  65 }
  66
  67 #if CONFIG_PGTABLE_LEVELS > 2
  68 static inline void __pmd_free_tlb(struct mmu_gather *tlb, pmd_t *pmdp,
  69                                   unsigned long addr)
  70 {
  71         __flush_tlb_pgtable(tlb->mm, addr);
  72         tlb_remove_entry(tlb, virt_to_page(pmdp));
  73 }
  74 #endif
  75
  76 #if CONFIG_PGTABLE_LEVELS > 3
  77 static inline void __pud_free_tlb(struct mmu_gather *tlb, pud_t *pudp,
  78                                   unsigned long addr)
  79 {
  80         __flush_tlb_pgtable(tlb->mm, addr);
  81         tlb_remove_entry(tlb, virt_to_page(pudp));
  82 }
  83 #endif
  84
  85 #endif