arch/arm64/kernel/bpi.S

   1 /*
   2  * Contains CPU specific branch predictor invalidation sequences
   3  *
   4  * Copyright (C) 2018 ARM Ltd.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 as
   8  * published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13  * GNU General Public License for more details.
  14  *
  15  * You should have received a copy of the GNU General Public License
  16  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
  17  */
  18
  19 #include <linux/linkage.h>
  20 #include <linux/arm-smccc.h>
  21
  22 .macro ventry target
  23         .rept 31
  24         nop
  25         .endr
  26         b       \target
  27 .endm
  28
  29 .macro vectors target
  30         ventry \target + 0x000
  31         ventry \target + 0x080
  32         ventry \target + 0x100
  33         ventry \target + 0x180
  34
  35         ventry \target + 0x200
  36         ventry \target + 0x280
  37         ventry \target + 0x300
  38         ventry \target + 0x380
  39
  40         ventry \target + 0x400
  41         ventry \target + 0x480
  42         ventry \target + 0x500
  43         ventry \target + 0x580
  44
  45         ventry \target + 0x600
  46         ventry \target + 0x680
  47         ventry \target + 0x700
  48         ventry \target + 0x780
  49 .endm
  50
  51         .align  11
  52 ENTRY(__bp_harden_hyp_vecs_start)
  53         .rept 4
  54         vectors __kvm_hyp_vector
  55         .endr
  56 ENTRY(__bp_harden_hyp_vecs_end)
  57
  58 .macro smccc_workaround_1 inst
  59         sub     sp, sp, #(8 * 4)
  60         stp     x2, x3, [sp, #(8 * 0)]
  61         stp     x0, x1, [sp, #(8 * 2)]
  62         mov     w0, #ARM_SMCCC_ARCH_WORKAROUND_1
  63         \inst   #0
  64         ldp     x2, x3, [sp, #(8 * 0)]
  65         ldp     x0, x1, [sp, #(8 * 2)]
  66         add     sp, sp, #(8 * 4)
  67 .endm
  68
  69 ENTRY(__smccc_workaround_1_smc_start)
  70         smccc_workaround_1      smc
  71 ENTRY(__smccc_workaround_1_smc_end)
  72
  73 ENTRY(__smccc_workaround_1_hvc_start)
  74         smccc_workaround_1      hvc
  75 ENTRY(__smccc_workaround_1_hvc_end)
  76
  77 ENTRY(__smccc_workaround_3_smc_start)
  78         sub     sp, sp, #(8 * 4)
  79         stp     x2, x3, [sp, #(8 * 0)]
  80         stp     x0, x1, [sp, #(8 * 2)]
  81         mov     w0, #ARM_SMCCC_ARCH_WORKAROUND_3
  82         smc     #0
  83         ldp     x2, x3, [sp, #(8 * 0)]
  84         ldp     x0, x1, [sp, #(8 * 2)]
  85         add     sp, sp, #(8 * 4)
  86 ENTRY(__smccc_workaround_3_smc_end)
  87
  88 ENTRY(__spectre_bhb_loop_k8_start)
  89         sub     sp, sp, #(8 * 2)
  90         stp     x0, x1, [sp, #(8 * 0)]
  91         mov     x0, #8
  92 2:      b       . + 4
  93         subs    x0, x0, #1
  94         b.ne    2b
  95         dsb     nsh
  96         isb
  97         ldp     x0, x1, [sp, #(8 * 0)]
  98         add     sp, sp, #(8 * 2)
  99 ENTRY(__spectre_bhb_loop_k8_end)
 100
 101 ENTRY(__spectre_bhb_loop_k24_start)
 102         sub     sp, sp, #(8 * 2)
 103         stp     x0, x1, [sp, #(8 * 0)]
 104         mov     x0, #24
 105 2:      b       . + 4
 106         subs    x0, x0, #1
 107         b.ne    2b
 108         dsb     nsh
 109         isb
 110         ldp     x0, x1, [sp, #(8 * 0)]
 111         add     sp, sp, #(8 * 2)
 112 ENTRY(__spectre_bhb_loop_k24_end)
 113
 114 ENTRY(__spectre_bhb_loop_k32_start)
 115         sub     sp, sp, #(8 * 2)
 116         stp     x0, x1, [sp, #(8 * 0)]
 117         mov     x0, #32
 118 2:      b       . + 4
 119         subs    x0, x0, #1
 120         b.ne    2b
 121         dsb     nsh
 122         isb
 123         ldp     x0, x1, [sp, #(8 * 0)]
 124         add     sp, sp, #(8 * 2)
 125 ENTRY(__spectre_bhb_loop_k32_end)
 126
 127 ENTRY(__spectre_bhb_clearbhb_start)
 128         hint    #22     /* aka clearbhb */
 129         isb
 130 ENTRY(__spectre_bhb_clearbhb_end)