arch/sparc/lib/copy_page.S

   1 /* clear_page.S: UltraSparc optimized copy page.
   2  *
   3  * Copyright (C) 1996, 1998, 1999, 2000, 2004 David S. Miller (davem@redhat.com)
   4  * Copyright (C) 1997 Jakub Jelinek (jakub@redhat.com)
   5  */
   6
   7 #include <asm/visasm.h>
   8 #include <asm/thread_info.h>
   9 #include <asm/page.h>
  10 #include <asm/pgtable.h>
  11 #include <asm/spitfire.h>
  12 #include <asm/head.h>
  13 #include <asm/export.h>
  14
  15         /* What we used to do was lock a TLB entry into a specific
  16          * TLB slot, clear the page with interrupts disabled, then
  17          * restore the original TLB entry.  This was great for
  18          * disturbing the TLB as little as possible, but it meant
  19          * we had to keep interrupts disabled for a long time.
  20          *
  21          * Now, we simply use the normal TLB loading mechanism,
  22          * and this makes the cpu choose a slot all by itself.
  23          * Then we do a normal TLB flush on exit.  We need only
  24          * disable preemption during the clear.
  25          */
  26
  27 #define DCACHE_SIZE     (PAGE_SIZE * 2)
  28
  29 #if (PAGE_SHIFT == 13)
  30 #define PAGE_SIZE_REM   0x80
  31 #elif (PAGE_SHIFT == 16)
  32 #define PAGE_SIZE_REM   0x100
  33 #else
  34 #error Wrong PAGE_SHIFT specified
  35 #endif
  36
  37 #define TOUCH(reg0, reg1, reg2, reg3, reg4, reg5, reg6, reg7)   \
  38         fsrc2   %reg0, %f48;    fsrc2   %reg1, %f50;            \
  39         fsrc2   %reg2, %f52;    fsrc2   %reg3, %f54;            \
  40         fsrc2   %reg4, %f56;    fsrc2   %reg5, %f58;            \
  41         fsrc2   %reg6, %f60;    fsrc2   %reg7, %f62;
  42
  43         .text
  44
  45         .align          32
  46         .globl          copy_user_page
  47         .type           copy_user_page,#function
  48         EXPORT_SYMBOL(copy_user_page)
  49 copy_user_page:         /* %o0=dest, %o1=src, %o2=vaddr */
  50         lduw            [%g6 + TI_PRE_COUNT], %o4
  51         sethi           %hi(PAGE_OFFSET), %g2
  52         sethi           %hi(PAGE_SIZE), %o3
  53
  54         ldx             [%g2 + %lo(PAGE_OFFSET)], %g2
  55         sethi           %hi(PAGE_KERNEL_LOCKED), %g3
  56
  57         ldx             [%g3 + %lo(PAGE_KERNEL_LOCKED)], %g3
  58         sub             %o0, %g2, %g1           ! dest paddr
  59
  60         sub             %o1, %g2, %g2           ! src paddr
  61
  62         and             %o2, %o3, %o0           ! vaddr D-cache alias bit
  63         or              %g1, %g3, %g1           ! dest TTE data
  64
  65         or              %g2, %g3, %g2           ! src TTE data
  66         sethi           %hi(TLBTEMP_BASE), %o3
  67
  68         sethi           %hi(DCACHE_SIZE), %o1
  69         add             %o0, %o3, %o0           ! dest TTE vaddr
  70
  71         add             %o4, 1, %o2
  72         add             %o0, %o1, %o1           ! src TTE vaddr
  73
  74         /* Disable preemption.  */
  75         mov             TLB_TAG_ACCESS, %g3
  76         stw             %o2, [%g6 + TI_PRE_COUNT]
  77
  78         /* Load TLB entries.  */
  79         rdpr            %pstate, %o2
  80         wrpr            %o2, PSTATE_IE, %pstate
  81         stxa            %o0, [%g3] ASI_DMMU
  82         stxa            %g1, [%g0] ASI_DTLB_DATA_IN
  83         membar          #Sync
  84         stxa            %o1, [%g3] ASI_DMMU
  85         stxa            %g2, [%g0] ASI_DTLB_DATA_IN
  86         membar          #Sync
  87         wrpr            %o2, 0x0, %pstate
  88
  89 cheetah_copy_page_insn:
  90         ba,pt           %xcc, 9f
  91          nop
  92
  93 1:
  94         VISEntryHalf
  95         membar          #StoreLoad | #StoreStore | #LoadStore
  96         sethi           %hi((PAGE_SIZE/64)-2), %o2
  97         mov             %o0, %g1
  98         prefetch        [%o1 + 0x000], #one_read
  99         or              %o2, %lo((PAGE_SIZE/64)-2), %o2
 100         prefetch        [%o1 + 0x040], #one_read
 101         prefetch        [%o1 + 0x080], #one_read
 102         prefetch        [%o1 + 0x0c0], #one_read
 103         ldd             [%o1 + 0x000], %f0
 104         prefetch        [%o1 + 0x100], #one_read
 105         ldd             [%o1 + 0x008], %f2
 106         prefetch        [%o1 + 0x140], #one_read
 107         ldd             [%o1 + 0x010], %f4
 108         prefetch        [%o1 + 0x180], #one_read
 109         fsrc2           %f0, %f16
 110         ldd             [%o1 + 0x018], %f6
 111         fsrc2           %f2, %f18
 112         ldd             [%o1 + 0x020], %f8
 113         fsrc2           %f4, %f20
 114         ldd             [%o1 + 0x028], %f10
 115         fsrc2           %f6, %f22
 116         ldd             [%o1 + 0x030], %f12
 117         fsrc2           %f8, %f24
 118         ldd             [%o1 + 0x038], %f14
 119         fsrc2           %f10, %f26
 120         ldd             [%o1 + 0x040], %f0
 121 1:      ldd             [%o1 + 0x048], %f2
 122         fsrc2           %f12, %f28
 123         ldd             [%o1 + 0x050], %f4
 124         fsrc2           %f14, %f30
 125         stda            %f16, [%o0] ASI_BLK_P
 126         ldd             [%o1 + 0x058], %f6
 127         fsrc2           %f0, %f16
 128         ldd             [%o1 + 0x060], %f8
 129         fsrc2           %f2, %f18
 130         ldd             [%o1 + 0x068], %f10
 131         fsrc2           %f4, %f20
 132         ldd             [%o1 + 0x070], %f12
 133         fsrc2           %f6, %f22
 134         ldd             [%o1 + 0x078], %f14
 135         fsrc2           %f8, %f24
 136         ldd             [%o1 + 0x080], %f0
 137         prefetch        [%o1 + 0x180], #one_read
 138         fsrc2           %f10, %f26
 139         subcc           %o2, 1, %o2
 140         add             %o0, 0x40, %o0
 141         bne,pt          %xcc, 1b
 142          add            %o1, 0x40, %o1
 143
 144         ldd             [%o1 + 0x048], %f2
 145         fsrc2           %f12, %f28
 146         ldd             [%o1 + 0x050], %f4
 147         fsrc2           %f14, %f30
 148         stda            %f16, [%o0] ASI_BLK_P
 149         ldd             [%o1 + 0x058], %f6
 150         fsrc2           %f0, %f16
 151         ldd             [%o1 + 0x060], %f8
 152         fsrc2           %f2, %f18
 153         ldd             [%o1 + 0x068], %f10
 154         fsrc2           %f4, %f20
 155         ldd             [%o1 + 0x070], %f12
 156         fsrc2           %f6, %f22
 157         add             %o0, 0x40, %o0
 158         ldd             [%o1 + 0x078], %f14
 159         fsrc2           %f8, %f24
 160         fsrc2           %f10, %f26
 161         fsrc2           %f12, %f28
 162         fsrc2           %f14, %f30
 163         stda            %f16, [%o0] ASI_BLK_P
 164         membar          #Sync
 165         VISExitHalf
 166         ba,pt           %xcc, 5f
 167          nop
 168
 169 9:
 170         VISEntry
 171         ldub            [%g6 + TI_FAULT_CODE], %g3
 172         mov             %o0, %g1
 173         cmp             %g3, 0
 174         rd              %asi, %g3
 175         be,a,pt         %icc, 1f
 176          wr             %g0, ASI_BLK_P, %asi
 177         wr              %g0, ASI_BLK_COMMIT_P, %asi
 178 1:      ldda            [%o1] ASI_BLK_P, %f0
 179         add             %o1, 0x40, %o1
 180         ldda            [%o1] ASI_BLK_P, %f16
 181         add             %o1, 0x40, %o1
 182         sethi           %hi(PAGE_SIZE), %o2
 183 1:      TOUCH(f0, f2, f4, f6, f8, f10, f12, f14)
 184         ldda            [%o1] ASI_BLK_P, %f32
 185         stda            %f48, [%o0] %asi
 186         add             %o1, 0x40, %o1
 187         sub             %o2, 0x40, %o2
 188         add             %o0, 0x40, %o0
 189         TOUCH(f16, f18, f20, f22, f24, f26, f28, f30)
 190         ldda            [%o1] ASI_BLK_P, %f0
 191         stda            %f48, [%o0] %asi
 192         add             %o1, 0x40, %o1
 193         sub             %o2, 0x40, %o2
 194         add             %o0, 0x40, %o0
 195         TOUCH(f32, f34, f36, f38, f40, f42, f44, f46)
 196         ldda            [%o1] ASI_BLK_P, %f16
 197         stda            %f48, [%o0] %asi
 198         sub             %o2, 0x40, %o2
 199         add             %o1, 0x40, %o1
 200         cmp             %o2, PAGE_SIZE_REM
 201         bne,pt          %xcc, 1b
 202          add            %o0, 0x40, %o0
 203 #if (PAGE_SHIFT == 16)
 204         TOUCH(f0, f2, f4, f6, f8, f10, f12, f14)
 205         ldda            [%o1] ASI_BLK_P, %f32
 206         stda            %f48, [%o0] %asi
 207         add             %o1, 0x40, %o1
 208         sub             %o2, 0x40, %o2
 209         add             %o0, 0x40, %o0
 210         TOUCH(f16, f18, f20, f22, f24, f26, f28, f30)
 211         ldda            [%o1] ASI_BLK_P, %f0
 212         stda            %f48, [%o0] %asi
 213         add             %o1, 0x40, %o1
 214         sub             %o2, 0x40, %o2
 215         add             %o0, 0x40, %o0
 216         membar          #Sync
 217         stda            %f32, [%o0] %asi
 218         add             %o0, 0x40, %o0
 219         stda            %f0, [%o0] %asi
 220 #else
 221         membar          #Sync
 222         stda            %f0, [%o0] %asi
 223         add             %o0, 0x40, %o0
 224         stda            %f16, [%o0] %asi
 225 #endif
 226         membar          #Sync
 227         wr              %g3, 0x0, %asi
 228         VISExit
 229
 230 5:
 231         stxa            %g0, [%g1] ASI_DMMU_DEMAP
 232         membar          #Sync
 233
 234         sethi           %hi(DCACHE_SIZE), %g2
 235         stxa            %g0, [%g1 + %g2] ASI_DMMU_DEMAP
 236         membar          #Sync
 237
 238         retl
 239          stw            %o4, [%g6 + TI_PRE_COUNT]
 240
 241         .size           copy_user_page, .-copy_user_page
 242
 243         .globl          cheetah_patch_copy_page
 244 cheetah_patch_copy_page:
 245         sethi           %hi(0x01000000), %o1    ! NOP
 246         sethi           %hi(cheetah_copy_page_insn), %o0
 247         or              %o0, %lo(cheetah_copy_page_insn), %o0
 248         stw             %o1, [%o0]
 249         membar          #StoreStore
 250         flush           %o0
 251         retl
 252          nop