arch/sparc/lib/memset.S

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 /* linux/arch/sparc/lib/memset.S: Sparc optimized memset, bzero and clear_user code
   3  * Copyright (C) 1991,1996 Free Software Foundation
   4  * Copyright (C) 1996,1997 Jakub Jelinek (jj@sunsite.mff.cuni.cz)
   5  * Copyright (C) 1996 David S. Miller (davem@caip.rutgers.edu)
   6  *
   7  * Calls to memset returns initial %o0. Calls to bzero returns 0, if ok, and
   8  * number of bytes not yet set if exception occurs and we were called as
   9  * clear_user.
  10  */
  11
  12 #include <asm/ptrace.h>
  13 #include <asm/export.h>
  14
  15 /* Work around cpp -rob */
  16 #define ALLOC #alloc
  17 #define EXECINSTR #execinstr
  18 #define EX(x,y,a,b)                             \
  19 98:     x,y;                                    \
  20         .section .fixup,ALLOC,EXECINSTR;        \
  21         .align  4;                              \
  22 99:     ba 30f;                                 \
  23          a, b, %o0;                             \
  24         .section __ex_table,ALLOC;              \
  25         .align  4;                              \
  26         .word   98b, 99b;                       \
  27         .text;                                  \
  28         .align  4
  29
  30 #define EXT(start,end,handler)                  \
  31         .section __ex_table,ALLOC;              \
  32         .align  4;                              \
  33         .word   start, 0, end, handler;         \
  34         .text;                                  \
  35         .align  4
  36
  37 /* Please don't change these macros, unless you change the logic
  38  * in the .fixup section below as well.
  39  * Store 64 bytes at (BASE + OFFSET) using value SOURCE. */
  40 #define ZERO_BIG_BLOCK(base, offset, source)    \
  41         std     source, [base + offset + 0x00]; \
  42         std     source, [base + offset + 0x08]; \
  43         std     source, [base + offset + 0x10]; \
  44         std     source, [base + offset + 0x18]; \
  45         std     source, [base + offset + 0x20]; \
  46         std     source, [base + offset + 0x28]; \
  47         std     source, [base + offset + 0x30]; \
  48         std     source, [base + offset + 0x38];
  49
  50 #define ZERO_LAST_BLOCKS(base, offset, source)  \
  51         std     source, [base - offset - 0x38]; \
  52         std     source, [base - offset - 0x30]; \
  53         std     source, [base - offset - 0x28]; \
  54         std     source, [base - offset - 0x20]; \
  55         std     source, [base - offset - 0x18]; \
  56         std     source, [base - offset - 0x10]; \
  57         std     source, [base - offset - 0x08]; \
  58         std     source, [base - offset - 0x00];
  59
  60         .text
  61         .align 4
  62
  63         .globl  __bzero_begin
  64 __bzero_begin:
  65
  66         .globl  __bzero
  67         .type   __bzero,#function
  68         .globl  memset
  69         EXPORT_SYMBOL(__bzero)
  70         EXPORT_SYMBOL(memset)
  71         .globl  __memset_start, __memset_end
  72 __memset_start:
  73 memset:
  74         mov     %o0, %g1
  75         mov     1, %g4
  76         and     %o1, 0xff, %g3
  77         sll     %g3, 8, %g2
  78         or      %g3, %g2, %g3
  79         sll     %g3, 16, %g2
  80         or      %g3, %g2, %g3
  81         b       1f
  82          mov    %o2, %o1
  83 3:
  84         cmp     %o2, 3
  85         be      2f
  86          EX(stb %g3, [%o0], sub %o1, 0)
  87
  88         cmp     %o2, 2
  89         be      2f
  90          EX(stb %g3, [%o0 + 0x01], sub %o1, 1)
  91
  92         EX(stb  %g3, [%o0 + 0x02], sub %o1, 2)
  93 2:
  94         sub     %o2, 4, %o2
  95         add     %o1, %o2, %o1
  96         b       4f
  97          sub    %o0, %o2, %o0
  98
  99 __bzero:
 100         clr     %g4
 101         mov     %g0, %g3
 102 1:
 103         cmp     %o1, 7
 104         bleu    7f
 105          andcc  %o0, 3, %o2
 106
 107         bne     3b
 108 4:
 109          andcc  %o0, 4, %g0
 110
 111         be      2f
 112          mov    %g3, %g2
 113
 114         EX(st   %g3, [%o0], sub %o1, 0)
 115         sub     %o1, 4, %o1
 116         add     %o0, 4, %o0
 117 2:
 118         andcc   %o1, 0xffffff80, %o3    ! Now everything is 8 aligned and o1 is len to run
 119         be      9f
 120          andcc  %o1, 0x78, %o2
 121 10:
 122         ZERO_BIG_BLOCK(%o0, 0x00, %g2)
 123         subcc   %o3, 128, %o3
 124         ZERO_BIG_BLOCK(%o0, 0x40, %g2)
 125 11:
 126         EXT(10b, 11b, 20f)
 127         bne     10b
 128          add    %o0, 128, %o0
 129
 130         orcc    %o2, %g0, %g0
 131 9:
 132         be      13f
 133          andcc  %o1, 7, %o1
 134
 135         srl     %o2, 1, %o3
 136         set     13f, %o4
 137         sub     %o4, %o3, %o4
 138         jmp     %o4
 139          add    %o0, %o2, %o0
 140
 141 12:
 142         ZERO_LAST_BLOCKS(%o0, 0x48, %g2)
 143         ZERO_LAST_BLOCKS(%o0, 0x08, %g2)
 144 13:
 145         EXT(12b, 13b, 21f)
 146         be      8f
 147          andcc  %o1, 4, %g0
 148
 149         be      1f
 150          andcc  %o1, 2, %g0
 151
 152         EX(st   %g3, [%o0], and %o1, 7)
 153         add     %o0, 4, %o0
 154 1:
 155         be      1f
 156          andcc  %o1, 1, %g0
 157
 158         EX(sth  %g3, [%o0], and %o1, 3)
 159         add     %o0, 2, %o0
 160 1:
 161         bne,a   8f
 162          EX(stb %g3, [%o0], and %o1, 1)
 163 8:
 164         b       0f
 165          nop
 166 7:
 167         be      13b
 168          orcc   %o1, 0, %g0
 169
 170         be      0f
 171 8:
 172          add    %o0, 1, %o0
 173         subcc   %o1, 1, %o1
 174         bne     8b
 175          EX(stb %g3, [%o0 - 1], add %o1, 1)
 176 0:
 177         andcc   %g4, 1, %g0
 178         be      5f
 179          nop
 180         retl
 181          mov    %g1, %o0
 182 5:
 183         retl
 184          clr    %o0
 185 __memset_end:
 186
 187         .section .fixup,#alloc,#execinstr
 188         .align  4
 189 20:
 190         cmp     %g2, 8
 191         bleu    1f
 192          and    %o1, 0x7f, %o1
 193         sub     %g2, 9, %g2
 194         add     %o3, 64, %o3
 195 1:
 196         sll     %g2, 3, %g2
 197         add     %o3, %o1, %o0
 198         b 30f
 199          sub    %o0, %g2, %o0
 200 21:
 201         mov     8, %o0
 202         and     %o1, 7, %o1
 203         sub     %o0, %g2, %o0
 204         sll     %o0, 3, %o0
 205         b 30f
 206          add    %o0, %o1, %o0
 207 30:
 208 /* %o4 is faulting address, %o5 is %pc where fault occurred */
 209         save    %sp, -104, %sp
 210         mov     %i5, %o0
 211         mov     %i7, %o1
 212         call    lookup_fault
 213          mov    %i4, %o2
 214         ret
 215          restore
 216
 217         .globl __bzero_end
 218 __bzero_end: