arch/powerpc/kernel/entry_32.S

   1 /*
   2  *  PowerPC version
   3  *    Copyright (C) 1995-1996 Gary Thomas (gdt@linuxppc.org)
   4  *  Rewritten by Cort Dougan (cort@fsmlabs.com) for PReP
   5  *    Copyright (C) 1996 Cort Dougan <cort@fsmlabs.com>
   6  *  Adapted for Power Macintosh by Paul Mackerras.
   7  *  Low-level exception handlers and MMU support
   8  *  rewritten by Paul Mackerras.
   9  *    Copyright (C) 1996 Paul Mackerras.
  10  *  MPC8xx modifications Copyright (C) 1997 Dan Malek (dmalek@jlc.net).
  11  *
  12  *  This file contains the system call entry code, context switch
  13  *  code, and exception/interrupt return code for PowerPC.
  14  *
  15  *  This program is free software; you can redistribute it and/or
  16  *  modify it under the terms of the GNU General Public License
  17  *  as published by the Free Software Foundation; either version
  18  *  2 of the License, or (at your option) any later version.
  19  *
  20  */
  21
  22 #include <linux/errno.h>
  23 #include <linux/err.h>
  24 #include <linux/sys.h>
  25 #include <linux/threads.h>
  26 #include <asm/reg.h>
  27 #include <asm/page.h>
  28 #include <asm/mmu.h>
  29 #include <asm/cputable.h>
  30 #include <asm/thread_info.h>
  31 #include <asm/ppc_asm.h>
  32 #include <asm/asm-offsets.h>
  33 #include <asm/unistd.h>
  34 #include <asm/ptrace.h>
  35 #include <asm/export.h>
  36 #include <asm/asm-405.h>
  37 #include <asm/feature-fixups.h>
  38 #include <asm/barrier.h>
  39
  40 /*
  41  * MSR_KERNEL is > 0x10000 on 4xx/Book-E since it include MSR_CE.
  42  */
  43 #if MSR_KERNEL >= 0x10000
  44 #define LOAD_MSR_KERNEL(r, x)   lis r,(x)@h; ori r,r,(x)@l
  45 #else
  46 #define LOAD_MSR_KERNEL(r, x)   li r,(x)
  47 #endif
  48
  49 /*
  50  * Align to 4k in order to ensure that all functions modyfing srr0/srr1
  51  * fit into one page in order to not encounter a TLB miss between the
  52  * modification of srr0/srr1 and the associated rfi.
  53  */
  54         .align  12
  55
  56 #ifdef CONFIG_BOOKE
  57         .globl  mcheck_transfer_to_handler
  58 mcheck_transfer_to_handler:
  59         mfspr   r0,SPRN_DSRR0
  60         stw     r0,_DSRR0(r11)
  61         mfspr   r0,SPRN_DSRR1
  62         stw     r0,_DSRR1(r11)
  63         /* fall through */
  64
  65         .globl  debug_transfer_to_handler
  66 debug_transfer_to_handler:
  67         mfspr   r0,SPRN_CSRR0
  68         stw     r0,_CSRR0(r11)
  69         mfspr   r0,SPRN_CSRR1
  70         stw     r0,_CSRR1(r11)
  71         /* fall through */
  72
  73         .globl  crit_transfer_to_handler
  74 crit_transfer_to_handler:
  75 #ifdef CONFIG_PPC_BOOK3E_MMU
  76         mfspr   r0,SPRN_MAS0
  77         stw     r0,MAS0(r11)
  78         mfspr   r0,SPRN_MAS1
  79         stw     r0,MAS1(r11)
  80         mfspr   r0,SPRN_MAS2
  81         stw     r0,MAS2(r11)
  82         mfspr   r0,SPRN_MAS3
  83         stw     r0,MAS3(r11)
  84         mfspr   r0,SPRN_MAS6
  85         stw     r0,MAS6(r11)
  86 #ifdef CONFIG_PHYS_64BIT
  87         mfspr   r0,SPRN_MAS7
  88         stw     r0,MAS7(r11)
  89 #endif /* CONFIG_PHYS_64BIT */
  90 #endif /* CONFIG_PPC_BOOK3E_MMU */
  91 #ifdef CONFIG_44x
  92         mfspr   r0,SPRN_MMUCR
  93         stw     r0,MMUCR(r11)
  94 #endif
  95         mfspr   r0,SPRN_SRR0
  96         stw     r0,_SRR0(r11)
  97         mfspr   r0,SPRN_SRR1
  98         stw     r0,_SRR1(r11)
  99
 100         /* set the stack limit to the current stack
 101          * and set the limit to protect the thread_info
 102          * struct
 103          */
 104         mfspr   r8,SPRN_SPRG_THREAD
 105         lwz     r0,KSP_LIMIT(r8)
 106         stw     r0,SAVED_KSP_LIMIT(r11)
 107         rlwimi  r0,r1,0,0,(31-THREAD_SHIFT)
 108         stw     r0,KSP_LIMIT(r8)
 109         /* fall through */
 110 #endif
 111
 112 #ifdef CONFIG_40x
 113         .globl  crit_transfer_to_handler
 114 crit_transfer_to_handler:
 115         lwz     r0,crit_r10@l(0)
 116         stw     r0,GPR10(r11)
 117         lwz     r0,crit_r11@l(0)
 118         stw     r0,GPR11(r11)
 119         mfspr   r0,SPRN_SRR0
 120         stw     r0,crit_srr0@l(0)
 121         mfspr   r0,SPRN_SRR1
 122         stw     r0,crit_srr1@l(0)
 123
 124         /* set the stack limit to the current stack
 125          * and set the limit to protect the thread_info
 126          * struct
 127          */
 128         mfspr   r8,SPRN_SPRG_THREAD
 129         lwz     r0,KSP_LIMIT(r8)
 130         stw     r0,saved_ksp_limit@l(0)
 131         rlwimi  r0,r1,0,0,(31-THREAD_SHIFT)
 132         stw     r0,KSP_LIMIT(r8)
 133         /* fall through */
 134 #endif
 135
 136 /*
 137  * This code finishes saving the registers to the exception frame
 138  * and jumps to the appropriate handler for the exception, turning
 139  * on address translation.
 140  * Note that we rely on the caller having set cr0.eq iff the exception
 141  * occurred in kernel mode (i.e. MSR:PR = 0).
 142  */
 143         .globl  transfer_to_handler_full
 144 transfer_to_handler_full:
 145         SAVE_NVGPRS(r11)
 146         /* fall through */
 147
 148         .globl  transfer_to_handler
 149 transfer_to_handler:
 150         stw     r2,GPR2(r11)
 151         stw     r12,_NIP(r11)
 152         stw     r9,_MSR(r11)
 153         andi.   r2,r9,MSR_PR
 154         mfctr   r12
 155         mfspr   r2,SPRN_XER
 156         stw     r12,_CTR(r11)
 157         stw     r2,_XER(r11)
 158         mfspr   r12,SPRN_SPRG_THREAD
 159         addi    r2,r12,-THREAD
 160         tovirt(r2,r2)                   /* set r2 to current */
 161         beq     2f                      /* if from user, fix up THREAD.regs */
 162         addi    r11,r1,STACK_FRAME_OVERHEAD
 163         stw     r11,PT_REGS(r12)
 164 #if defined(CONFIG_40x) || defined(CONFIG_BOOKE)
 165         /* Check to see if the dbcr0 register is set up to debug.  Use the
 166            internal debug mode bit to do this. */
 167         lwz     r12,THREAD_DBCR0(r12)
 168         andis.  r12,r12,DBCR0_IDM@h
 169         beq+    3f
 170         /* From user and task is ptraced - load up global dbcr0 */
 171         li      r12,-1                  /* clear all pending debug events */
 172         mtspr   SPRN_DBSR,r12
 173         lis     r11,global_dbcr0@ha
 174         tophys(r11,r11)
 175         addi    r11,r11,global_dbcr0@l
 176 #ifdef CONFIG_SMP
 177         CURRENT_THREAD_INFO(r9, r1)
 178         lwz     r9,TI_CPU(r9)
 179         slwi    r9,r9,3
 180         add     r11,r11,r9
 181 #endif
 182         lwz     r12,0(r11)
 183         mtspr   SPRN_DBCR0,r12
 184         lwz     r12,4(r11)
 185         addi    r12,r12,-1
 186         stw     r12,4(r11)
 187 #endif
 188 #ifdef CONFIG_VIRT_CPU_ACCOUNTING_NATIVE
 189         CURRENT_THREAD_INFO(r9, r1)
 190         tophys(r9, r9)
 191         ACCOUNT_CPU_USER_ENTRY(r9, r11, r12)
 192 #endif
 193
 194         b       3f
 195
 196 2:      /* if from kernel, check interrupted DOZE/NAP mode and
 197          * check for stack overflow
 198          */
 199         lwz     r9,KSP_LIMIT(r12)
 200         cmplw   r1,r9                   /* if r1 <= ksp_limit */
 201         ble-    stack_ovf               /* then the kernel stack overflowed */
 202 5:
 203 #if defined(CONFIG_6xx) || defined(CONFIG_E500)
 204         CURRENT_THREAD_INFO(r9, r1)
 205         tophys(r9,r9)                   /* check local flags */
 206         lwz     r12,TI_LOCAL_FLAGS(r9)
 207         mtcrf   0x01,r12
 208         bt-     31-TLF_NAPPING,4f
 209         bt-     31-TLF_SLEEPING,7f
 210 #endif /* CONFIG_6xx || CONFIG_E500 */
 211         .globl transfer_to_handler_cont
 212 transfer_to_handler_cont:
 213 3:
 214         mflr    r9
 215         lwz     r11,0(r9)               /* virtual address of handler */
 216         lwz     r9,4(r9)                /* where to go when done */
 217 #if defined(CONFIG_PPC_8xx) && defined(CONFIG_PERF_EVENTS)
 218         mtspr   SPRN_NRI, r0
 219 #endif
 220 #ifdef CONFIG_TRACE_IRQFLAGS
 221         lis     r12,reenable_mmu@h
 222         ori     r12,r12,reenable_mmu@l
 223         mtspr   SPRN_SRR0,r12
 224         mtspr   SPRN_SRR1,r10
 225         SYNC
 226         RFI
 227 reenable_mmu:                           /* re-enable mmu so we can */
 228         mfmsr   r10
 229         lwz     r12,_MSR(r1)
 230         xor     r10,r10,r12
 231         andi.   r10,r10,MSR_EE          /* Did EE change? */
 232         beq     1f
 233
 234         /*
 235          * The trace_hardirqs_off will use CALLER_ADDR0 and CALLER_ADDR1.
 236          * If from user mode there is only one stack frame on the stack, and
 237          * accessing CALLER_ADDR1 will cause oops. So we need create a dummy
 238          * stack frame to make trace_hardirqs_off happy.
 239          *
 240          * This is handy because we also need to save a bunch of GPRs,
 241          * r3 can be different from GPR3(r1) at this point, r9 and r11
 242          * contains the old MSR and handler address respectively,
 243          * r4 & r5 can contain page fault arguments that need to be passed
 244          * along as well. r12, CCR, CTR, XER etc... are left clobbered as
 245          * they aren't useful past this point (aren't syscall arguments),
 246          * the rest is restored from the exception frame.
 247          */
 248         stwu    r1,-32(r1)
 249         stw     r9,8(r1)
 250         stw     r11,12(r1)
 251         stw     r3,16(r1)
 252         stw     r4,20(r1)
 253         stw     r5,24(r1)
 254         bl      trace_hardirqs_off
 255         lwz     r5,24(r1)
 256         lwz     r4,20(r1)
 257         lwz     r3,16(r1)
 258         lwz     r11,12(r1)
 259         lwz     r9,8(r1)
 260         addi    r1,r1,32
 261         lwz     r0,GPR0(r1)
 262         lwz     r6,GPR6(r1)
 263         lwz     r7,GPR7(r1)
 264         lwz     r8,GPR8(r1)
 265 1:      mtctr   r11
 266         mtlr    r9
 267         bctr                            /* jump to handler */
 268 #else /* CONFIG_TRACE_IRQFLAGS */
 269         mtspr   SPRN_SRR0,r11
 270         mtspr   SPRN_SRR1,r10
 271         mtlr    r9
 272         SYNC
 273         RFI                             /* jump to handler, enable MMU */
 274 #endif /* CONFIG_TRACE_IRQFLAGS */
 275
 276 #if defined (CONFIG_6xx) || defined(CONFIG_E500)
 277 4:      rlwinm  r12,r12,0,~_TLF_NAPPING
 278         stw     r12,TI_LOCAL_FLAGS(r9)
 279         b       power_save_ppc32_restore
 280
 281 7:      rlwinm  r12,r12,0,~_TLF_SLEEPING
 282         stw     r12,TI_LOCAL_FLAGS(r9)
 283         lwz     r9,_MSR(r11)            /* if sleeping, clear MSR.EE */
 284         rlwinm  r9,r9,0,~MSR_EE
 285         lwz     r12,_LINK(r11)          /* and return to address in LR */
 286         b       fast_exception_return
 287 #endif
 288
 289 /*
 290  * On kernel stack overflow, load up an initial stack pointer
 291  * and call StackOverflow(regs), which should not return.
 292  */
 293 stack_ovf:
 294         /* sometimes we use a statically-allocated stack, which is OK. */
 295         lis     r12,_end@h
 296         ori     r12,r12,_end@l
 297         cmplw   r1,r12
 298         ble     5b                      /* r1 <= &_end is OK */
 299         SAVE_NVGPRS(r11)
 300         addi    r3,r1,STACK_FRAME_OVERHEAD
 301         lis     r1,init_thread_union@ha
 302         addi    r1,r1,init_thread_union@l
 303         addi    r1,r1,THREAD_SIZE-STACK_FRAME_OVERHEAD
 304         lis     r9,StackOverflow@ha
 305         addi    r9,r9,StackOverflow@l
 306         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
 307 #if defined(CONFIG_PPC_8xx) && defined(CONFIG_PERF_EVENTS)
 308         mtspr   SPRN_NRI, r0
 309 #endif
 310         mtspr   SPRN_SRR0,r9
 311         mtspr   SPRN_SRR1,r10
 312         SYNC
 313         RFI
 314
 315 /*
 316  * Handle a system call.
 317  */
 318         .stabs  "arch/powerpc/kernel/",N_SO,0,0,0f
 319         .stabs  "entry_32.S",N_SO,0,0,0f
 320 0:
 321
 322 _GLOBAL(DoSyscall)
 323         stw     r3,ORIG_GPR3(r1)
 324         li      r12,0
 325         stw     r12,RESULT(r1)
 326         lwz     r11,_CCR(r1)    /* Clear SO bit in CR */
 327         rlwinm  r11,r11,0,4,2
 328         stw     r11,_CCR(r1)
 329 #ifdef CONFIG_TRACE_IRQFLAGS
 330         /* Return from syscalls can (and generally will) hard enable
 331          * interrupts. You aren't supposed to call a syscall with
 332          * interrupts disabled in the first place. However, to ensure
 333          * that we get it right vs. lockdep if it happens, we force
 334          * that hard enable here with appropriate tracing if we see
 335          * that we have been called with interrupts off
 336          */
 337         mfmsr   r11
 338         andi.   r12,r11,MSR_EE
 339         bne+    1f
 340         /* We came in with interrupts disabled, we enable them now */
 341         bl      trace_hardirqs_on
 342         mfmsr   r11
 343         lwz     r0,GPR0(r1)
 344         lwz     r3,GPR3(r1)
 345         lwz     r4,GPR4(r1)
 346         ori     r11,r11,MSR_EE
 347         lwz     r5,GPR5(r1)
 348         lwz     r6,GPR6(r1)
 349         lwz     r7,GPR7(r1)
 350         lwz     r8,GPR8(r1)
 351         mtmsr   r11
 352 1:
 353 #endif /* CONFIG_TRACE_IRQFLAGS */
 354         CURRENT_THREAD_INFO(r10, r1)
 355         lwz     r11,TI_FLAGS(r10)
 356         andi.   r11,r11,_TIF_SYSCALL_DOTRACE
 357         bne-    syscall_dotrace
 358 syscall_dotrace_cont:
 359         cmplwi  0,r0,NR_syscalls
 360         lis     r10,sys_call_table@h
 361         ori     r10,r10,sys_call_table@l
 362         slwi    r0,r0,2
 363         bge-    66f
 364
 365         barrier_nospec_asm
 366         /*
 367          * Prevent the load of the handler below (based on the user-passed
 368          * system call number) being speculatively executed until the test
 369          * against NR_syscalls and branch to .66f above has
 370          * committed.
 371          */
 372
 373         lwzx    r10,r10,r0      /* Fetch system call handler [ptr] */
 374         mtlr    r10
 375         addi    r9,r1,STACK_FRAME_OVERHEAD
 376         PPC440EP_ERR42
 377         blrl                    /* Call handler */
 378         .globl  ret_from_syscall
 379 ret_from_syscall:
 380 #ifdef CONFIG_DEBUG_RSEQ
 381         /* Check whether the syscall is issued inside a restartable sequence */
 382         stw     r3,GPR3(r1)
 383         addi    r3,r1,STACK_FRAME_OVERHEAD
 384         bl      rseq_syscall
 385         lwz     r3,GPR3(r1)
 386 #endif
 387         mr      r6,r3
 388         CURRENT_THREAD_INFO(r12, r1)
 389         /* disable interrupts so current_thread_info()->flags can't change */
 390         LOAD_MSR_KERNEL(r10,MSR_KERNEL) /* doesn't include MSR_EE */
 391         /* Note: We don't bother telling lockdep about it */
 392         SYNC
 393         MTMSRD(r10)
 394         lwz     r9,TI_FLAGS(r12)
 395         li      r8,-MAX_ERRNO
 396         andi.   r0,r9,(_TIF_SYSCALL_DOTRACE|_TIF_SINGLESTEP|_TIF_USER_WORK_MASK|_TIF_PERSYSCALL_MASK)
 397         bne-    syscall_exit_work
 398         cmplw   0,r3,r8
 399         blt+    syscall_exit_cont
 400         lwz     r11,_CCR(r1)                    /* Load CR */
 401         neg     r3,r3
 402         oris    r11,r11,0x1000  /* Set SO bit in CR */
 403         stw     r11,_CCR(r1)
 404 syscall_exit_cont:
 405         lwz     r8,_MSR(r1)
 406 #ifdef CONFIG_TRACE_IRQFLAGS
 407         /* If we are going to return from the syscall with interrupts
 408          * off, we trace that here. It shouldn't happen though but we
 409          * want to catch the bugger if it does right ?
 410          */
 411         andi.   r10,r8,MSR_EE
 412         bne+    1f
 413         stw     r3,GPR3(r1)
 414         bl      trace_hardirqs_off
 415         lwz     r3,GPR3(r1)
 416 1:
 417 #endif /* CONFIG_TRACE_IRQFLAGS */
 418 #if defined(CONFIG_4xx) || defined(CONFIG_BOOKE)
 419         /* If the process has its own DBCR0 value, load it up.  The internal
 420            debug mode bit tells us that dbcr0 should be loaded. */
 421         lwz     r0,THREAD+THREAD_DBCR0(r2)
 422         andis.  r10,r0,DBCR0_IDM@h
 423         bnel-   load_dbcr0
 424 #endif
 425 #ifdef CONFIG_44x
 426 BEGIN_MMU_FTR_SECTION
 427         lis     r4,icache_44x_need_flush@ha
 428         lwz     r5,icache_44x_need_flush@l(r4)
 429         cmplwi  cr0,r5,0
 430         bne-    2f
 431 1:
 432 END_MMU_FTR_SECTION_IFCLR(MMU_FTR_TYPE_47x)
 433 #endif /* CONFIG_44x */
 434 BEGIN_FTR_SECTION
 435         lwarx   r7,0,r1
 436 END_FTR_SECTION_IFSET(CPU_FTR_NEED_PAIRED_STWCX)
 437         stwcx.  r0,0,r1                 /* to clear the reservation */
 438 #ifdef CONFIG_VIRT_CPU_ACCOUNTING_NATIVE
 439         andi.   r4,r8,MSR_PR
 440         beq     3f
 441         CURRENT_THREAD_INFO(r4, r1)
 442         ACCOUNT_CPU_USER_EXIT(r4, r5, r7)
 443 3:
 444 #endif
 445         lwz     r4,_LINK(r1)
 446         lwz     r5,_CCR(r1)
 447         mtlr    r4
 448         mtcr    r5
 449         lwz     r7,_NIP(r1)
 450         lwz     r2,GPR2(r1)
 451         lwz     r1,GPR1(r1)
 452 #if defined(CONFIG_PPC_8xx) && defined(CONFIG_PERF_EVENTS)
 453         mtspr   SPRN_NRI, r0
 454 #endif
 455         mtspr   SPRN_SRR0,r7
 456         mtspr   SPRN_SRR1,r8
 457         SYNC
 458         RFI
 459 #ifdef CONFIG_44x
 460 2:      li      r7,0
 461         iccci   r0,r0
 462         stw     r7,icache_44x_need_flush@l(r4)
 463         b       1b
 464 #endif  /* CONFIG_44x */
 465
 466 66:     li      r3,-ENOSYS
 467         b       ret_from_syscall
 468
 469         .globl  ret_from_fork
 470 ret_from_fork:
 471         REST_NVGPRS(r1)
 472         bl      schedule_tail
 473         li      r3,0
 474         b       ret_from_syscall
 475
 476         .globl  ret_from_kernel_thread
 477 ret_from_kernel_thread:
 478         REST_NVGPRS(r1)
 479         bl      schedule_tail
 480         mtlr    r14
 481         mr      r3,r15
 482         PPC440EP_ERR42
 483         blrl
 484         li      r3,0
 485         b       ret_from_syscall
 486
 487 /* Traced system call support */
 488 syscall_dotrace:
 489         SAVE_NVGPRS(r1)
 490         li      r0,0xc00
 491         stw     r0,_TRAP(r1)
 492         addi    r3,r1,STACK_FRAME_OVERHEAD
 493         bl      do_syscall_trace_enter
 494         /*
 495          * Restore argument registers possibly just changed.
 496          * We use the return value of do_syscall_trace_enter
 497          * for call number to look up in the table (r0).
 498          */
 499         mr      r0,r3
 500         lwz     r3,GPR3(r1)
 501         lwz     r4,GPR4(r1)
 502         lwz     r5,GPR5(r1)
 503         lwz     r6,GPR6(r1)
 504         lwz     r7,GPR7(r1)
 505         lwz     r8,GPR8(r1)
 506         REST_NVGPRS(r1)
 507
 508         cmplwi  r0,NR_syscalls
 509         /* Return code is already in r3 thanks to do_syscall_trace_enter() */
 510         bge-    ret_from_syscall
 511         b       syscall_dotrace_cont
 512
 513 syscall_exit_work:
 514         andi.   r0,r9,_TIF_RESTOREALL
 515         beq+    0f
 516         REST_NVGPRS(r1)
 517         b       2f
 518 0:      cmplw   0,r3,r8
 519         blt+    1f
 520         andi.   r0,r9,_TIF_NOERROR
 521         bne-    1f
 522         lwz     r11,_CCR(r1)                    /* Load CR */
 523         neg     r3,r3
 524         oris    r11,r11,0x1000  /* Set SO bit in CR */
 525         stw     r11,_CCR(r1)
 526
 527 1:      stw     r6,RESULT(r1)   /* Save result */
 528         stw     r3,GPR3(r1)     /* Update return value */
 529 2:      andi.   r0,r9,(_TIF_PERSYSCALL_MASK)
 530         beq     4f
 531
 532         /* Clear per-syscall TIF flags if any are set.  */
 533
 534         li      r11,_TIF_PERSYSCALL_MASK
 535         addi    r12,r12,TI_FLAGS
 536 3:      lwarx   r8,0,r12
 537         andc    r8,r8,r11
 538 #ifdef CONFIG_IBM405_ERR77
 539         dcbt    0,r12
 540 #endif
 541         stwcx.  r8,0,r12
 542         bne-    3b
 543         subi    r12,r12,TI_FLAGS
 544
 545 4:      /* Anything which requires enabling interrupts? */
 546         andi.   r0,r9,(_TIF_SYSCALL_DOTRACE|_TIF_SINGLESTEP)
 547         beq     ret_from_except
 548
 549         /* Re-enable interrupts. There is no need to trace that with
 550          * lockdep as we are supposed to have IRQs on at this point
 551          */
 552         ori     r10,r10,MSR_EE
 553         SYNC
 554         MTMSRD(r10)
 555
 556         /* Save NVGPRS if they're not saved already */
 557         lwz     r4,_TRAP(r1)
 558         andi.   r4,r4,1
 559         beq     5f
 560         SAVE_NVGPRS(r1)
 561         li      r4,0xc00
 562         stw     r4,_TRAP(r1)
 563 5:
 564         addi    r3,r1,STACK_FRAME_OVERHEAD
 565         bl      do_syscall_trace_leave
 566         b       ret_from_except_full
 567
 568 /*
 569  * The fork/clone functions need to copy the full register set into
 570  * the child process. Therefore we need to save all the nonvolatile
 571  * registers (r13 - r31) before calling the C code.
 572  */
 573         .globl  ppc_fork
 574 ppc_fork:
 575         SAVE_NVGPRS(r1)
 576         lwz     r0,_TRAP(r1)
 577         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
 578         stw     r0,_TRAP(r1)            /* register set saved */
 579         b       sys_fork
 580
 581         .globl  ppc_vfork
 582 ppc_vfork:
 583         SAVE_NVGPRS(r1)
 584         lwz     r0,_TRAP(r1)
 585         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
 586         stw     r0,_TRAP(r1)            /* register set saved */
 587         b       sys_vfork
 588
 589         .globl  ppc_clone
 590 ppc_clone:
 591         SAVE_NVGPRS(r1)
 592         lwz     r0,_TRAP(r1)
 593         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
 594         stw     r0,_TRAP(r1)            /* register set saved */
 595         b       sys_clone
 596
 597         .globl  ppc_swapcontext
 598 ppc_swapcontext:
 599         SAVE_NVGPRS(r1)
 600         lwz     r0,_TRAP(r1)
 601         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
 602         stw     r0,_TRAP(r1)            /* register set saved */
 603         b       sys_swapcontext
 604
 605 /*
 606  * Top-level page fault handling.
 607  * This is in assembler because if do_page_fault tells us that
 608  * it is a bad kernel page fault, we want to save the non-volatile
 609  * registers before calling bad_page_fault.
 610  */
 611         .globl  handle_page_fault
 612 handle_page_fault:
 613         stw     r4,_DAR(r1)
 614         addi    r3,r1,STACK_FRAME_OVERHEAD
 615 #ifdef CONFIG_6xx
 616         andis.  r0,r5,DSISR_DABRMATCH@h
 617         bne-    handle_dabr_fault
 618 #endif
 619         bl      do_page_fault
 620         cmpwi   r3,0
 621         beq+    ret_from_except
 622         SAVE_NVGPRS(r1)
 623         lwz     r0,_TRAP(r1)
 624         clrrwi  r0,r0,1
 625         stw     r0,_TRAP(r1)
 626         mr      r5,r3
 627         addi    r3,r1,STACK_FRAME_OVERHEAD
 628         lwz     r4,_DAR(r1)
 629         bl      bad_page_fault
 630         b       ret_from_except_full
 631
 632 #ifdef CONFIG_6xx
 633         /* We have a data breakpoint exception - handle it */
 634 handle_dabr_fault:
 635         SAVE_NVGPRS(r1)
 636         lwz     r0,_TRAP(r1)
 637         clrrwi  r0,r0,1
 638         stw     r0,_TRAP(r1)
 639         bl      do_break
 640         b       ret_from_except_full
 641 #endif
 642
 643 /*
 644  * This routine switches between two different tasks.  The process
 645  * state of one is saved on its kernel stack.  Then the state
 646  * of the other is restored from its kernel stack.  The memory
 647  * management hardware is updated to the second process's state.
 648  * Finally, we can return to the second process.
 649  * On entry, r3 points to the THREAD for the current task, r4
 650  * points to the THREAD for the new task.
 651  *
 652  * This routine is always called with interrupts disabled.
 653  *
 654  * Note: there are two ways to get to the "going out" portion
 655  * of this code; either by coming in via the entry (_switch)
 656  * or via "fork" which must set up an environment equivalent
 657  * to the "_switch" path.  If you change this , you'll have to
 658  * change the fork code also.
 659  *
 660  * The code which creates the new task context is in 'copy_thread'
 661  * in arch/ppc/kernel/process.c
 662  */
 663 _GLOBAL(_switch)
 664         stwu    r1,-INT_FRAME_SIZE(r1)
 665         mflr    r0
 666         stw     r0,INT_FRAME_SIZE+4(r1)
 667         /* r3-r12 are caller saved -- Cort */
 668         SAVE_NVGPRS(r1)
 669         stw     r0,_NIP(r1)     /* Return to switch caller */
 670         mfmsr   r11
 671         li      r0,MSR_FP       /* Disable floating-point */
 672 #ifdef CONFIG_ALTIVEC
 673 BEGIN_FTR_SECTION
 674         oris    r0,r0,MSR_VEC@h /* Disable altivec */
 675         mfspr   r12,SPRN_VRSAVE /* save vrsave register value */
 676         stw     r12,THREAD+THREAD_VRSAVE(r2)
 677 END_FTR_SECTION_IFSET(CPU_FTR_ALTIVEC)
 678 #endif /* CONFIG_ALTIVEC */
 679 #ifdef CONFIG_SPE
 680 BEGIN_FTR_SECTION
 681         oris    r0,r0,MSR_SPE@h  /* Disable SPE */
 682         mfspr   r12,SPRN_SPEFSCR /* save spefscr register value */
 683         stw     r12,THREAD+THREAD_SPEFSCR(r2)
 684 END_FTR_SECTION_IFSET(CPU_FTR_SPE)
 685 #endif /* CONFIG_SPE */
 686         and.    r0,r0,r11       /* FP or altivec or SPE enabled? */
 687         beq+    1f
 688         andc    r11,r11,r0
 689         MTMSRD(r11)
 690         isync
 691 1:      stw     r11,_MSR(r1)
 692         mfcr    r10
 693         stw     r10,_CCR(r1)
 694         stw     r1,KSP(r3)      /* Set old stack pointer */
 695
 696 #ifdef CONFIG_SMP
 697         /* We need a sync somewhere here to make sure that if the
 698          * previous task gets rescheduled on another CPU, it sees all
 699          * stores it has performed on this one.
 700          */
 701         sync
 702 #endif /* CONFIG_SMP */
 703
 704         tophys(r0,r4)
 705         mtspr   SPRN_SPRG_THREAD,r0     /* Update current THREAD phys addr */
 706         lwz     r1,KSP(r4)      /* Load new stack pointer */
 707
 708         /* save the old current 'last' for return value */
 709         mr      r3,r2
 710         addi    r2,r4,-THREAD   /* Update current */
 711
 712 #ifdef CONFIG_ALTIVEC
 713 BEGIN_FTR_SECTION
 714         lwz     r0,THREAD+THREAD_VRSAVE(r2)
 715         mtspr   SPRN_VRSAVE,r0          /* if G4, restore VRSAVE reg */
 716 END_FTR_SECTION_IFSET(CPU_FTR_ALTIVEC)
 717 #endif /* CONFIG_ALTIVEC */
 718 #ifdef CONFIG_SPE
 719 BEGIN_FTR_SECTION
 720         lwz     r0,THREAD+THREAD_SPEFSCR(r2)
 721         mtspr   SPRN_SPEFSCR,r0         /* restore SPEFSCR reg */
 722 END_FTR_SECTION_IFSET(CPU_FTR_SPE)
 723 #endif /* CONFIG_SPE */
 724
 725         lwz     r0,_CCR(r1)
 726         mtcrf   0xFF,r0
 727         /* r3-r12 are destroyed -- Cort */
 728         REST_NVGPRS(r1)
 729
 730         lwz     r4,_NIP(r1)     /* Return to _switch caller in new task */
 731         mtlr    r4
 732         addi    r1,r1,INT_FRAME_SIZE
 733         blr
 734
 735         .globl  fast_exception_return
 736 fast_exception_return:
 737 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
 738         andi.   r10,r9,MSR_RI           /* check for recoverable interrupt */
 739         beq     1f                      /* if not, we've got problems */
 740 #endif
 741
 742 2:      REST_4GPRS(3, r11)
 743         lwz     r10,_CCR(r11)
 744         REST_GPR(1, r11)
 745         mtcr    r10
 746         lwz     r10,_LINK(r11)
 747         mtlr    r10
 748         /* Clear the exception_marker on the stack to avoid confusing stacktrace */
 749         li      r10, 0
 750         stw     r10, 8(r11)
 751         REST_GPR(10, r11)
 752 #if defined(CONFIG_PPC_8xx) && defined(CONFIG_PERF_EVENTS)
 753         mtspr   SPRN_NRI, r0
 754 #endif
 755         mtspr   SPRN_SRR1,r9
 756         mtspr   SPRN_SRR0,r12
 757         REST_GPR(9, r11)
 758         REST_GPR(12, r11)
 759         lwz     r11,GPR11(r11)
 760         SYNC
 761         RFI
 762
 763 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
 764 /* check if the exception happened in a restartable section */
 765 1:      lis     r3,exc_exit_restart_end@ha
 766         addi    r3,r3,exc_exit_restart_end@l
 767         cmplw   r12,r3
 768         bge     3f
 769         lis     r4,exc_exit_restart@ha
 770         addi    r4,r4,exc_exit_restart@l
 771         cmplw   r12,r4
 772         blt     3f
 773         lis     r3,fee_restarts@ha
 774         tophys(r3,r3)
 775         lwz     r5,fee_restarts@l(r3)
 776         addi    r5,r5,1
 777         stw     r5,fee_restarts@l(r3)
 778         mr      r12,r4          /* restart at exc_exit_restart */
 779         b       2b
 780
 781         .section .bss
 782         .align  2
 783 fee_restarts:
 784         .space  4
 785         .previous
 786
 787 /* aargh, a nonrecoverable interrupt, panic */
 788 /* aargh, we don't know which trap this is */
 789 /* but the 601 doesn't implement the RI bit, so assume it's OK */
 790 3:
 791 BEGIN_FTR_SECTION
 792         b       2b
 793 END_FTR_SECTION_IFSET(CPU_FTR_601)
 794         li      r10,-1
 795         stw     r10,_TRAP(r11)
 796         addi    r3,r1,STACK_FRAME_OVERHEAD
 797         lis     r10,MSR_KERNEL@h
 798         ori     r10,r10,MSR_KERNEL@l
 799         bl      transfer_to_handler_full
 800         .long   nonrecoverable_exception
 801         .long   ret_from_except
 802 #endif
 803
 804         .globl  ret_from_except_full
 805 ret_from_except_full:
 806         REST_NVGPRS(r1)
 807         /* fall through */
 808
 809         .globl  ret_from_except
 810 ret_from_except:
 811         /* Hard-disable interrupts so that current_thread_info()->flags
 812          * can't change between when we test it and when we return
 813          * from the interrupt. */
 814         /* Note: We don't bother telling lockdep about it */
 815         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
 816         SYNC                    /* Some chip revs have problems here... */
 817         MTMSRD(r10)             /* disable interrupts */
 818
 819         lwz     r3,_MSR(r1)     /* Returning to user mode? */
 820         andi.   r0,r3,MSR_PR
 821         beq     resume_kernel
 822
 823 user_exc_return:                /* r10 contains MSR_KERNEL here */
 824         /* Check current_thread_info()->flags */
 825         CURRENT_THREAD_INFO(r9, r1)
 826         lwz     r9,TI_FLAGS(r9)
 827         andi.   r0,r9,_TIF_USER_WORK_MASK
 828         bne     do_work
 829
 830 restore_user:
 831 #if defined(CONFIG_4xx) || defined(CONFIG_BOOKE)
 832         /* Check whether this process has its own DBCR0 value.  The internal
 833            debug mode bit tells us that dbcr0 should be loaded. */
 834         lwz     r0,THREAD+THREAD_DBCR0(r2)
 835         andis.  r10,r0,DBCR0_IDM@h
 836         bnel-   load_dbcr0
 837 #endif
 838 #ifdef CONFIG_VIRT_CPU_ACCOUNTING_NATIVE
 839         CURRENT_THREAD_INFO(r9, r1)
 840         ACCOUNT_CPU_USER_EXIT(r9, r10, r11)
 841 #endif
 842
 843         b       restore
 844
 845 /* N.B. the only way to get here is from the beq following ret_from_except. */
 846 resume_kernel:
 847         /* check current_thread_info, _TIF_EMULATE_STACK_STORE */
 848         CURRENT_THREAD_INFO(r9, r1)
 849         lwz     r8,TI_FLAGS(r9)
 850         andis.  r0,r8,_TIF_EMULATE_STACK_STORE@h
 851         beq+    1f
 852
 853         addi    r8,r1,INT_FRAME_SIZE    /* Get the kprobed function entry */
 854
 855         lwz     r3,GPR1(r1)
 856         subi    r3,r3,INT_FRAME_SIZE    /* dst: Allocate a trampoline exception frame */
 857         mr      r4,r1                   /* src:  current exception frame */
 858         mr      r1,r3                   /* Reroute the trampoline frame to r1 */
 859
 860         /* Copy from the original to the trampoline. */
 861         li      r5,INT_FRAME_SIZE/4     /* size: INT_FRAME_SIZE */
 862         li      r6,0                    /* start offset: 0 */
 863         mtctr   r5
 864 2:      lwzx    r0,r6,r4
 865         stwx    r0,r6,r3
 866         addi    r6,r6,4
 867         bdnz    2b
 868
 869         /* Do real store operation to complete stwu */
 870         lwz     r5,GPR1(r1)
 871         stw     r8,0(r5)
 872
 873         /* Clear _TIF_EMULATE_STACK_STORE flag */
 874         lis     r11,_TIF_EMULATE_STACK_STORE@h
 875         addi    r5,r9,TI_FLAGS
 876 0:      lwarx   r8,0,r5
 877         andc    r8,r8,r11
 878 #ifdef CONFIG_IBM405_ERR77
 879         dcbt    0,r5
 880 #endif
 881         stwcx.  r8,0,r5
 882         bne-    0b
 883 1:
 884
 885 #ifdef CONFIG_PREEMPT
 886         /* check current_thread_info->preempt_count */
 887         lwz     r0,TI_PREEMPT(r9)
 888         cmpwi   0,r0,0          /* if non-zero, just restore regs and return */
 889         bne     restore
 890         andi.   r8,r8,_TIF_NEED_RESCHED
 891         beq+    restore
 892         lwz     r3,_MSR(r1)
 893         andi.   r0,r3,MSR_EE    /* interrupts off? */
 894         beq     restore         /* don't schedule if so */
 895 #ifdef CONFIG_TRACE_IRQFLAGS
 896         /* Lockdep thinks irqs are enabled, we need to call
 897          * preempt_schedule_irq with IRQs off, so we inform lockdep
 898          * now that we -did- turn them off already
 899          */
 900         bl      trace_hardirqs_off
 901 #endif
 902 1:      bl      preempt_schedule_irq
 903         CURRENT_THREAD_INFO(r9, r1)
 904         lwz     r3,TI_FLAGS(r9)
 905         andi.   r0,r3,_TIF_NEED_RESCHED
 906         bne-    1b
 907 #ifdef CONFIG_TRACE_IRQFLAGS
 908         /* And now, to properly rebalance the above, we tell lockdep they
 909          * are being turned back on, which will happen when we return
 910          */
 911         bl      trace_hardirqs_on
 912 #endif
 913 #endif /* CONFIG_PREEMPT */
 914
 915         /* interrupts are hard-disabled at this point */
 916 restore:
 917 #ifdef CONFIG_44x
 918 BEGIN_MMU_FTR_SECTION
 919         b       1f
 920 END_MMU_FTR_SECTION_IFSET(MMU_FTR_TYPE_47x)
 921         lis     r4,icache_44x_need_flush@ha
 922         lwz     r5,icache_44x_need_flush@l(r4)
 923         cmplwi  cr0,r5,0
 924         beq+    1f
 925         li      r6,0
 926         iccci   r0,r0
 927         stw     r6,icache_44x_need_flush@l(r4)
 928 1:
 929 #endif  /* CONFIG_44x */
 930
 931         lwz     r9,_MSR(r1)
 932 #ifdef CONFIG_TRACE_IRQFLAGS
 933         /* Lockdep doesn't know about the fact that IRQs are temporarily turned
 934          * off in this assembly code while peeking at TI_FLAGS() and such. However
 935          * we need to inform it if the exception turned interrupts off, and we
 936          * are about to trun them back on.
 937          *
 938          * The problem here sadly is that we don't know whether the exceptions was
 939          * one that turned interrupts off or not. So we always tell lockdep about
 940          * turning them on here when we go back to wherever we came from with EE
 941          * on, even if that may meen some redudant calls being tracked. Maybe later
 942          * we could encode what the exception did somewhere or test the exception
 943          * type in the pt_regs but that sounds overkill
 944          */
 945         andi.   r10,r9,MSR_EE
 946         beq     1f
 947         /*
 948          * Since the ftrace irqsoff latency trace checks CALLER_ADDR1,
 949          * which is the stack frame here, we need to force a stack frame
 950          * in case we came from user space.
 951          */
 952         stwu    r1,-32(r1)
 953         mflr    r0
 954         stw     r0,4(r1)
 955         stwu    r1,-32(r1)
 956         bl      trace_hardirqs_on
 957         lwz     r1,0(r1)
 958         lwz     r1,0(r1)
 959         lwz     r9,_MSR(r1)
 960 1:
 961 #endif /* CONFIG_TRACE_IRQFLAGS */
 962
 963         lwz     r0,GPR0(r1)
 964         lwz     r2,GPR2(r1)
 965         REST_4GPRS(3, r1)
 966         REST_2GPRS(7, r1)
 967
 968         lwz     r10,_XER(r1)
 969         lwz     r11,_CTR(r1)
 970         mtspr   SPRN_XER,r10
 971         mtctr   r11
 972
 973         PPC405_ERR77(0,r1)
 974 BEGIN_FTR_SECTION
 975         lwarx   r11,0,r1
 976 END_FTR_SECTION_IFSET(CPU_FTR_NEED_PAIRED_STWCX)
 977         stwcx.  r0,0,r1                 /* to clear the reservation */
 978
 979 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
 980         andi.   r10,r9,MSR_RI           /* check if this exception occurred */
 981         beql    nonrecoverable          /* at a bad place (MSR:RI = 0) */
 982
 983         lwz     r10,_CCR(r1)
 984         lwz     r11,_LINK(r1)
 985         mtcrf   0xFF,r10
 986         mtlr    r11
 987
 988         /* Clear the exception_marker on the stack to avoid confusing stacktrace */
 989         li      r10, 0
 990         stw     r10, 8(r1)
 991         /*
 992          * Once we put values in SRR0 and SRR1, we are in a state
 993          * where exceptions are not recoverable, since taking an
 994          * exception will trash SRR0 and SRR1.  Therefore we clear the
 995          * MSR:RI bit to indicate this.  If we do take an exception,
 996          * we can't return to the point of the exception but we
 997          * can restart the exception exit path at the label
 998          * exc_exit_restart below.  -- paulus
 999          */
1000         LOAD_MSR_KERNEL(r10,MSR_KERNEL & ~MSR_RI)
1001         SYNC
1002         MTMSRD(r10)             /* clear the RI bit */
1003         .globl exc_exit_restart
1004 exc_exit_restart:
1005         lwz     r12,_NIP(r1)
1006 #if defined(CONFIG_PPC_8xx) && defined(CONFIG_PERF_EVENTS)
1007         mtspr   SPRN_NRI, r0
1008 #endif
1009         mtspr   SPRN_SRR0,r12
1010         mtspr   SPRN_SRR1,r9
1011         REST_4GPRS(9, r1)
1012         lwz     r1,GPR1(r1)
1013         .globl exc_exit_restart_end
1014 exc_exit_restart_end:
1015         SYNC
1016         RFI
1017
1018 #else /* !(CONFIG_4xx || CONFIG_BOOKE) */
1019         /*
1020          * This is a bit different on 4xx/Book-E because it doesn't have
1021          * the RI bit in the MSR.
1022          * The TLB miss handler checks if we have interrupted
1023          * the exception exit path and restarts it if so
1024          * (well maybe one day it will... :).
1025          */
1026         lwz     r11,_LINK(r1)
1027         mtlr    r11
1028         lwz     r10,_CCR(r1)
1029         mtcrf   0xff,r10
1030         /* Clear the exception_marker on the stack to avoid confusing stacktrace */
1031         li      r10, 0
1032         stw     r10, 8(r1)
1033         REST_2GPRS(9, r1)
1034         .globl exc_exit_restart
1035 exc_exit_restart:
1036         lwz     r11,_NIP(r1)
1037         lwz     r12,_MSR(r1)
1038 exc_exit_start:
1039         mtspr   SPRN_SRR0,r11
1040         mtspr   SPRN_SRR1,r12
1041         REST_2GPRS(11, r1)
1042         lwz     r1,GPR1(r1)
1043         .globl exc_exit_restart_end
1044 exc_exit_restart_end:
1045         PPC405_ERR77_SYNC
1046         rfi
1047         b       .                       /* prevent prefetch past rfi */
1048
1049 /*
1050  * Returning from a critical interrupt in user mode doesn't need
1051  * to be any different from a normal exception.  For a critical
1052  * interrupt in the kernel, we just return (without checking for
1053  * preemption) since the interrupt may have happened at some crucial
1054  * place (e.g. inside the TLB miss handler), and because we will be
1055  * running with r1 pointing into critical_stack, not the current
1056  * process's kernel stack (and therefore current_thread_info() will
1057  * give the wrong answer).
1058  * We have to restore various SPRs that may have been in use at the
1059  * time of the critical interrupt.
1060  *
1061  */
1062 #ifdef CONFIG_40x
1063 #define PPC_40x_TURN_OFF_MSR_DR                                             \
1064         /* avoid any possible TLB misses here by turning off MSR.DR, we     \
1065          * assume the instructions here are mapped by a pinned TLB entry */ \
1066         li      r10,MSR_IR;                                                 \
1067         mtmsr   r10;                                                        \
1068         isync;                                                              \
1069         tophys(r1, r1);
1070 #else
1071 #define PPC_40x_TURN_OFF_MSR_DR
1072 #endif
1073
1074 #define RET_FROM_EXC_LEVEL(exc_lvl_srr0, exc_lvl_srr1, exc_lvl_rfi)     \
1075         REST_NVGPRS(r1);                                                \
1076         lwz     r3,_MSR(r1);                                            \
1077         andi.   r3,r3,MSR_PR;                                           \
1078         LOAD_MSR_KERNEL(r10,MSR_KERNEL);                                \
1079         bne     user_exc_return;                                        \
1080         lwz     r0,GPR0(r1);                                            \
1081         lwz     r2,GPR2(r1);                                            \
1082         REST_4GPRS(3, r1);                                              \
1083         REST_2GPRS(7, r1);                                              \
1084         lwz     r10,_XER(r1);                                           \
1085         lwz     r11,_CTR(r1);                                           \
1086         mtspr   SPRN_XER,r10;                                           \
1087         mtctr   r11;                                                    \
1088         PPC405_ERR77(0,r1);                                             \
1089         stwcx.  r0,0,r1;                /* to clear the reservation */  \
1090         lwz     r11,_LINK(r1);                                          \
1091         mtlr    r11;                                                    \
1092         lwz     r10,_CCR(r1);                                           \
1093         mtcrf   0xff,r10;                                               \
1094         PPC_40x_TURN_OFF_MSR_DR;                                        \
1095         lwz     r9,_DEAR(r1);                                           \
1096         lwz     r10,_ESR(r1);                                           \
1097         mtspr   SPRN_DEAR,r9;                                           \
1098         mtspr   SPRN_ESR,r10;                                           \
1099         lwz     r11,_NIP(r1);                                           \
1100         lwz     r12,_MSR(r1);                                           \
1101         mtspr   exc_lvl_srr0,r11;                                       \
1102         mtspr   exc_lvl_srr1,r12;                                       \
1103         lwz     r9,GPR9(r1);                                            \
1104         lwz     r12,GPR12(r1);                                          \
1105         lwz     r10,GPR10(r1);                                          \
1106         lwz     r11,GPR11(r1);                                          \
1107         lwz     r1,GPR1(r1);                                            \
1108         PPC405_ERR77_SYNC;                                              \
1109         exc_lvl_rfi;                                                    \
1110         b       .;              /* prevent prefetch past exc_lvl_rfi */
1111
1112 #define RESTORE_xSRR(exc_lvl_srr0, exc_lvl_srr1)                        \
1113         lwz     r9,_##exc_lvl_srr0(r1);                                 \
1114         lwz     r10,_##exc_lvl_srr1(r1);                                \
1115         mtspr   SPRN_##exc_lvl_srr0,r9;                                 \
1116         mtspr   SPRN_##exc_lvl_srr1,r10;
1117
1118 #if defined(CONFIG_PPC_BOOK3E_MMU)
1119 #ifdef CONFIG_PHYS_64BIT
1120 #define RESTORE_MAS7                                                    \
1121         lwz     r11,MAS7(r1);                                           \
1122         mtspr   SPRN_MAS7,r11;
1123 #else
1124 #define RESTORE_MAS7
1125 #endif /* CONFIG_PHYS_64BIT */
1126 #define RESTORE_MMU_REGS                                                \
1127         lwz     r9,MAS0(r1);                                            \
1128         lwz     r10,MAS1(r1);                                           \
1129         lwz     r11,MAS2(r1);                                           \
1130         mtspr   SPRN_MAS0,r9;                                           \
1131         lwz     r9,MAS3(r1);                                            \
1132         mtspr   SPRN_MAS1,r10;                                          \
1133         lwz     r10,MAS6(r1);                                           \
1134         mtspr   SPRN_MAS2,r11;                                          \
1135         mtspr   SPRN_MAS3,r9;                                           \
1136         mtspr   SPRN_MAS6,r10;                                          \
1137         RESTORE_MAS7;
1138 #elif defined(CONFIG_44x)
1139 #define RESTORE_MMU_REGS                                                \
1140         lwz     r9,MMUCR(r1);                                           \
1141         mtspr   SPRN_MMUCR,r9;
1142 #else
1143 #define RESTORE_MMU_REGS
1144 #endif
1145
1146 #ifdef CONFIG_40x
1147         .globl  ret_from_crit_exc
1148 ret_from_crit_exc:
1149         mfspr   r9,SPRN_SPRG_THREAD
1150         lis     r10,saved_ksp_limit@ha;
1151         lwz     r10,saved_ksp_limit@l(r10);
1152         tovirt(r9,r9);
1153         stw     r10,KSP_LIMIT(r9)
1154         lis     r9,crit_srr0@ha;
1155         lwz     r9,crit_srr0@l(r9);
1156         lis     r10,crit_srr1@ha;
1157         lwz     r10,crit_srr1@l(r10);
1158         mtspr   SPRN_SRR0,r9;
1159         mtspr   SPRN_SRR1,r10;
1160         RET_FROM_EXC_LEVEL(SPRN_CSRR0, SPRN_CSRR1, PPC_RFCI)
1161 #endif /* CONFIG_40x */
1162
1163 #ifdef CONFIG_BOOKE
1164         .globl  ret_from_crit_exc
1165 ret_from_crit_exc:
1166         mfspr   r9,SPRN_SPRG_THREAD
1167         lwz     r10,SAVED_KSP_LIMIT(r1)
1168         stw     r10,KSP_LIMIT(r9)
1169         RESTORE_xSRR(SRR0,SRR1);
1170         RESTORE_MMU_REGS;
1171         RET_FROM_EXC_LEVEL(SPRN_CSRR0, SPRN_CSRR1, PPC_RFCI)
1172
1173         .globl  ret_from_debug_exc
1174 ret_from_debug_exc:
1175         mfspr   r9,SPRN_SPRG_THREAD
1176         lwz     r10,SAVED_KSP_LIMIT(r1)
1177         stw     r10,KSP_LIMIT(r9)
1178         lwz     r9,THREAD_INFO-THREAD(r9)
1179         CURRENT_THREAD_INFO(r10, r1)
1180         lwz     r10,TI_PREEMPT(r10)
1181         stw     r10,TI_PREEMPT(r9)
1182         RESTORE_xSRR(SRR0,SRR1);
1183         RESTORE_xSRR(CSRR0,CSRR1);
1184         RESTORE_MMU_REGS;
1185         RET_FROM_EXC_LEVEL(SPRN_DSRR0, SPRN_DSRR1, PPC_RFDI)
1186
1187         .globl  ret_from_mcheck_exc
1188 ret_from_mcheck_exc:
1189         mfspr   r9,SPRN_SPRG_THREAD
1190         lwz     r10,SAVED_KSP_LIMIT(r1)
1191         stw     r10,KSP_LIMIT(r9)
1192         RESTORE_xSRR(SRR0,SRR1);
1193         RESTORE_xSRR(CSRR0,CSRR1);
1194         RESTORE_xSRR(DSRR0,DSRR1);
1195         RESTORE_MMU_REGS;
1196         RET_FROM_EXC_LEVEL(SPRN_MCSRR0, SPRN_MCSRR1, PPC_RFMCI)
1197 #endif /* CONFIG_BOOKE */
1198
1199 /*
1200  * Load the DBCR0 value for a task that is being ptraced,
1201  * having first saved away the global DBCR0.  Note that r0
1202  * has the dbcr0 value to set upon entry to this.
1203  */
1204 load_dbcr0:
1205         mfmsr   r10             /* first disable debug exceptions */
1206         rlwinm  r10,r10,0,~MSR_DE
1207         mtmsr   r10
1208         isync
1209         mfspr   r10,SPRN_DBCR0
1210         lis     r11,global_dbcr0@ha
1211         addi    r11,r11,global_dbcr0@l
1212 #ifdef CONFIG_SMP
1213         CURRENT_THREAD_INFO(r9, r1)
1214         lwz     r9,TI_CPU(r9)
1215         slwi    r9,r9,3
1216         add     r11,r11,r9
1217 #endif
1218         stw     r10,0(r11)
1219         mtspr   SPRN_DBCR0,r0
1220         lwz     r10,4(r11)
1221         addi    r10,r10,1
1222         stw     r10,4(r11)
1223         li      r11,-1
1224         mtspr   SPRN_DBSR,r11   /* clear all pending debug events */
1225         blr
1226
1227         .section .bss
1228         .align  4
1229 global_dbcr0:
1230         .space  8*NR_CPUS
1231         .previous
1232 #endif /* !(CONFIG_4xx || CONFIG_BOOKE) */
1233
1234 do_work:                        /* r10 contains MSR_KERNEL here */
1235         andi.   r0,r9,_TIF_NEED_RESCHED
1236         beq     do_user_signal
1237
1238 do_resched:                     /* r10 contains MSR_KERNEL here */
1239         /* Note: We don't need to inform lockdep that we are enabling
1240          * interrupts here. As far as it knows, they are already enabled
1241          */
1242         ori     r10,r10,MSR_EE
1243         SYNC
1244         MTMSRD(r10)             /* hard-enable interrupts */
1245         bl      schedule
1246 recheck:
1247         /* Note: And we don't tell it we are disabling them again
1248          * neither. Those disable/enable cycles used to peek at
1249          * TI_FLAGS aren't advertised.
1250          */
1251         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
1252         SYNC
1253         MTMSRD(r10)             /* disable interrupts */
1254         CURRENT_THREAD_INFO(r9, r1)
1255         lwz     r9,TI_FLAGS(r9)
1256         andi.   r0,r9,_TIF_NEED_RESCHED
1257         bne-    do_resched
1258         andi.   r0,r9,_TIF_USER_WORK_MASK
1259         beq     restore_user
1260 do_user_signal:                 /* r10 contains MSR_KERNEL here */
1261         ori     r10,r10,MSR_EE
1262         SYNC
1263         MTMSRD(r10)             /* hard-enable interrupts */
1264         /* save r13-r31 in the exception frame, if not already done */
1265         lwz     r3,_TRAP(r1)
1266         andi.   r0,r3,1
1267         beq     2f
1268         SAVE_NVGPRS(r1)
1269         rlwinm  r3,r3,0,0,30
1270         stw     r3,_TRAP(r1)
1271 2:      addi    r3,r1,STACK_FRAME_OVERHEAD
1272         mr      r4,r9
1273         bl      do_notify_resume
1274         REST_NVGPRS(r1)
1275         b       recheck
1276
1277 /*
1278  * We come here when we are at the end of handling an exception
1279  * that occurred at a place where taking an exception will lose
1280  * state information, such as the contents of SRR0 and SRR1.
1281  */
1282 nonrecoverable:
1283         lis     r10,exc_exit_restart_end@ha
1284         addi    r10,r10,exc_exit_restart_end@l
1285         cmplw   r12,r10
1286         bge     3f
1287         lis     r11,exc_exit_restart@ha
1288         addi    r11,r11,exc_exit_restart@l
1289         cmplw   r12,r11
1290         blt     3f
1291         lis     r10,ee_restarts@ha
1292         lwz     r12,ee_restarts@l(r10)
1293         addi    r12,r12,1
1294         stw     r12,ee_restarts@l(r10)
1295         mr      r12,r11         /* restart at exc_exit_restart */
1296         blr
1297 3:      /* OK, we can't recover, kill this process */
1298         /* but the 601 doesn't implement the RI bit, so assume it's OK */
1299 BEGIN_FTR_SECTION
1300         blr
1301 END_FTR_SECTION_IFSET(CPU_FTR_601)
1302         lwz     r3,_TRAP(r1)
1303         andi.   r0,r3,1
1304         beq     4f
1305         SAVE_NVGPRS(r1)
1306         rlwinm  r3,r3,0,0,30
1307         stw     r3,_TRAP(r1)
1308 4:      addi    r3,r1,STACK_FRAME_OVERHEAD
1309         bl      nonrecoverable_exception
1310         /* shouldn't return */
1311         b       4b
1312
1313         .section .bss
1314         .align  2
1315 ee_restarts:
1316         .space  4
1317         .previous
1318
1319 /*
1320  * PROM code for specific machines follows.  Put it
1321  * here so it's easy to add arch-specific sections later.
1322  * -- Cort
1323  */
1324 #ifdef CONFIG_PPC_RTAS
1325 /*
1326  * On CHRP, the Run-Time Abstraction Services (RTAS) have to be
1327  * called with the MMU off.
1328  */
1329 _GLOBAL(enter_rtas)
1330         stwu    r1,-INT_FRAME_SIZE(r1)
1331         mflr    r0
1332         stw     r0,INT_FRAME_SIZE+4(r1)
1333         LOAD_REG_ADDR(r4, rtas)
1334         lis     r6,1f@ha        /* physical return address for rtas */
1335         addi    r6,r6,1f@l
1336         tophys(r6,r6)
1337         tophys(r7,r1)
1338         lwz     r8,RTASENTRY(r4)
1339         lwz     r4,RTASBASE(r4)
1340         mfmsr   r9
1341         stw     r9,8(r1)
1342         LOAD_MSR_KERNEL(r0,MSR_KERNEL)
1343         SYNC                    /* disable interrupts so SRR0/1 */
1344         MTMSRD(r0)              /* don't get trashed */
1345         li      r9,MSR_KERNEL & ~(MSR_IR|MSR_DR)
1346         mtlr    r6
1347         mtspr   SPRN_SPRG_RTAS,r7
1348         mtspr   SPRN_SRR0,r8
1349         mtspr   SPRN_SRR1,r9
1350         RFI
1351 1:      tophys(r9,r1)
1352         lwz     r8,INT_FRAME_SIZE+4(r9) /* get return address */
1353         lwz     r9,8(r9)        /* original msr value */
1354         addi    r1,r1,INT_FRAME_SIZE
1355         li      r0,0
1356         mtspr   SPRN_SPRG_RTAS,r0
1357         mtspr   SPRN_SRR0,r8
1358         mtspr   SPRN_SRR1,r9
1359         RFI                     /* return to caller */
1360
1361         .globl  machine_check_in_rtas
1362 machine_check_in_rtas:
1363         twi     31,0,0
1364         /* XXX load up BATs and panic */
1365
1366 #endif /* CONFIG_PPC_RTAS */