drivers/crypto/s5p-sss.c

   1 /*
   2  * Cryptographic API.
   3  *
   4  * Support for Samsung S5PV210 HW acceleration.
   5  *
   6  * Copyright (C) 2011 NetUP Inc. All rights reserved.
   7  *
   8  * This program is free software; you can redistribute it and/or modify
   9  * it under the terms of the GNU General Public License version 2 as published
  10  * by the Free Software Foundation.
  11  *
  12  */
  13
  14 #include <linux/clk.h>
  15 #include <linux/crypto.h>
  16 #include <linux/dma-mapping.h>
  17 #include <linux/err.h>
  18 #include <linux/errno.h>
  19 #include <linux/init.h>
  20 #include <linux/interrupt.h>
  21 #include <linux/io.h>
  22 #include <linux/kernel.h>
  23 #include <linux/module.h>
  24 #include <linux/of.h>
  25 #include <linux/platform_device.h>
  26 #include <linux/scatterlist.h>
  27
  28 #include <crypto/ctr.h>
  29 #include <crypto/aes.h>
  30 #include <crypto/algapi.h>
  31 #include <crypto/scatterwalk.h>
  32
  33 #define _SBF(s, v)                      ((v) << (s))
  34
  35 /* Feed control registers */
  36 #define SSS_REG_FCINTSTAT               0x0000
  37 #define SSS_FCINTSTAT_BRDMAINT          BIT(3)
  38 #define SSS_FCINTSTAT_BTDMAINT          BIT(2)
  39 #define SSS_FCINTSTAT_HRDMAINT          BIT(1)
  40 #define SSS_FCINTSTAT_PKDMAINT          BIT(0)
  41
  42 #define SSS_REG_FCINTENSET              0x0004
  43 #define SSS_FCINTENSET_BRDMAINTENSET    BIT(3)
  44 #define SSS_FCINTENSET_BTDMAINTENSET    BIT(2)
  45 #define SSS_FCINTENSET_HRDMAINTENSET    BIT(1)
  46 #define SSS_FCINTENSET_PKDMAINTENSET    BIT(0)
  47
  48 #define SSS_REG_FCINTENCLR              0x0008
  49 #define SSS_FCINTENCLR_BRDMAINTENCLR    BIT(3)
  50 #define SSS_FCINTENCLR_BTDMAINTENCLR    BIT(2)
  51 #define SSS_FCINTENCLR_HRDMAINTENCLR    BIT(1)
  52 #define SSS_FCINTENCLR_PKDMAINTENCLR    BIT(0)
  53
  54 #define SSS_REG_FCINTPEND               0x000C
  55 #define SSS_FCINTPEND_BRDMAINTP         BIT(3)
  56 #define SSS_FCINTPEND_BTDMAINTP         BIT(2)
  57 #define SSS_FCINTPEND_HRDMAINTP         BIT(1)
  58 #define SSS_FCINTPEND_PKDMAINTP         BIT(0)
  59
  60 #define SSS_REG_FCFIFOSTAT              0x0010
  61 #define SSS_FCFIFOSTAT_BRFIFOFUL        BIT(7)
  62 #define SSS_FCFIFOSTAT_BRFIFOEMP        BIT(6)
  63 #define SSS_FCFIFOSTAT_BTFIFOFUL        BIT(5)
  64 #define SSS_FCFIFOSTAT_BTFIFOEMP        BIT(4)
  65 #define SSS_FCFIFOSTAT_HRFIFOFUL        BIT(3)
  66 #define SSS_FCFIFOSTAT_HRFIFOEMP        BIT(2)
  67 #define SSS_FCFIFOSTAT_PKFIFOFUL        BIT(1)
  68 #define SSS_FCFIFOSTAT_PKFIFOEMP        BIT(0)
  69
  70 #define SSS_REG_FCFIFOCTRL              0x0014
  71 #define SSS_FCFIFOCTRL_DESSEL           BIT(2)
  72 #define SSS_HASHIN_INDEPENDENT          _SBF(0, 0x00)
  73 #define SSS_HASHIN_CIPHER_INPUT         _SBF(0, 0x01)
  74 #define SSS_HASHIN_CIPHER_OUTPUT        _SBF(0, 0x02)
  75
  76 #define SSS_REG_FCBRDMAS                0x0020
  77 #define SSS_REG_FCBRDMAL                0x0024
  78 #define SSS_REG_FCBRDMAC                0x0028
  79 #define SSS_FCBRDMAC_BYTESWAP           BIT(1)
  80 #define SSS_FCBRDMAC_FLUSH              BIT(0)
  81
  82 #define SSS_REG_FCBTDMAS                0x0030
  83 #define SSS_REG_FCBTDMAL                0x0034
  84 #define SSS_REG_FCBTDMAC                0x0038
  85 #define SSS_FCBTDMAC_BYTESWAP           BIT(1)
  86 #define SSS_FCBTDMAC_FLUSH              BIT(0)
  87
  88 #define SSS_REG_FCHRDMAS                0x0040
  89 #define SSS_REG_FCHRDMAL                0x0044
  90 #define SSS_REG_FCHRDMAC                0x0048
  91 #define SSS_FCHRDMAC_BYTESWAP           BIT(1)
  92 #define SSS_FCHRDMAC_FLUSH              BIT(0)
  93
  94 #define SSS_REG_FCPKDMAS                0x0050
  95 #define SSS_REG_FCPKDMAL                0x0054
  96 #define SSS_REG_FCPKDMAC                0x0058
  97 #define SSS_FCPKDMAC_BYTESWAP           BIT(3)
  98 #define SSS_FCPKDMAC_DESCEND            BIT(2)
  99 #define SSS_FCPKDMAC_TRANSMIT           BIT(1)
 100 #define SSS_FCPKDMAC_FLUSH              BIT(0)
 101
 102 #define SSS_REG_FCPKDMAO                0x005C
 103
 104 /* AES registers */
 105 #define SSS_REG_AES_CONTROL             0x00
 106 #define SSS_AES_BYTESWAP_DI             BIT(11)
 107 #define SSS_AES_BYTESWAP_DO             BIT(10)
 108 #define SSS_AES_BYTESWAP_IV             BIT(9)
 109 #define SSS_AES_BYTESWAP_CNT            BIT(8)
 110 #define SSS_AES_BYTESWAP_KEY            BIT(7)
 111 #define SSS_AES_KEY_CHANGE_MODE         BIT(6)
 112 #define SSS_AES_KEY_SIZE_128            _SBF(4, 0x00)
 113 #define SSS_AES_KEY_SIZE_192            _SBF(4, 0x01)
 114 #define SSS_AES_KEY_SIZE_256            _SBF(4, 0x02)
 115 #define SSS_AES_FIFO_MODE               BIT(3)
 116 #define SSS_AES_CHAIN_MODE_ECB          _SBF(1, 0x00)
 117 #define SSS_AES_CHAIN_MODE_CBC          _SBF(1, 0x01)
 118 #define SSS_AES_CHAIN_MODE_CTR          _SBF(1, 0x02)
 119 #define SSS_AES_MODE_DECRYPT            BIT(0)
 120
 121 #define SSS_REG_AES_STATUS              0x04
 122 #define SSS_AES_BUSY                    BIT(2)
 123 #define SSS_AES_INPUT_READY             BIT(1)
 124 #define SSS_AES_OUTPUT_READY            BIT(0)
 125
 126 #define SSS_REG_AES_IN_DATA(s)          (0x10 + (s << 2))
 127 #define SSS_REG_AES_OUT_DATA(s)         (0x20 + (s << 2))
 128 #define SSS_REG_AES_IV_DATA(s)          (0x30 + (s << 2))
 129 #define SSS_REG_AES_CNT_DATA(s)         (0x40 + (s << 2))
 130 #define SSS_REG_AES_KEY_DATA(s)         (0x80 + (s << 2))
 131
 132 #define SSS_REG(dev, reg)               ((dev)->ioaddr + (SSS_REG_##reg))
 133 #define SSS_READ(dev, reg)              __raw_readl(SSS_REG(dev, reg))
 134 #define SSS_WRITE(dev, reg, val)        __raw_writel((val), SSS_REG(dev, reg))
 135
 136 #define SSS_AES_REG(dev, reg)           ((dev)->aes_ioaddr + SSS_REG_##reg)
 137 #define SSS_AES_WRITE(dev, reg, val)    __raw_writel((val), \
 138                                                 SSS_AES_REG(dev, reg))
 139
 140 /* HW engine modes */
 141 #define FLAGS_AES_DECRYPT               BIT(0)
 142 #define FLAGS_AES_MODE_MASK             _SBF(1, 0x03)
 143 #define FLAGS_AES_CBC                   _SBF(1, 0x01)
 144 #define FLAGS_AES_CTR                   _SBF(1, 0x02)
 145
 146 #define AES_KEY_LEN         16
 147 #define CRYPTO_QUEUE_LEN    1
 148
 149 /**
 150  * struct samsung_aes_variant - platform specific SSS driver data
 151  * @aes_offset: AES register offset from SSS module's base.
 152  *
 153  * Specifies platform specific configuration of SSS module.
 154  * Note: A structure for driver specific platform data is used for future
 155  * expansion of its usage.
 156  */
 157 struct samsung_aes_variant {
 158         unsigned int                    aes_offset;
 159 };
 160
 161 struct s5p_aes_reqctx {
 162         unsigned long                   mode;
 163 };
 164
 165 struct s5p_aes_ctx {
 166         struct s5p_aes_dev              *dev;
 167
 168         uint8_t                         aes_key[AES_MAX_KEY_SIZE];
 169         uint8_t                         nonce[CTR_RFC3686_NONCE_SIZE];
 170         int                             keylen;
 171 };
 172
 173 struct s5p_aes_dev {
 174         struct device                   *dev;
 175         struct clk                      *clk;
 176         void __iomem                    *ioaddr;
 177         void __iomem                    *aes_ioaddr;
 178         int                             irq_fc;
 179
 180         struct ablkcipher_request       *req;
 181         struct s5p_aes_ctx              *ctx;
 182         struct scatterlist              *sg_src;
 183         struct scatterlist              *sg_dst;
 184
 185         /* In case of unaligned access: */
 186         struct scatterlist              *sg_src_cpy;
 187         struct scatterlist              *sg_dst_cpy;
 188
 189         struct tasklet_struct           tasklet;
 190         struct crypto_queue             queue;
 191         bool                            busy;
 192         spinlock_t                      lock;
 193
 194         struct samsung_aes_variant      *variant;
 195 };
 196
 197 static struct s5p_aes_dev *s5p_dev;
 198
 199 static const struct samsung_aes_variant s5p_aes_data = {
 200         .aes_offset     = 0x4000,
 201 };
 202
 203 static const struct samsung_aes_variant exynos_aes_data = {
 204         .aes_offset     = 0x200,
 205 };
 206
 207 static const struct of_device_id s5p_sss_dt_match[] = {
 208         {
 209                 .compatible = "samsung,s5pv210-secss",
 210                 .data = &s5p_aes_data,
 211         },
 212         {
 213                 .compatible = "samsung,exynos4210-secss",
 214                 .data = &exynos_aes_data,
 215         },
 216         { },
 217 };
 218 MODULE_DEVICE_TABLE(of, s5p_sss_dt_match);
 219
 220 static inline struct samsung_aes_variant *find_s5p_sss_version
 221                                    (struct platform_device *pdev)
 222 {
 223         if (IS_ENABLED(CONFIG_OF) && (pdev->dev.of_node)) {
 224                 const struct of_device_id *match;
 225
 226                 match = of_match_node(s5p_sss_dt_match,
 227                                         pdev->dev.of_node);
 228                 return (struct samsung_aes_variant *)match->data;
 229         }
 230         return (struct samsung_aes_variant *)
 231                         platform_get_device_id(pdev)->driver_data;
 232 }
 233
 234 static void s5p_set_dma_indata(struct s5p_aes_dev *dev, struct scatterlist *sg)
 235 {
 236         SSS_WRITE(dev, FCBRDMAS, sg_dma_address(sg));
 237         SSS_WRITE(dev, FCBRDMAL, sg_dma_len(sg));
 238 }
 239
 240 static void s5p_set_dma_outdata(struct s5p_aes_dev *dev, struct scatterlist *sg)
 241 {
 242         SSS_WRITE(dev, FCBTDMAS, sg_dma_address(sg));
 243         SSS_WRITE(dev, FCBTDMAL, sg_dma_len(sg));
 244 }
 245
 246 static void s5p_free_sg_cpy(struct s5p_aes_dev *dev, struct scatterlist **sg)
 247 {
 248         int len;
 249
 250         if (!*sg)
 251                 return;
 252
 253         len = ALIGN(dev->req->nbytes, AES_BLOCK_SIZE);
 254         free_pages((unsigned long)sg_virt(*sg), get_order(len));
 255
 256         kfree(*sg);
 257         *sg = NULL;
 258 }
 259
 260 static void s5p_sg_copy_buf(void *buf, struct scatterlist *sg,
 261                             unsigned int nbytes, int out)
 262 {
 263         struct scatter_walk walk;
 264
 265         if (!nbytes)
 266                 return;
 267
 268         scatterwalk_start(&walk, sg);
 269         scatterwalk_copychunks(buf, &walk, nbytes, out);
 270         scatterwalk_done(&walk, out, 0);
 271 }
 272
 273 static void s5p_aes_complete(struct s5p_aes_dev *dev, int err)
 274 {
 275         if (dev->sg_dst_cpy) {
 276                 dev_dbg(dev->dev,
 277                         "Copying %d bytes of output data back to original place\n",
 278                         dev->req->nbytes);
 279                 s5p_sg_copy_buf(sg_virt(dev->sg_dst_cpy), dev->req->dst,
 280                                 dev->req->nbytes, 1);
 281         }
 282         s5p_free_sg_cpy(dev, &dev->sg_src_cpy);
 283         s5p_free_sg_cpy(dev, &dev->sg_dst_cpy);
 284
 285         /* holding a lock outside */
 286         dev->req->base.complete(&dev->req->base, err);
 287         dev->busy = false;
 288 }
 289
 290 static void s5p_unset_outdata(struct s5p_aes_dev *dev)
 291 {
 292         dma_unmap_sg(dev->dev, dev->sg_dst, 1, DMA_FROM_DEVICE);
 293 }
 294
 295 static void s5p_unset_indata(struct s5p_aes_dev *dev)
 296 {
 297         dma_unmap_sg(dev->dev, dev->sg_src, 1, DMA_TO_DEVICE);
 298 }
 299
 300 static int s5p_make_sg_cpy(struct s5p_aes_dev *dev, struct scatterlist *src,
 301                            struct scatterlist **dst)
 302 {
 303         void *pages;
 304         int len;
 305
 306         *dst = kmalloc(sizeof(**dst), GFP_ATOMIC);
 307         if (!*dst)
 308                 return -ENOMEM;
 309
 310         len = ALIGN(dev->req->nbytes, AES_BLOCK_SIZE);
 311         pages = (void *)__get_free_pages(GFP_ATOMIC, get_order(len));
 312         if (!pages) {
 313                 kfree(*dst);
 314                 *dst = NULL;
 315                 return -ENOMEM;
 316         }
 317
 318         s5p_sg_copy_buf(pages, src, dev->req->nbytes, 0);
 319
 320         sg_init_table(*dst, 1);
 321         sg_set_buf(*dst, pages, len);
 322
 323         return 0;
 324 }
 325
 326 static int s5p_set_outdata(struct s5p_aes_dev *dev, struct scatterlist *sg)
 327 {
 328         int err;
 329
 330         if (!sg->length) {
 331                 err = -EINVAL;
 332                 goto exit;
 333         }
 334
 335         err = dma_map_sg(dev->dev, sg, 1, DMA_FROM_DEVICE);
 336         if (!err) {
 337                 err = -ENOMEM;
 338                 goto exit;
 339         }
 340
 341         dev->sg_dst = sg;
 342         err = 0;
 343
 344 exit:
 345         return err;
 346 }
 347
 348 static int s5p_set_indata(struct s5p_aes_dev *dev, struct scatterlist *sg)
 349 {
 350         int err;
 351
 352         if (!sg->length) {
 353                 err = -EINVAL;
 354                 goto exit;
 355         }
 356
 357         err = dma_map_sg(dev->dev, sg, 1, DMA_TO_DEVICE);
 358         if (!err) {
 359                 err = -ENOMEM;
 360                 goto exit;
 361         }
 362
 363         dev->sg_src = sg;
 364         err = 0;
 365
 366 exit:
 367         return err;
 368 }
 369
 370 /*
 371  * Returns true if new transmitting (output) data is ready and its
 372  * address+length have to be written to device (by calling
 373  * s5p_set_dma_outdata()). False otherwise.
 374  */
 375 static bool s5p_aes_tx(struct s5p_aes_dev *dev)
 376 {
 377         int err = 0;
 378         bool ret = false;
 379
 380         s5p_unset_outdata(dev);
 381
 382         if (!sg_is_last(dev->sg_dst)) {
 383                 err = s5p_set_outdata(dev, sg_next(dev->sg_dst));
 384                 if (err)
 385                         s5p_aes_complete(dev, err);
 386                 else
 387                         ret = true;
 388         } else {
 389                 s5p_aes_complete(dev, err);
 390
 391                 dev->busy = true;
 392                 tasklet_schedule(&dev->tasklet);
 393         }
 394
 395         return ret;
 396 }
 397
 398 /*
 399  * Returns true if new receiving (input) data is ready and its
 400  * address+length have to be written to device (by calling
 401  * s5p_set_dma_indata()). False otherwise.
 402  */
 403 static bool s5p_aes_rx(struct s5p_aes_dev *dev)
 404 {
 405         int err;
 406         bool ret = false;
 407
 408         s5p_unset_indata(dev);
 409
 410         if (!sg_is_last(dev->sg_src)) {
 411                 err = s5p_set_indata(dev, sg_next(dev->sg_src));
 412                 if (err)
 413                         s5p_aes_complete(dev, err);
 414                 else
 415                         ret = true;
 416         }
 417
 418         return ret;
 419 }
 420
 421 static irqreturn_t s5p_aes_interrupt(int irq, void *dev_id)
 422 {
 423         struct platform_device *pdev = dev_id;
 424         struct s5p_aes_dev *dev = platform_get_drvdata(pdev);
 425         bool set_dma_tx = false;
 426         bool set_dma_rx = false;
 427         unsigned long flags;
 428         uint32_t status;
 429
 430         spin_lock_irqsave(&dev->lock, flags);
 431
 432         status = SSS_READ(dev, FCINTSTAT);
 433         if (status & SSS_FCINTSTAT_BRDMAINT)
 434                 set_dma_rx = s5p_aes_rx(dev);
 435         if (status & SSS_FCINTSTAT_BTDMAINT)
 436                 set_dma_tx = s5p_aes_tx(dev);
 437
 438         SSS_WRITE(dev, FCINTPEND, status);
 439
 440         /*
 441          * Writing length of DMA block (either receiving or transmitting)
 442          * will start the operation immediately, so this should be done
 443          * at the end (even after clearing pending interrupts to not miss the
 444          * interrupt).
 445          */
 446         if (set_dma_tx)
 447                 s5p_set_dma_outdata(dev, dev->sg_dst);
 448         if (set_dma_rx)
 449                 s5p_set_dma_indata(dev, dev->sg_src);
 450
 451         spin_unlock_irqrestore(&dev->lock, flags);
 452
 453         return IRQ_HANDLED;
 454 }
 455
 456 static void s5p_set_aes(struct s5p_aes_dev *dev,
 457                         uint8_t *key, uint8_t *iv, unsigned int keylen)
 458 {
 459         void __iomem *keystart;
 460
 461         if (iv)
 462                 memcpy_toio(dev->aes_ioaddr + SSS_REG_AES_IV_DATA(0), iv, 0x10);
 463
 464         if (keylen == AES_KEYSIZE_256)
 465                 keystart = dev->aes_ioaddr + SSS_REG_AES_KEY_DATA(0);
 466         else if (keylen == AES_KEYSIZE_192)
 467                 keystart = dev->aes_ioaddr + SSS_REG_AES_KEY_DATA(2);
 468         else
 469                 keystart = dev->aes_ioaddr + SSS_REG_AES_KEY_DATA(4);
 470
 471         memcpy_toio(keystart, key, keylen);
 472 }
 473
 474 static bool s5p_is_sg_aligned(struct scatterlist *sg)
 475 {
 476         while (sg) {
 477                 if (!IS_ALIGNED(sg->length, AES_BLOCK_SIZE))
 478                         return false;
 479                 sg = sg_next(sg);
 480         }
 481
 482         return true;
 483 }
 484
 485 static int s5p_set_indata_start(struct s5p_aes_dev *dev,
 486                                 struct ablkcipher_request *req)
 487 {
 488         struct scatterlist *sg;
 489         int err;
 490
 491         dev->sg_src_cpy = NULL;
 492         sg = req->src;
 493         if (!s5p_is_sg_aligned(sg)) {
 494                 dev_dbg(dev->dev,
 495                         "At least one unaligned source scatter list, making a copy\n");
 496                 err = s5p_make_sg_cpy(dev, sg, &dev->sg_src_cpy);
 497                 if (err)
 498                         return err;
 499
 500                 sg = dev->sg_src_cpy;
 501         }
 502
 503         err = s5p_set_indata(dev, sg);
 504         if (err) {
 505                 s5p_free_sg_cpy(dev, &dev->sg_src_cpy);
 506                 return err;
 507         }
 508
 509         return 0;
 510 }
 511
 512 static int s5p_set_outdata_start(struct s5p_aes_dev *dev,
 513                                  struct ablkcipher_request *req)
 514 {
 515         struct scatterlist *sg;
 516         int err;
 517
 518         dev->sg_dst_cpy = NULL;
 519         sg = req->dst;
 520         if (!s5p_is_sg_aligned(sg)) {
 521                 dev_dbg(dev->dev,
 522                         "At least one unaligned dest scatter list, making a copy\n");
 523                 err = s5p_make_sg_cpy(dev, sg, &dev->sg_dst_cpy);
 524                 if (err)
 525                         return err;
 526
 527                 sg = dev->sg_dst_cpy;
 528         }
 529
 530         err = s5p_set_outdata(dev, sg);
 531         if (err) {
 532                 s5p_free_sg_cpy(dev, &dev->sg_dst_cpy);
 533                 return err;
 534         }
 535
 536         return 0;
 537 }
 538
 539 static void s5p_aes_crypt_start(struct s5p_aes_dev *dev, unsigned long mode)
 540 {
 541         struct ablkcipher_request *req = dev->req;
 542         uint32_t aes_control;
 543         unsigned long flags;
 544         int err;
 545         u8 *iv;
 546
 547         aes_control = SSS_AES_KEY_CHANGE_MODE;
 548         if (mode & FLAGS_AES_DECRYPT)
 549                 aes_control |= SSS_AES_MODE_DECRYPT;
 550
 551         if ((mode & FLAGS_AES_MODE_MASK) == FLAGS_AES_CBC) {
 552                 aes_control |= SSS_AES_CHAIN_MODE_CBC;
 553                 iv = req->info;
 554         } else if ((mode & FLAGS_AES_MODE_MASK) == FLAGS_AES_CTR) {
 555                 aes_control |= SSS_AES_CHAIN_MODE_CTR;
 556                 iv = req->info;
 557         } else {
 558                 iv = NULL; /* AES_ECB */
 559         }
 560
 561         if (dev->ctx->keylen == AES_KEYSIZE_192)
 562                 aes_control |= SSS_AES_KEY_SIZE_192;
 563         else if (dev->ctx->keylen == AES_KEYSIZE_256)
 564                 aes_control |= SSS_AES_KEY_SIZE_256;
 565
 566         aes_control |= SSS_AES_FIFO_MODE;
 567
 568         /* as a variant it is possible to use byte swapping on DMA side */
 569         aes_control |= SSS_AES_BYTESWAP_DI
 570                     |  SSS_AES_BYTESWAP_DO
 571                     |  SSS_AES_BYTESWAP_IV
 572                     |  SSS_AES_BYTESWAP_KEY
 573                     |  SSS_AES_BYTESWAP_CNT;
 574
 575         spin_lock_irqsave(&dev->lock, flags);
 576
 577         SSS_WRITE(dev, FCINTENCLR,
 578                   SSS_FCINTENCLR_BTDMAINTENCLR | SSS_FCINTENCLR_BRDMAINTENCLR);
 579         SSS_WRITE(dev, FCFIFOCTRL, 0x00);
 580
 581         err = s5p_set_indata_start(dev, req);
 582         if (err)
 583                 goto indata_error;
 584
 585         err = s5p_set_outdata_start(dev, req);
 586         if (err)
 587                 goto outdata_error;
 588
 589         SSS_AES_WRITE(dev, AES_CONTROL, aes_control);
 590         s5p_set_aes(dev, dev->ctx->aes_key, iv, dev->ctx->keylen);
 591
 592         s5p_set_dma_indata(dev,  dev->sg_src);
 593         s5p_set_dma_outdata(dev, dev->sg_dst);
 594
 595         SSS_WRITE(dev, FCINTENSET,
 596                   SSS_FCINTENSET_BTDMAINTENSET | SSS_FCINTENSET_BRDMAINTENSET);
 597
 598         spin_unlock_irqrestore(&dev->lock, flags);
 599
 600         return;
 601
 602 outdata_error:
 603         s5p_unset_indata(dev);
 604
 605 indata_error:
 606         s5p_aes_complete(dev, err);
 607         spin_unlock_irqrestore(&dev->lock, flags);
 608 }
 609
 610 static void s5p_tasklet_cb(unsigned long data)
 611 {
 612         struct s5p_aes_dev *dev = (struct s5p_aes_dev *)data;
 613         struct crypto_async_request *async_req, *backlog;
 614         struct s5p_aes_reqctx *reqctx;
 615         unsigned long flags;
 616
 617         spin_lock_irqsave(&dev->lock, flags);
 618         backlog   = crypto_get_backlog(&dev->queue);
 619         async_req = crypto_dequeue_request(&dev->queue);
 620
 621         if (!async_req) {
 622                 dev->busy = false;
 623                 spin_unlock_irqrestore(&dev->lock, flags);
 624                 return;
 625         }
 626         spin_unlock_irqrestore(&dev->lock, flags);
 627
 628         if (backlog)
 629                 backlog->complete(backlog, -EINPROGRESS);
 630
 631         dev->req = ablkcipher_request_cast(async_req);
 632         dev->ctx = crypto_tfm_ctx(dev->req->base.tfm);
 633         reqctx   = ablkcipher_request_ctx(dev->req);
 634
 635         s5p_aes_crypt_start(dev, reqctx->mode);
 636 }
 637
 638 static int s5p_aes_handle_req(struct s5p_aes_dev *dev,
 639                               struct ablkcipher_request *req)
 640 {
 641         unsigned long flags;
 642         int err;
 643
 644         spin_lock_irqsave(&dev->lock, flags);
 645         err = ablkcipher_enqueue_request(&dev->queue, req);
 646         if (dev->busy) {
 647                 spin_unlock_irqrestore(&dev->lock, flags);
 648                 goto exit;
 649         }
 650         dev->busy = true;
 651
 652         spin_unlock_irqrestore(&dev->lock, flags);
 653
 654         tasklet_schedule(&dev->tasklet);
 655
 656 exit:
 657         return err;
 658 }
 659
 660 static int s5p_aes_crypt(struct ablkcipher_request *req, unsigned long mode)
 661 {
 662         struct crypto_ablkcipher *tfm = crypto_ablkcipher_reqtfm(req);
 663         struct s5p_aes_reqctx *reqctx = ablkcipher_request_ctx(req);
 664         struct s5p_aes_ctx *ctx = crypto_ablkcipher_ctx(tfm);
 665         struct s5p_aes_dev *dev = ctx->dev;
 666
 667         if (!IS_ALIGNED(req->nbytes, AES_BLOCK_SIZE)) {
 668                 dev_err(dev->dev, "request size is not exact amount of AES blocks\n");
 669                 return -EINVAL;
 670         }
 671
 672         reqctx->mode = mode;
 673
 674         return s5p_aes_handle_req(dev, req);
 675 }
 676
 677 static int s5p_aes_setkey(struct crypto_ablkcipher *cipher,
 678                           const uint8_t *key, unsigned int keylen)
 679 {
 680         struct crypto_tfm *tfm = crypto_ablkcipher_tfm(cipher);
 681         struct s5p_aes_ctx *ctx = crypto_tfm_ctx(tfm);
 682
 683         if (keylen != AES_KEYSIZE_128 &&
 684             keylen != AES_KEYSIZE_192 &&
 685             keylen != AES_KEYSIZE_256)
 686                 return -EINVAL;
 687
 688         memcpy(ctx->aes_key, key, keylen);
 689         ctx->keylen = keylen;
 690
 691         return 0;
 692 }
 693
 694 static int s5p_aes_ecb_encrypt(struct ablkcipher_request *req)
 695 {
 696         return s5p_aes_crypt(req, 0);
 697 }
 698
 699 static int s5p_aes_ecb_decrypt(struct ablkcipher_request *req)
 700 {
 701         return s5p_aes_crypt(req, FLAGS_AES_DECRYPT);
 702 }
 703
 704 static int s5p_aes_cbc_encrypt(struct ablkcipher_request *req)
 705 {
 706         return s5p_aes_crypt(req, FLAGS_AES_CBC);
 707 }
 708
 709 static int s5p_aes_cbc_decrypt(struct ablkcipher_request *req)
 710 {
 711         return s5p_aes_crypt(req, FLAGS_AES_DECRYPT | FLAGS_AES_CBC);
 712 }
 713
 714 static int s5p_aes_cra_init(struct crypto_tfm *tfm)
 715 {
 716         struct s5p_aes_ctx *ctx = crypto_tfm_ctx(tfm);
 717
 718         ctx->dev = s5p_dev;
 719         tfm->crt_ablkcipher.reqsize = sizeof(struct s5p_aes_reqctx);
 720
 721         return 0;
 722 }
 723
 724 static struct crypto_alg algs[] = {
 725         {
 726                 .cra_name               = "ecb(aes)",
 727                 .cra_driver_name        = "ecb-aes-s5p",
 728                 .cra_priority           = 100,
 729                 .cra_flags              = CRYPTO_ALG_TYPE_ABLKCIPHER |
 730                                           CRYPTO_ALG_ASYNC |
 731                                           CRYPTO_ALG_KERN_DRIVER_ONLY,
 732                 .cra_blocksize          = AES_BLOCK_SIZE,
 733                 .cra_ctxsize            = sizeof(struct s5p_aes_ctx),
 734                 .cra_alignmask          = 0x0f,
 735                 .cra_type               = &crypto_ablkcipher_type,
 736                 .cra_module             = THIS_MODULE,
 737                 .cra_init               = s5p_aes_cra_init,
 738                 .cra_u.ablkcipher = {
 739                         .min_keysize    = AES_MIN_KEY_SIZE,
 740                         .max_keysize    = AES_MAX_KEY_SIZE,
 741                         .setkey         = s5p_aes_setkey,
 742                         .encrypt        = s5p_aes_ecb_encrypt,
 743                         .decrypt        = s5p_aes_ecb_decrypt,
 744                 }
 745         },
 746         {
 747                 .cra_name               = "cbc(aes)",
 748                 .cra_driver_name        = "cbc-aes-s5p",
 749                 .cra_priority           = 100,
 750                 .cra_flags              = CRYPTO_ALG_TYPE_ABLKCIPHER |
 751                                           CRYPTO_ALG_ASYNC |
 752                                           CRYPTO_ALG_KERN_DRIVER_ONLY,
 753                 .cra_blocksize          = AES_BLOCK_SIZE,
 754                 .cra_ctxsize            = sizeof(struct s5p_aes_ctx),
 755                 .cra_alignmask          = 0x0f,
 756                 .cra_type               = &crypto_ablkcipher_type,
 757                 .cra_module             = THIS_MODULE,
 758                 .cra_init               = s5p_aes_cra_init,
 759                 .cra_u.ablkcipher = {
 760                         .min_keysize    = AES_MIN_KEY_SIZE,
 761                         .max_keysize    = AES_MAX_KEY_SIZE,
 762                         .ivsize         = AES_BLOCK_SIZE,
 763                         .setkey         = s5p_aes_setkey,
 764                         .encrypt        = s5p_aes_cbc_encrypt,
 765                         .decrypt        = s5p_aes_cbc_decrypt,
 766                 }
 767         },
 768 };
 769
 770 static int s5p_aes_probe(struct platform_device *pdev)
 771 {
 772         struct device *dev = &pdev->dev;
 773         int i, j, err = -ENODEV;
 774         struct samsung_aes_variant *variant;
 775         struct s5p_aes_dev *pdata;
 776         struct resource *res;
 777
 778         if (s5p_dev)
 779                 return -EEXIST;
 780
 781         pdata = devm_kzalloc(dev, sizeof(*pdata), GFP_KERNEL);
 782         if (!pdata)
 783                 return -ENOMEM;
 784
 785         res = platform_get_resource(pdev, IORESOURCE_MEM, 0);
 786         pdata->ioaddr = devm_ioremap_resource(&pdev->dev, res);
 787         if (IS_ERR(pdata->ioaddr))
 788                 return PTR_ERR(pdata->ioaddr);
 789
 790         variant = find_s5p_sss_version(pdev);
 791
 792         pdata->clk = devm_clk_get(dev, "secss");
 793         if (IS_ERR(pdata->clk)) {
 794                 dev_err(dev, "failed to find secss clock source\n");
 795                 return -ENOENT;
 796         }
 797
 798         err = clk_prepare_enable(pdata->clk);
 799         if (err < 0) {
 800                 dev_err(dev, "Enabling SSS clk failed, err %d\n", err);
 801                 return err;
 802         }
 803
 804         spin_lock_init(&pdata->lock);
 805
 806         pdata->aes_ioaddr = pdata->ioaddr + variant->aes_offset;
 807
 808         pdata->irq_fc = platform_get_irq(pdev, 0);
 809         if (pdata->irq_fc < 0) {
 810                 err = pdata->irq_fc;
 811                 dev_warn(dev, "feed control interrupt is not available.\n");
 812                 goto err_irq;
 813         }
 814         err = devm_request_threaded_irq(dev, pdata->irq_fc, NULL,
 815                                         s5p_aes_interrupt, IRQF_ONESHOT,
 816                                         pdev->name, pdev);
 817         if (err < 0) {
 818                 dev_warn(dev, "feed control interrupt is not available.\n");
 819                 goto err_irq;
 820         }
 821
 822         pdata->busy = false;
 823         pdata->variant = variant;
 824         pdata->dev = dev;
 825         platform_set_drvdata(pdev, pdata);
 826         s5p_dev = pdata;
 827
 828         tasklet_init(&pdata->tasklet, s5p_tasklet_cb, (unsigned long)pdata);
 829         crypto_init_queue(&pdata->queue, CRYPTO_QUEUE_LEN);
 830
 831         for (i = 0; i < ARRAY_SIZE(algs); i++) {
 832                 err = crypto_register_alg(&algs[i]);
 833                 if (err)
 834                         goto err_algs;
 835         }
 836
 837         dev_info(dev, "s5p-sss driver registered\n");
 838
 839         return 0;
 840
 841 err_algs:
 842         dev_err(dev, "can't register '%s': %d\n", algs[i].cra_name, err);
 843
 844         for (j = 0; j < i; j++)
 845                 crypto_unregister_alg(&algs[j]);
 846
 847         tasklet_kill(&pdata->tasklet);
 848
 849 err_irq:
 850         clk_disable_unprepare(pdata->clk);
 851
 852         s5p_dev = NULL;
 853
 854         return err;
 855 }
 856
 857 static int s5p_aes_remove(struct platform_device *pdev)
 858 {
 859         struct s5p_aes_dev *pdata = platform_get_drvdata(pdev);
 860         int i;
 861
 862         if (!pdata)
 863                 return -ENODEV;
 864
 865         for (i = 0; i < ARRAY_SIZE(algs); i++)
 866                 crypto_unregister_alg(&algs[i]);
 867
 868         tasklet_kill(&pdata->tasklet);
 869
 870         clk_disable_unprepare(pdata->clk);
 871
 872         s5p_dev = NULL;
 873
 874         return 0;
 875 }
 876
 877 static struct platform_driver s5p_aes_crypto = {
 878         .probe  = s5p_aes_probe,
 879         .remove = s5p_aes_remove,
 880         .driver = {
 881                 .name   = "s5p-secss",
 882                 .of_match_table = s5p_sss_dt_match,
 883         },
 884 };
 885
 886 module_platform_driver(s5p_aes_crypto);
 887
 888 MODULE_DESCRIPTION("S5PV210 AES hw acceleration support.");
 889 MODULE_LICENSE("GPL v2");
 890 MODULE_AUTHOR("Vladimir Zapolskiy <vzapolskiy@gmail.com>");