drivers/block/virtio_blk.c

   1 //#define DEBUG
   2 #include <linux/spinlock.h>
   3 #include <linux/slab.h>
   4 #include <linux/blkdev.h>
   5 #include <linux/hdreg.h>
   6 #include <linux/module.h>
   7 #include <linux/mutex.h>
   8 #include <linux/interrupt.h>
   9 #include <linux/virtio.h>
  10 #include <linux/virtio_blk.h>
  11 #include <linux/scatterlist.h>
  12 #include <linux/string_helpers.h>
  13 #include <scsi/scsi_cmnd.h>
  14 #include <linux/idr.h>
  15 #include <linux/blk-mq.h>
  16 #include <linux/blk-mq-virtio.h>
  17 #include <linux/numa.h>
  18
  19 #define PART_BITS 4
  20 #define VQ_NAME_LEN 16
  21
  22 static int major;
  23 static DEFINE_IDA(vd_index_ida);
  24
  25 static struct workqueue_struct *virtblk_wq;
  26
  27 struct virtio_blk_vq {
  28         struct virtqueue *vq;
  29         spinlock_t lock;
  30         char name[VQ_NAME_LEN];
  31 } ____cacheline_aligned_in_smp;
  32
  33 struct virtio_blk {
  34         /*
  35          * This mutex must be held by anything that may run after
  36          * virtblk_remove() sets vblk->vdev to NULL.
  37          *
  38          * blk-mq, virtqueue processing, and sysfs attribute code paths are
  39          * shut down before vblk->vdev is set to NULL and therefore do not need
  40          * to hold this mutex.
  41          */
  42         struct mutex vdev_mutex;
  43         struct virtio_device *vdev;
  44
  45         /* The disk structure for the kernel. */
  46         struct gendisk *disk;
  47
  48         /* Block layer tags. */
  49         struct blk_mq_tag_set tag_set;
  50
  51         /* Process context for config space updates */
  52         struct work_struct config_work;
  53
  54         /*
  55          * Tracks references from block_device_operations open/release and
  56          * virtio_driver probe/remove so this object can be freed once no
  57          * longer in use.
  58          */
  59         refcount_t refs;
  60
  61         /* What host tells us, plus 2 for header & tailer. */
  62         unsigned int sg_elems;
  63
  64         /* Ida index - used to track minor number allocations. */
  65         int index;
  66
  67         /* num of vqs */
  68         int num_vqs;
  69         struct virtio_blk_vq *vqs;
  70 };
  71
  72 struct virtblk_req {
  73 #ifdef CONFIG_VIRTIO_BLK_SCSI
  74         struct scsi_request sreq;       /* for SCSI passthrough, must be first */
  75         u8 sense[SCSI_SENSE_BUFFERSIZE];
  76         struct virtio_scsi_inhdr in_hdr;
  77 #endif
  78         struct virtio_blk_outhdr out_hdr;
  79         u8 status;
  80         struct scatterlist sg[];
  81 };
  82
  83 static inline blk_status_t virtblk_result(struct virtblk_req *vbr)
  84 {
  85         switch (vbr->status) {
  86         case VIRTIO_BLK_S_OK:
  87                 return BLK_STS_OK;
  88         case VIRTIO_BLK_S_UNSUPP:
  89                 return BLK_STS_NOTSUPP;
  90         default:
  91                 return BLK_STS_IOERR;
  92         }
  93 }
  94
  95 /*
  96  * If this is a packet command we need a couple of additional headers.  Behind
  97  * the normal outhdr we put a segment with the scsi command block, and before
  98  * the normal inhdr we put the sense data and the inhdr with additional status
  99  * information.
 100  */
 101 #ifdef CONFIG_VIRTIO_BLK_SCSI
 102 static int virtblk_add_req_scsi(struct virtqueue *vq, struct virtblk_req *vbr,
 103                 struct scatterlist *data_sg, bool have_data)
 104 {
 105         struct scatterlist hdr, status, cmd, sense, inhdr, *sgs[6];
 106         unsigned int num_out = 0, num_in = 0;
 107
 108         sg_init_one(&hdr, &vbr->out_hdr, sizeof(vbr->out_hdr));
 109         sgs[num_out++] = &hdr;
 110         sg_init_one(&cmd, vbr->sreq.cmd, vbr->sreq.cmd_len);
 111         sgs[num_out++] = &cmd;
 112
 113         if (have_data) {
 114                 if (vbr->out_hdr.type & cpu_to_virtio32(vq->vdev, VIRTIO_BLK_T_OUT))
 115                         sgs[num_out++] = data_sg;
 116                 else
 117                         sgs[num_out + num_in++] = data_sg;
 118         }
 119
 120         sg_init_one(&sense, vbr->sense, SCSI_SENSE_BUFFERSIZE);
 121         sgs[num_out + num_in++] = &sense;
 122         sg_init_one(&inhdr, &vbr->in_hdr, sizeof(vbr->in_hdr));
 123         sgs[num_out + num_in++] = &inhdr;
 124         sg_init_one(&status, &vbr->status, sizeof(vbr->status));
 125         sgs[num_out + num_in++] = &status;
 126
 127         return virtqueue_add_sgs(vq, sgs, num_out, num_in, vbr, GFP_ATOMIC);
 128 }
 129
 130 static inline void virtblk_scsi_request_done(struct request *req)
 131 {
 132         struct virtblk_req *vbr = blk_mq_rq_to_pdu(req);
 133         struct virtio_blk *vblk = req->q->queuedata;
 134         struct scsi_request *sreq = &vbr->sreq;
 135
 136         sreq->resid_len = virtio32_to_cpu(vblk->vdev, vbr->in_hdr.residual);
 137         sreq->sense_len = virtio32_to_cpu(vblk->vdev, vbr->in_hdr.sense_len);
 138         sreq->result = virtio32_to_cpu(vblk->vdev, vbr->in_hdr.errors);
 139 }
 140
 141 static int virtblk_ioctl(struct block_device *bdev, fmode_t mode,
 142                              unsigned int cmd, unsigned long data)
 143 {
 144         struct gendisk *disk = bdev->bd_disk;
 145         struct virtio_blk *vblk = disk->private_data;
 146
 147         /*
 148          * Only allow the generic SCSI ioctls if the host can support it.
 149          */
 150         if (!virtio_has_feature(vblk->vdev, VIRTIO_BLK_F_SCSI))
 151                 return -ENOTTY;
 152
 153         return scsi_cmd_blk_ioctl(bdev, mode, cmd,
 154                                   (void __user *)data);
 155 }
 156 #else
 157 static inline int virtblk_add_req_scsi(struct virtqueue *vq,
 158                 struct virtblk_req *vbr, struct scatterlist *data_sg,
 159                 bool have_data)
 160 {
 161         return -EIO;
 162 }
 163 static inline void virtblk_scsi_request_done(struct request *req)
 164 {
 165 }
 166 #define virtblk_ioctl   NULL
 167 #endif /* CONFIG_VIRTIO_BLK_SCSI */
 168
 169 static int virtblk_add_req(struct virtqueue *vq, struct virtblk_req *vbr,
 170                 struct scatterlist *data_sg, bool have_data)
 171 {
 172         struct scatterlist hdr, status, *sgs[3];
 173         unsigned int num_out = 0, num_in = 0;
 174
 175         sg_init_one(&hdr, &vbr->out_hdr, sizeof(vbr->out_hdr));
 176         sgs[num_out++] = &hdr;
 177
 178         if (have_data) {
 179                 if (vbr->out_hdr.type & cpu_to_virtio32(vq->vdev, VIRTIO_BLK_T_OUT))
 180                         sgs[num_out++] = data_sg;
 181                 else
 182                         sgs[num_out + num_in++] = data_sg;
 183         }
 184
 185         sg_init_one(&status, &vbr->status, sizeof(vbr->status));
 186         sgs[num_out + num_in++] = &status;
 187
 188         return virtqueue_add_sgs(vq, sgs, num_out, num_in, vbr, GFP_ATOMIC);
 189 }
 190
 191 static inline void virtblk_request_done(struct request *req)
 192 {
 193         struct virtblk_req *vbr = blk_mq_rq_to_pdu(req);
 194
 195         switch (req_op(req)) {
 196         case REQ_OP_SCSI_IN:
 197         case REQ_OP_SCSI_OUT:
 198                 virtblk_scsi_request_done(req);
 199                 break;
 200         }
 201
 202         blk_mq_end_request(req, virtblk_result(vbr));
 203 }
 204
 205 static void virtblk_done(struct virtqueue *vq)
 206 {
 207         struct virtio_blk *vblk = vq->vdev->priv;
 208         bool req_done = false;
 209         int qid = vq->index;
 210         struct virtblk_req *vbr;
 211         unsigned long flags;
 212         unsigned int len;
 213
 214         spin_lock_irqsave(&vblk->vqs[qid].lock, flags);
 215         do {
 216                 virtqueue_disable_cb(vq);
 217                 while ((vbr = virtqueue_get_buf(vblk->vqs[qid].vq, &len)) != NULL) {
 218                         struct request *req = blk_mq_rq_from_pdu(vbr);
 219
 220                         blk_mq_complete_request(req);
 221                         req_done = true;
 222                 }
 223                 if (unlikely(virtqueue_is_broken(vq)))
 224                         break;
 225         } while (!virtqueue_enable_cb(vq));
 226
 227         /* In case queue is stopped waiting for more buffers. */
 228         if (req_done)
 229                 blk_mq_start_stopped_hw_queues(vblk->disk->queue, true);
 230         spin_unlock_irqrestore(&vblk->vqs[qid].lock, flags);
 231 }
 232
 233 static blk_status_t virtio_queue_rq(struct blk_mq_hw_ctx *hctx,
 234                            const struct blk_mq_queue_data *bd)
 235 {
 236         struct virtio_blk *vblk = hctx->queue->queuedata;
 237         struct request *req = bd->rq;
 238         struct virtblk_req *vbr = blk_mq_rq_to_pdu(req);
 239         unsigned long flags;
 240         unsigned int num;
 241         int qid = hctx->queue_num;
 242         int err;
 243         bool notify = false;
 244         u32 type;
 245
 246         BUG_ON(req->nr_phys_segments + 2 > vblk->sg_elems);
 247
 248         switch (req_op(req)) {
 249         case REQ_OP_READ:
 250         case REQ_OP_WRITE:
 251                 type = 0;
 252                 break;
 253         case REQ_OP_FLUSH:
 254                 type = VIRTIO_BLK_T_FLUSH;
 255                 break;
 256         case REQ_OP_SCSI_IN:
 257         case REQ_OP_SCSI_OUT:
 258                 type = VIRTIO_BLK_T_SCSI_CMD;
 259                 break;
 260         case REQ_OP_DRV_IN:
 261                 type = VIRTIO_BLK_T_GET_ID;
 262                 break;
 263         default:
 264                 WARN_ON_ONCE(1);
 265                 return BLK_STS_IOERR;
 266         }
 267
 268         vbr->out_hdr.type = cpu_to_virtio32(vblk->vdev, type);
 269         vbr->out_hdr.sector = type ?
 270                 0 : cpu_to_virtio64(vblk->vdev, blk_rq_pos(req));
 271         vbr->out_hdr.ioprio = cpu_to_virtio32(vblk->vdev, req_get_ioprio(req));
 272
 273         blk_mq_start_request(req);
 274
 275         num = blk_rq_map_sg(hctx->queue, req, vbr->sg);
 276         if (num) {
 277                 if (rq_data_dir(req) == WRITE)
 278                         vbr->out_hdr.type |= cpu_to_virtio32(vblk->vdev, VIRTIO_BLK_T_OUT);
 279                 else
 280                         vbr->out_hdr.type |= cpu_to_virtio32(vblk->vdev, VIRTIO_BLK_T_IN);
 281         }
 282
 283         spin_lock_irqsave(&vblk->vqs[qid].lock, flags);
 284         if (blk_rq_is_scsi(req))
 285                 err = virtblk_add_req_scsi(vblk->vqs[qid].vq, vbr, vbr->sg, num);
 286         else
 287                 err = virtblk_add_req(vblk->vqs[qid].vq, vbr, vbr->sg, num);
 288         if (err) {
 289                 virtqueue_kick(vblk->vqs[qid].vq);
 290                 /* Don't stop the queue if -ENOMEM: we may have failed to
 291                  * bounce the buffer due to global resource outage.
 292                  */
 293                 if (err == -ENOSPC)
 294                         blk_mq_stop_hw_queue(hctx);
 295                 spin_unlock_irqrestore(&vblk->vqs[qid].lock, flags);
 296                 switch (err) {
 297                 case -ENOSPC:
 298                         return BLK_STS_DEV_RESOURCE;
 299                 case -ENOMEM:
 300                         return BLK_STS_RESOURCE;
 301                 default:
 302                         return BLK_STS_IOERR;
 303                 }
 304         }
 305
 306         if (bd->last && virtqueue_kick_prepare(vblk->vqs[qid].vq))
 307                 notify = true;
 308         spin_unlock_irqrestore(&vblk->vqs[qid].lock, flags);
 309
 310         if (notify)
 311                 virtqueue_notify(vblk->vqs[qid].vq);
 312         return BLK_STS_OK;
 313 }
 314
 315 /* return id (s/n) string for *disk to *id_str
 316  */
 317 static int virtblk_get_id(struct gendisk *disk, char *id_str)
 318 {
 319         struct virtio_blk *vblk = disk->private_data;
 320         struct request_queue *q = vblk->disk->queue;
 321         struct request *req;
 322         int err;
 323
 324         req = blk_get_request(q, REQ_OP_DRV_IN, 0);
 325         if (IS_ERR(req))
 326                 return PTR_ERR(req);
 327
 328         err = blk_rq_map_kern(q, req, id_str, VIRTIO_BLK_ID_BYTES, GFP_KERNEL);
 329         if (err)
 330                 goto out;
 331
 332         blk_execute_rq(vblk->disk->queue, vblk->disk, req, false);
 333         err = blk_status_to_errno(virtblk_result(blk_mq_rq_to_pdu(req)));
 334 out:
 335         blk_put_request(req);
 336         return err;
 337 }
 338
 339 static void virtblk_get(struct virtio_blk *vblk)
 340 {
 341         refcount_inc(&vblk->refs);
 342 }
 343
 344 static void virtblk_put(struct virtio_blk *vblk)
 345 {
 346         if (refcount_dec_and_test(&vblk->refs)) {
 347                 ida_simple_remove(&vd_index_ida, vblk->index);
 348                 mutex_destroy(&vblk->vdev_mutex);
 349                 kfree(vblk);
 350         }
 351 }
 352
 353 static int virtblk_open(struct block_device *bd, fmode_t mode)
 354 {
 355         struct virtio_blk *vblk = bd->bd_disk->private_data;
 356         int ret = 0;
 357
 358         mutex_lock(&vblk->vdev_mutex);
 359
 360         if (vblk->vdev)
 361                 virtblk_get(vblk);
 362         else
 363                 ret = -ENXIO;
 364
 365         mutex_unlock(&vblk->vdev_mutex);
 366         return ret;
 367 }
 368
 369 static void virtblk_release(struct gendisk *disk, fmode_t mode)
 370 {
 371         struct virtio_blk *vblk = disk->private_data;
 372
 373         virtblk_put(vblk);
 374 }
 375
 376 /* We provide getgeo only to please some old bootloader/partitioning tools */
 377 static int virtblk_getgeo(struct block_device *bd, struct hd_geometry *geo)
 378 {
 379         struct virtio_blk *vblk = bd->bd_disk->private_data;
 380         int ret = 0;
 381
 382         mutex_lock(&vblk->vdev_mutex);
 383
 384         if (!vblk->vdev) {
 385                 ret = -ENXIO;
 386                 goto out;
 387         }
 388
 389         /* see if the host passed in geometry config */
 390         if (virtio_has_feature(vblk->vdev, VIRTIO_BLK_F_GEOMETRY)) {
 391                 virtio_cread(vblk->vdev, struct virtio_blk_config,
 392                              geometry.cylinders, &geo->cylinders);
 393                 virtio_cread(vblk->vdev, struct virtio_blk_config,
 394                              geometry.heads, &geo->heads);
 395                 virtio_cread(vblk->vdev, struct virtio_blk_config,
 396                              geometry.sectors, &geo->sectors);
 397         } else {
 398                 /* some standard values, similar to sd */
 399                 geo->heads = 1 << 6;
 400                 geo->sectors = 1 << 5;
 401                 geo->cylinders = get_capacity(bd->bd_disk) >> 11;
 402         }
 403 out:
 404         mutex_unlock(&vblk->vdev_mutex);
 405         return ret;
 406 }
 407
 408 static const struct block_device_operations virtblk_fops = {
 409         .ioctl  = virtblk_ioctl,
 410         .owner  = THIS_MODULE,
 411         .open = virtblk_open,
 412         .release = virtblk_release,
 413         .getgeo = virtblk_getgeo,
 414 };
 415
 416 static int index_to_minor(int index)
 417 {
 418         return index << PART_BITS;
 419 }
 420
 421 static int minor_to_index(int minor)
 422 {
 423         return minor >> PART_BITS;
 424 }
 425
 426 static ssize_t serial_show(struct device *dev,
 427                            struct device_attribute *attr, char *buf)
 428 {
 429         struct gendisk *disk = dev_to_disk(dev);
 430         int err;
 431
 432         /* sysfs gives us a PAGE_SIZE buffer */
 433         BUILD_BUG_ON(PAGE_SIZE < VIRTIO_BLK_ID_BYTES);
 434
 435         buf[VIRTIO_BLK_ID_BYTES] = '\0';
 436         err = virtblk_get_id(disk, buf);
 437         if (!err)
 438                 return strlen(buf);
 439
 440         if (err == -EIO) /* Unsupported? Make it empty. */
 441                 return 0;
 442
 443         return err;
 444 }
 445
 446 static DEVICE_ATTR_RO(serial);
 447
 448 /* The queue's logical block size must be set before calling this */
 449 static void virtblk_update_capacity(struct virtio_blk *vblk, bool resize)
 450 {
 451         struct virtio_device *vdev = vblk->vdev;
 452         struct request_queue *q = vblk->disk->queue;
 453         char cap_str_2[10], cap_str_10[10];
 454         unsigned long long nblocks;
 455         u64 capacity;
 456
 457         /* Host must always specify the capacity. */
 458         virtio_cread(vdev, struct virtio_blk_config, capacity, &capacity);
 459
 460         /* If capacity is too big, truncate with warning. */
 461         if ((sector_t)capacity != capacity) {
 462                 dev_warn(&vdev->dev, "Capacity %llu too large: truncating\n",
 463                          (unsigned long long)capacity);
 464                 capacity = (sector_t)-1;
 465         }
 466
 467         nblocks = DIV_ROUND_UP_ULL(capacity, queue_logical_block_size(q) >> 9);
 468
 469         string_get_size(nblocks, queue_logical_block_size(q),
 470                         STRING_UNITS_2, cap_str_2, sizeof(cap_str_2));
 471         string_get_size(nblocks, queue_logical_block_size(q),
 472                         STRING_UNITS_10, cap_str_10, sizeof(cap_str_10));
 473
 474         dev_notice(&vdev->dev,
 475                    "[%s] %s%llu %d-byte logical blocks (%s/%s)\n",
 476                    vblk->disk->disk_name,
 477                    resize ? "new size: " : "",
 478                    nblocks,
 479                    queue_logical_block_size(q),
 480                    cap_str_10,
 481                    cap_str_2);
 482
 483         set_capacity(vblk->disk, capacity);
 484 }
 485
 486 static void virtblk_config_changed_work(struct work_struct *work)
 487 {
 488         struct virtio_blk *vblk =
 489                 container_of(work, struct virtio_blk, config_work);
 490         char *envp[] = { "RESIZE=1", NULL };
 491
 492         virtblk_update_capacity(vblk, true);
 493         revalidate_disk(vblk->disk);
 494         kobject_uevent_env(&disk_to_dev(vblk->disk)->kobj, KOBJ_CHANGE, envp);
 495 }
 496
 497 static void virtblk_config_changed(struct virtio_device *vdev)
 498 {
 499         struct virtio_blk *vblk = vdev->priv;
 500
 501         queue_work(virtblk_wq, &vblk->config_work);
 502 }
 503
 504 static int init_vq(struct virtio_blk *vblk)
 505 {
 506         int err;
 507         int i;
 508         vq_callback_t **callbacks;
 509         const char **names;
 510         struct virtqueue **vqs;
 511         unsigned short num_vqs;
 512         struct virtio_device *vdev = vblk->vdev;
 513         struct irq_affinity desc = { 0, };
 514
 515         err = virtio_cread_feature(vdev, VIRTIO_BLK_F_MQ,
 516                                    struct virtio_blk_config, num_queues,
 517                                    &num_vqs);
 518         if (err)
 519                 num_vqs = 1;
 520
 521         num_vqs = min_t(unsigned int, nr_cpu_ids, num_vqs);
 522
 523         vblk->vqs = kmalloc_array(num_vqs, sizeof(*vblk->vqs), GFP_KERNEL);
 524         if (!vblk->vqs)
 525                 return -ENOMEM;
 526
 527         names = kmalloc_array(num_vqs, sizeof(*names), GFP_KERNEL);
 528         callbacks = kmalloc_array(num_vqs, sizeof(*callbacks), GFP_KERNEL);
 529         vqs = kmalloc_array(num_vqs, sizeof(*vqs), GFP_KERNEL);
 530         if (!names || !callbacks || !vqs) {
 531                 err = -ENOMEM;
 532                 goto out;
 533         }
 534
 535         for (i = 0; i < num_vqs; i++) {
 536                 callbacks[i] = virtblk_done;
 537                 snprintf(vblk->vqs[i].name, VQ_NAME_LEN, "req.%d", i);
 538                 names[i] = vblk->vqs[i].name;
 539         }
 540
 541         /* Discover virtqueues and write information to configuration.  */
 542         err = virtio_find_vqs(vdev, num_vqs, vqs, callbacks, names, &desc);
 543         if (err)
 544                 goto out;
 545
 546         for (i = 0; i < num_vqs; i++) {
 547                 spin_lock_init(&vblk->vqs[i].lock);
 548                 vblk->vqs[i].vq = vqs[i];
 549         }
 550         vblk->num_vqs = num_vqs;
 551
 552 out:
 553         kfree(vqs);
 554         kfree(callbacks);
 555         kfree(names);
 556         if (err)
 557                 kfree(vblk->vqs);
 558         return err;
 559 }
 560
 561 /*
 562  * Legacy naming scheme used for virtio devices.  We are stuck with it for
 563  * virtio blk but don't ever use it for any new driver.
 564  */
 565 static int virtblk_name_format(char *prefix, int index, char *buf, int buflen)
 566 {
 567         const int base = 'z' - 'a' + 1;
 568         char *begin = buf + strlen(prefix);
 569         char *end = buf + buflen;
 570         char *p;
 571         int unit;
 572
 573         p = end - 1;
 574         *p = '\0';
 575         unit = base;
 576         do {
 577                 if (p == begin)
 578                         return -EINVAL;
 579                 *--p = 'a' + (index % unit);
 580                 index = (index / unit) - 1;
 581         } while (index >= 0);
 582
 583         memmove(begin, p, end - p);
 584         memcpy(buf, prefix, strlen(prefix));
 585
 586         return 0;
 587 }
 588
 589 static int virtblk_get_cache_mode(struct virtio_device *vdev)
 590 {
 591         u8 writeback;
 592         int err;
 593
 594         err = virtio_cread_feature(vdev, VIRTIO_BLK_F_CONFIG_WCE,
 595                                    struct virtio_blk_config, wce,
 596                                    &writeback);
 597
 598         /*
 599          * If WCE is not configurable and flush is not available,
 600          * assume no writeback cache is in use.
 601          */
 602         if (err)
 603                 writeback = virtio_has_feature(vdev, VIRTIO_BLK_F_FLUSH);
 604
 605         return writeback;
 606 }
 607
 608 static void virtblk_update_cache_mode(struct virtio_device *vdev)
 609 {
 610         u8 writeback = virtblk_get_cache_mode(vdev);
 611         struct virtio_blk *vblk = vdev->priv;
 612
 613         blk_queue_write_cache(vblk->disk->queue, writeback, false);
 614         revalidate_disk(vblk->disk);
 615 }
 616
 617 static const char *const virtblk_cache_types[] = {
 618         "write through", "write back"
 619 };
 620
 621 static ssize_t
 622 cache_type_store(struct device *dev, struct device_attribute *attr,
 623                  const char *buf, size_t count)
 624 {
 625         struct gendisk *disk = dev_to_disk(dev);
 626         struct virtio_blk *vblk = disk->private_data;
 627         struct virtio_device *vdev = vblk->vdev;
 628         int i;
 629
 630         BUG_ON(!virtio_has_feature(vblk->vdev, VIRTIO_BLK_F_CONFIG_WCE));
 631         i = sysfs_match_string(virtblk_cache_types, buf);
 632         if (i < 0)
 633                 return i;
 634
 635         virtio_cwrite8(vdev, offsetof(struct virtio_blk_config, wce), i);
 636         virtblk_update_cache_mode(vdev);
 637         return count;
 638 }
 639
 640 static ssize_t
 641 cache_type_show(struct device *dev, struct device_attribute *attr, char *buf)
 642 {
 643         struct gendisk *disk = dev_to_disk(dev);
 644         struct virtio_blk *vblk = disk->private_data;
 645         u8 writeback = virtblk_get_cache_mode(vblk->vdev);
 646
 647         BUG_ON(writeback >= ARRAY_SIZE(virtblk_cache_types));
 648         return snprintf(buf, 40, "%s\n", virtblk_cache_types[writeback]);
 649 }
 650
 651 static DEVICE_ATTR_RW(cache_type);
 652
 653 static struct attribute *virtblk_attrs[] = {
 654         &dev_attr_serial.attr,
 655         &dev_attr_cache_type.attr,
 656         NULL,
 657 };
 658
 659 static umode_t virtblk_attrs_are_visible(struct kobject *kobj,
 660                 struct attribute *a, int n)
 661 {
 662         struct device *dev = container_of(kobj, struct device, kobj);
 663         struct gendisk *disk = dev_to_disk(dev);
 664         struct virtio_blk *vblk = disk->private_data;
 665         struct virtio_device *vdev = vblk->vdev;
 666
 667         if (a == &dev_attr_cache_type.attr &&
 668             !virtio_has_feature(vdev, VIRTIO_BLK_F_CONFIG_WCE))
 669                 return S_IRUGO;
 670
 671         return a->mode;
 672 }
 673
 674 static const struct attribute_group virtblk_attr_group = {
 675         .attrs = virtblk_attrs,
 676         .is_visible = virtblk_attrs_are_visible,
 677 };
 678
 679 static const struct attribute_group *virtblk_attr_groups[] = {
 680         &virtblk_attr_group,
 681         NULL,
 682 };
 683
 684 static int virtblk_init_request(struct blk_mq_tag_set *set, struct request *rq,
 685                 unsigned int hctx_idx, unsigned int numa_node)
 686 {
 687         struct virtio_blk *vblk = set->driver_data;
 688         struct virtblk_req *vbr = blk_mq_rq_to_pdu(rq);
 689
 690 #ifdef CONFIG_VIRTIO_BLK_SCSI
 691         vbr->sreq.sense = vbr->sense;
 692 #endif
 693         sg_init_table(vbr->sg, vblk->sg_elems);
 694         return 0;
 695 }
 696
 697 static int virtblk_map_queues(struct blk_mq_tag_set *set)
 698 {
 699         struct virtio_blk *vblk = set->driver_data;
 700
 701         return blk_mq_virtio_map_queues(set, vblk->vdev, 0);
 702 }
 703
 704 #ifdef CONFIG_VIRTIO_BLK_SCSI
 705 static void virtblk_initialize_rq(struct request *req)
 706 {
 707         struct virtblk_req *vbr = blk_mq_rq_to_pdu(req);
 708
 709         scsi_req_init(&vbr->sreq);
 710 }
 711 #endif
 712
 713 static const struct blk_mq_ops virtio_mq_ops = {
 714         .queue_rq       = virtio_queue_rq,
 715         .complete       = virtblk_request_done,
 716         .init_request   = virtblk_init_request,
 717 #ifdef CONFIG_VIRTIO_BLK_SCSI
 718         .initialize_rq_fn = virtblk_initialize_rq,
 719 #endif
 720         .map_queues     = virtblk_map_queues,
 721 };
 722
 723 static unsigned int virtblk_queue_depth;
 724 module_param_named(queue_depth, virtblk_queue_depth, uint, 0444);
 725
 726 static int virtblk_probe(struct virtio_device *vdev)
 727 {
 728         struct virtio_blk *vblk;
 729         struct request_queue *q;
 730         int err, index;
 731
 732         u32 v, blk_size, sg_elems, opt_io_size;
 733         u16 min_io_size;
 734         u8 physical_block_exp, alignment_offset;
 735
 736         if (!vdev->config->get) {
 737                 dev_err(&vdev->dev, "%s failure: config access disabled\n",
 738                         __func__);
 739                 return -EINVAL;
 740         }
 741
 742         err = ida_simple_get(&vd_index_ida, 0, minor_to_index(1 << MINORBITS),
 743                              GFP_KERNEL);
 744         if (err < 0)
 745                 goto out;
 746         index = err;
 747
 748         /* We need to know how many segments before we allocate. */
 749         err = virtio_cread_feature(vdev, VIRTIO_BLK_F_SEG_MAX,
 750                                    struct virtio_blk_config, seg_max,
 751                                    &sg_elems);
 752
 753         /* We need at least one SG element, whatever they say. */
 754         if (err || !sg_elems)
 755                 sg_elems = 1;
 756
 757         /* We need an extra sg elements at head and tail. */
 758         sg_elems += 2;
 759         vdev->priv = vblk = kmalloc(sizeof(*vblk), GFP_KERNEL);
 760         if (!vblk) {
 761                 err = -ENOMEM;
 762                 goto out_free_index;
 763         }
 764
 765         /* This reference is dropped in virtblk_remove(). */
 766         refcount_set(&vblk->refs, 1);
 767         mutex_init(&vblk->vdev_mutex);
 768
 769         vblk->vdev = vdev;
 770         vblk->sg_elems = sg_elems;
 771
 772         INIT_WORK(&vblk->config_work, virtblk_config_changed_work);
 773
 774         err = init_vq(vblk);
 775         if (err)
 776                 goto out_free_vblk;
 777
 778         /* FIXME: How many partitions?  How long is a piece of string? */
 779         vblk->disk = alloc_disk(1 << PART_BITS);
 780         if (!vblk->disk) {
 781                 err = -ENOMEM;
 782                 goto out_free_vq;
 783         }
 784
 785         /* Default queue sizing is to fill the ring. */
 786         if (!virtblk_queue_depth) {
 787                 virtblk_queue_depth = vblk->vqs[0].vq->num_free;
 788                 /* ... but without indirect descs, we use 2 descs per req */
 789                 if (!virtio_has_feature(vdev, VIRTIO_RING_F_INDIRECT_DESC))
 790                         virtblk_queue_depth /= 2;
 791         }
 792
 793         memset(&vblk->tag_set, 0, sizeof(vblk->tag_set));
 794         vblk->tag_set.ops = &virtio_mq_ops;
 795         vblk->tag_set.queue_depth = virtblk_queue_depth;
 796         vblk->tag_set.numa_node = NUMA_NO_NODE;
 797         vblk->tag_set.flags = BLK_MQ_F_SHOULD_MERGE;
 798         vblk->tag_set.cmd_size =
 799                 sizeof(struct virtblk_req) +
 800                 sizeof(struct scatterlist) * sg_elems;
 801         vblk->tag_set.driver_data = vblk;
 802         vblk->tag_set.nr_hw_queues = vblk->num_vqs;
 803
 804         err = blk_mq_alloc_tag_set(&vblk->tag_set);
 805         if (err)
 806                 goto out_put_disk;
 807
 808         q = blk_mq_init_queue(&vblk->tag_set);
 809         if (IS_ERR(q)) {
 810                 err = -ENOMEM;
 811                 goto out_free_tags;
 812         }
 813         vblk->disk->queue = q;
 814
 815         q->queuedata = vblk;
 816
 817         virtblk_name_format("vd", index, vblk->disk->disk_name, DISK_NAME_LEN);
 818
 819         vblk->disk->major = major;
 820         vblk->disk->first_minor = index_to_minor(index);
 821         vblk->disk->private_data = vblk;
 822         vblk->disk->fops = &virtblk_fops;
 823         vblk->disk->flags |= GENHD_FL_EXT_DEVT;
 824         vblk->index = index;
 825
 826         /* configure queue flush support */
 827         virtblk_update_cache_mode(vdev);
 828
 829         /* If disk is read-only in the host, the guest should obey */
 830         if (virtio_has_feature(vdev, VIRTIO_BLK_F_RO))
 831                 set_disk_ro(vblk->disk, 1);
 832
 833         /* We can handle whatever the host told us to handle. */
 834         blk_queue_max_segments(q, vblk->sg_elems-2);
 835
 836         /* No real sector limit. */
 837         blk_queue_max_hw_sectors(q, -1U);
 838
 839         /* Host can optionally specify maximum segment size and number of
 840          * segments. */
 841         err = virtio_cread_feature(vdev, VIRTIO_BLK_F_SIZE_MAX,
 842                                    struct virtio_blk_config, size_max, &v);
 843         if (!err)
 844                 blk_queue_max_segment_size(q, v);
 845         else
 846                 blk_queue_max_segment_size(q, -1U);
 847
 848         /* Host can optionally specify the block size of the device */
 849         err = virtio_cread_feature(vdev, VIRTIO_BLK_F_BLK_SIZE,
 850                                    struct virtio_blk_config, blk_size,
 851                                    &blk_size);
 852         if (!err) {
 853                 err = blk_validate_block_size(blk_size);
 854                 if (err) {
 855                         dev_err(&vdev->dev,
 856                                 "virtio_blk: invalid block size: 0x%x\n",
 857                                 blk_size);
 858                         goto out_free_tags;
 859                 }
 860
 861                 blk_queue_logical_block_size(q, blk_size);
 862         } else
 863                 blk_size = queue_logical_block_size(q);
 864
 865         /* Use topology information if available */
 866         err = virtio_cread_feature(vdev, VIRTIO_BLK_F_TOPOLOGY,
 867                                    struct virtio_blk_config, physical_block_exp,
 868                                    &physical_block_exp);
 869         if (!err && physical_block_exp)
 870                 blk_queue_physical_block_size(q,
 871                                 blk_size * (1 << physical_block_exp));
 872
 873         err = virtio_cread_feature(vdev, VIRTIO_BLK_F_TOPOLOGY,
 874                                    struct virtio_blk_config, alignment_offset,
 875                                    &alignment_offset);
 876         if (!err && alignment_offset)
 877                 blk_queue_alignment_offset(q, blk_size * alignment_offset);
 878
 879         err = virtio_cread_feature(vdev, VIRTIO_BLK_F_TOPOLOGY,
 880                                    struct virtio_blk_config, min_io_size,
 881                                    &min_io_size);
 882         if (!err && min_io_size)
 883                 blk_queue_io_min(q, blk_size * min_io_size);
 884
 885         err = virtio_cread_feature(vdev, VIRTIO_BLK_F_TOPOLOGY,
 886                                    struct virtio_blk_config, opt_io_size,
 887                                    &opt_io_size);
 888         if (!err && opt_io_size)
 889                 blk_queue_io_opt(q, blk_size * opt_io_size);
 890
 891         virtblk_update_capacity(vblk, false);
 892         virtio_device_ready(vdev);
 893
 894         device_add_disk(&vdev->dev, vblk->disk, virtblk_attr_groups);
 895         return 0;
 896
 897 out_free_tags:
 898         blk_mq_free_tag_set(&vblk->tag_set);
 899 out_put_disk:
 900         put_disk(vblk->disk);
 901 out_free_vq:
 902         vdev->config->del_vqs(vdev);
 903         kfree(vblk->vqs);
 904 out_free_vblk:
 905         kfree(vblk);
 906 out_free_index:
 907         ida_simple_remove(&vd_index_ida, index);
 908 out:
 909         return err;
 910 }
 911
 912 static void virtblk_remove(struct virtio_device *vdev)
 913 {
 914         struct virtio_blk *vblk = vdev->priv;
 915
 916         /* Make sure no work handler is accessing the device. */
 917         flush_work(&vblk->config_work);
 918
 919         del_gendisk(vblk->disk);
 920         blk_cleanup_queue(vblk->disk->queue);
 921
 922         blk_mq_free_tag_set(&vblk->tag_set);
 923
 924         mutex_lock(&vblk->vdev_mutex);
 925
 926         /* Stop all the virtqueues. */
 927         vdev->config->reset(vdev);
 928
 929         /* Virtqueues are stopped, nothing can use vblk->vdev anymore. */
 930         vblk->vdev = NULL;
 931
 932         put_disk(vblk->disk);
 933         vdev->config->del_vqs(vdev);
 934         kfree(vblk->vqs);
 935
 936         mutex_unlock(&vblk->vdev_mutex);
 937
 938         virtblk_put(vblk);
 939 }
 940
 941 #ifdef CONFIG_PM_SLEEP
 942 static int virtblk_freeze(struct virtio_device *vdev)
 943 {
 944         struct virtio_blk *vblk = vdev->priv;
 945
 946         /* Ensure we don't receive any more interrupts */
 947         vdev->config->reset(vdev);
 948
 949         /* Make sure no work handler is accessing the device. */
 950         flush_work(&vblk->config_work);
 951
 952         blk_mq_quiesce_queue(vblk->disk->queue);
 953
 954         vdev->config->del_vqs(vdev);
 955         kfree(vblk->vqs);
 956
 957         return 0;
 958 }
 959
 960 static int virtblk_restore(struct virtio_device *vdev)
 961 {
 962         struct virtio_blk *vblk = vdev->priv;
 963         int ret;
 964
 965         ret = init_vq(vdev->priv);
 966         if (ret)
 967                 return ret;
 968
 969         virtio_device_ready(vdev);
 970
 971         blk_mq_unquiesce_queue(vblk->disk->queue);
 972         return 0;
 973 }
 974 #endif
 975
 976 static const struct virtio_device_id id_table[] = {
 977         { VIRTIO_ID_BLOCK, VIRTIO_DEV_ANY_ID },
 978         { 0 },
 979 };
 980
 981 static unsigned int features_legacy[] = {
 982         VIRTIO_BLK_F_SEG_MAX, VIRTIO_BLK_F_SIZE_MAX, VIRTIO_BLK_F_GEOMETRY,
 983         VIRTIO_BLK_F_RO, VIRTIO_BLK_F_BLK_SIZE,
 984 #ifdef CONFIG_VIRTIO_BLK_SCSI
 985         VIRTIO_BLK_F_SCSI,
 986 #endif
 987         VIRTIO_BLK_F_FLUSH, VIRTIO_BLK_F_TOPOLOGY, VIRTIO_BLK_F_CONFIG_WCE,
 988         VIRTIO_BLK_F_MQ,
 989 }
 990 ;
 991 static unsigned int features[] = {
 992         VIRTIO_BLK_F_SEG_MAX, VIRTIO_BLK_F_SIZE_MAX, VIRTIO_BLK_F_GEOMETRY,
 993         VIRTIO_BLK_F_RO, VIRTIO_BLK_F_BLK_SIZE,
 994         VIRTIO_BLK_F_FLUSH, VIRTIO_BLK_F_TOPOLOGY, VIRTIO_BLK_F_CONFIG_WCE,
 995         VIRTIO_BLK_F_MQ,
 996 };
 997
 998 static struct virtio_driver virtio_blk = {
 999         .feature_table                  = features,
1000         .feature_table_size             = ARRAY_SIZE(features),
1001         .feature_table_legacy           = features_legacy,
1002         .feature_table_size_legacy      = ARRAY_SIZE(features_legacy),
1003         .driver.name                    = KBUILD_MODNAME,
1004         .driver.owner                   = THIS_MODULE,
1005         .id_table                       = id_table,
1006         .probe                          = virtblk_probe,
1007         .remove                         = virtblk_remove,
1008         .config_changed                 = virtblk_config_changed,
1009 #ifdef CONFIG_PM_SLEEP
1010         .freeze                         = virtblk_freeze,
1011         .restore                        = virtblk_restore,
1012 #endif
1013 };
1014
1015 static int __init init(void)
1016 {
1017         int error;
1018
1019         virtblk_wq = alloc_workqueue("virtio-blk", 0, 0);
1020         if (!virtblk_wq)
1021                 return -ENOMEM;
1022
1023         major = register_blkdev(0, "virtblk");
1024         if (major < 0) {
1025                 error = major;
1026                 goto out_destroy_workqueue;
1027         }
1028
1029         error = register_virtio_driver(&virtio_blk);
1030         if (error)
1031                 goto out_unregister_blkdev;
1032         return 0;
1033
1034 out_unregister_blkdev:
1035         unregister_blkdev(major, "virtblk");
1036 out_destroy_workqueue:
1037         destroy_workqueue(virtblk_wq);
1038         return error;
1039 }
1040
1041 static void __exit fini(void)
1042 {
1043         unregister_virtio_driver(&virtio_blk);
1044         unregister_blkdev(major, "virtblk");
1045         destroy_workqueue(virtblk_wq);
1046 }
1047 module_init(init);
1048 module_exit(fini);
1049
1050 MODULE_DEVICE_TABLE(virtio, id_table);
1051 MODULE_DESCRIPTION("Virtio block driver");
1052 MODULE_LICENSE("GPL");