drivers/lightnvm/pblk-rb.c

   1 /*
   2  * Copyright (C) 2016 CNEX Labs
   3  * Initial release: Javier Gonzalez <javier@cnexlabs.com>
   4  *
   5  * Based upon the circular ringbuffer.
   6  *
   7  * This program is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU General Public License version
   9  * 2 as published by the Free Software Foundation.
  10  *
  11  * This program is distributed in the hope that it will be useful, but
  12  * WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * General Public License for more details.
  15  *
  16  * pblk-rb.c - pblk's write buffer
  17  */
  18
  19 #include <linux/circ_buf.h>
  20
  21 #include "pblk.h"
  22
  23 static DECLARE_RWSEM(pblk_rb_lock);
  24
  25 void pblk_rb_data_free(struct pblk_rb *rb)
  26 {
  27         struct pblk_rb_pages *p, *t;
  28
  29         down_write(&pblk_rb_lock);
  30         list_for_each_entry_safe(p, t, &rb->pages, list) {
  31                 free_pages((unsigned long)page_address(p->pages), p->order);
  32                 list_del(&p->list);
  33                 kfree(p);
  34         }
  35         up_write(&pblk_rb_lock);
  36 }
  37
  38 /*
  39  * Initialize ring buffer. The data and metadata buffers must be previously
  40  * allocated and their size must be a power of two
  41  * (Documentation/circular-buffers.txt)
  42  */
  43 int pblk_rb_init(struct pblk_rb *rb, struct pblk_rb_entry *rb_entry_base,
  44                  unsigned int power_size, unsigned int power_seg_sz)
  45 {
  46         struct pblk *pblk = container_of(rb, struct pblk, rwb);
  47         unsigned int init_entry = 0;
  48         unsigned int alloc_order = power_size;
  49         unsigned int max_order = MAX_ORDER - 1;
  50         unsigned int order, iter;
  51
  52         down_write(&pblk_rb_lock);
  53         rb->entries = rb_entry_base;
  54         rb->seg_size = (1 << power_seg_sz);
  55         rb->nr_entries = (1 << power_size);
  56         rb->mem = rb->subm = rb->sync = rb->l2p_update = 0;
  57         rb->sync_point = EMPTY_ENTRY;
  58
  59         spin_lock_init(&rb->w_lock);
  60         spin_lock_init(&rb->s_lock);
  61
  62         INIT_LIST_HEAD(&rb->pages);
  63
  64         if (alloc_order >= max_order) {
  65                 order = max_order;
  66                 iter = (1 << (alloc_order - max_order));
  67         } else {
  68                 order = alloc_order;
  69                 iter = 1;
  70         }
  71
  72         do {
  73                 struct pblk_rb_entry *entry;
  74                 struct pblk_rb_pages *page_set;
  75                 void *kaddr;
  76                 unsigned long set_size;
  77                 int i;
  78
  79                 page_set = kmalloc(sizeof(struct pblk_rb_pages), GFP_KERNEL);
  80                 if (!page_set) {
  81                         up_write(&pblk_rb_lock);
  82                         return -ENOMEM;
  83                 }
  84
  85                 page_set->order = order;
  86                 page_set->pages = alloc_pages(GFP_KERNEL, order);
  87                 if (!page_set->pages) {
  88                         kfree(page_set);
  89                         pblk_rb_data_free(rb);
  90                         up_write(&pblk_rb_lock);
  91                         return -ENOMEM;
  92                 }
  93                 kaddr = page_address(page_set->pages);
  94
  95                 entry = &rb->entries[init_entry];
  96                 entry->data = kaddr;
  97                 entry->cacheline = pblk_cacheline_to_addr(init_entry++);
  98                 entry->w_ctx.flags = PBLK_WRITABLE_ENTRY;
  99
 100                 set_size = (1 << order);
 101                 for (i = 1; i < set_size; i++) {
 102                         entry = &rb->entries[init_entry];
 103                         entry->cacheline = pblk_cacheline_to_addr(init_entry++);
 104                         entry->data = kaddr + (i * rb->seg_size);
 105                         entry->w_ctx.flags = PBLK_WRITABLE_ENTRY;
 106                         bio_list_init(&entry->w_ctx.bios);
 107                 }
 108
 109                 list_add_tail(&page_set->list, &rb->pages);
 110                 iter--;
 111         } while (iter > 0);
 112         up_write(&pblk_rb_lock);
 113
 114 #ifdef CONFIG_NVM_DEBUG
 115         atomic_set(&rb->inflight_sync_point, 0);
 116 #endif
 117
 118         /*
 119          * Initialize rate-limiter, which controls access to the write buffer
 120          * but user and GC I/O
 121          */
 122         pblk_rl_init(&pblk->rl, rb->nr_entries);
 123
 124         return 0;
 125 }
 126
 127 /*
 128  * pblk_rb_calculate_size -- calculate the size of the write buffer
 129  */
 130 unsigned int pblk_rb_calculate_size(unsigned int nr_entries)
 131 {
 132         /* Alloc a write buffer that can at least fit 128 entries */
 133         return (1 << max(get_count_order(nr_entries), 7));
 134 }
 135
 136 void *pblk_rb_entries_ref(struct pblk_rb *rb)
 137 {
 138         return rb->entries;
 139 }
 140
 141 static void clean_wctx(struct pblk_w_ctx *w_ctx)
 142 {
 143         int flags;
 144
 145         flags = READ_ONCE(w_ctx->flags);
 146         WARN_ONCE(!(flags & PBLK_SUBMITTED_ENTRY),
 147                         "pblk: overwriting unsubmitted data\n");
 148
 149         /* Release flags on context. Protect from writes and reads */
 150         smp_store_release(&w_ctx->flags, PBLK_WRITABLE_ENTRY);
 151         pblk_ppa_set_empty(&w_ctx->ppa);
 152         w_ctx->lba = ADDR_EMPTY;
 153 }
 154
 155 #define pblk_rb_ring_count(head, tail, size) CIRC_CNT(head, tail, size)
 156 #define pblk_rb_ring_space(rb, head, tail, size) \
 157                                         (CIRC_SPACE(head, tail, size))
 158
 159 /*
 160  * Buffer space is calculated with respect to the back pointer signaling
 161  * synchronized entries to the media.
 162  */
 163 static unsigned int pblk_rb_space(struct pblk_rb *rb)
 164 {
 165         unsigned int mem = READ_ONCE(rb->mem);
 166         unsigned int sync = READ_ONCE(rb->sync);
 167
 168         return pblk_rb_ring_space(rb, mem, sync, rb->nr_entries);
 169 }
 170
 171 /*
 172  * Buffer count is calculated with respect to the submission entry signaling the
 173  * entries that are available to send to the media
 174  */
 175 unsigned int pblk_rb_read_count(struct pblk_rb *rb)
 176 {
 177         unsigned int mem = READ_ONCE(rb->mem);
 178         unsigned int subm = READ_ONCE(rb->subm);
 179
 180         return pblk_rb_ring_count(mem, subm, rb->nr_entries);
 181 }
 182
 183 unsigned int pblk_rb_sync_count(struct pblk_rb *rb)
 184 {
 185         unsigned int mem = READ_ONCE(rb->mem);
 186         unsigned int sync = READ_ONCE(rb->sync);
 187
 188         return pblk_rb_ring_count(mem, sync, rb->nr_entries);
 189 }
 190
 191 unsigned int pblk_rb_read_commit(struct pblk_rb *rb, unsigned int nr_entries)
 192 {
 193         unsigned int subm;
 194
 195         subm = READ_ONCE(rb->subm);
 196         /* Commit read means updating submission pointer */
 197         smp_store_release(&rb->subm,
 198                                 (subm + nr_entries) & (rb->nr_entries - 1));
 199
 200         return subm;
 201 }
 202
 203 static int __pblk_rb_update_l2p(struct pblk_rb *rb, unsigned int *l2p_upd,
 204                                 unsigned int to_update)
 205 {
 206         struct pblk *pblk = container_of(rb, struct pblk, rwb);
 207         struct pblk_line *line;
 208         struct pblk_rb_entry *entry;
 209         struct pblk_w_ctx *w_ctx;
 210         unsigned int user_io = 0, gc_io = 0;
 211         unsigned int i;
 212         int flags;
 213
 214         for (i = 0; i < to_update; i++) {
 215                 entry = &rb->entries[*l2p_upd];
 216                 w_ctx = &entry->w_ctx;
 217
 218                 flags = READ_ONCE(entry->w_ctx.flags);
 219                 if (flags & PBLK_IOTYPE_USER)
 220                         user_io++;
 221                 else if (flags & PBLK_IOTYPE_GC)
 222                         gc_io++;
 223                 else
 224                         WARN(1, "pblk: unknown IO type\n");
 225
 226                 pblk_update_map_dev(pblk, w_ctx->lba, w_ctx->ppa,
 227                                                         entry->cacheline);
 228
 229                 line = &pblk->lines[pblk_tgt_ppa_to_line(w_ctx->ppa)];
 230                 kref_put(&line->ref, pblk_line_put);
 231                 clean_wctx(w_ctx);
 232                 *l2p_upd = (*l2p_upd + 1) & (rb->nr_entries - 1);
 233         }
 234
 235         pblk_rl_out(&pblk->rl, user_io, gc_io);
 236
 237         return 0;
 238 }
 239
 240 /*
 241  * When we move the l2p_update pointer, we update the l2p table - lookups will
 242  * point to the physical address instead of to the cacheline in the write buffer
 243  * from this moment on.
 244  */
 245 static int pblk_rb_update_l2p(struct pblk_rb *rb, unsigned int nr_entries,
 246                               unsigned int mem, unsigned int sync)
 247 {
 248         unsigned int space, count;
 249         int ret = 0;
 250
 251         lockdep_assert_held(&rb->w_lock);
 252
 253         /* Update l2p only as buffer entries are being overwritten */
 254         space = pblk_rb_ring_space(rb, mem, rb->l2p_update, rb->nr_entries);
 255         if (space > nr_entries)
 256                 goto out;
 257
 258         count = nr_entries - space;
 259         /* l2p_update used exclusively under rb->w_lock */
 260         ret = __pblk_rb_update_l2p(rb, &rb->l2p_update, count);
 261
 262 out:
 263         return ret;
 264 }
 265
 266 /*
 267  * Update the l2p entry for all sectors stored on the write buffer. This means
 268  * that all future lookups to the l2p table will point to a device address, not
 269  * to the cacheline in the write buffer.
 270  */
 271 void pblk_rb_sync_l2p(struct pblk_rb *rb)
 272 {
 273         unsigned int sync;
 274         unsigned int to_update;
 275
 276         spin_lock(&rb->w_lock);
 277
 278         /* Protect from reads and writes */
 279         sync = smp_load_acquire(&rb->sync);
 280
 281         to_update = pblk_rb_ring_count(sync, rb->l2p_update, rb->nr_entries);
 282         __pblk_rb_update_l2p(rb, &rb->l2p_update, to_update);
 283
 284         spin_unlock(&rb->w_lock);
 285 }
 286
 287 /*
 288  * Write @nr_entries to ring buffer from @data buffer if there is enough space.
 289  * Typically, 4KB data chunks coming from a bio will be copied to the ring
 290  * buffer, thus the write will fail if not all incoming data can be copied.
 291  *
 292  */
 293 static void __pblk_rb_write_entry(struct pblk_rb *rb, void *data,
 294                                   struct pblk_w_ctx w_ctx,
 295                                   struct pblk_rb_entry *entry)
 296 {
 297         memcpy(entry->data, data, rb->seg_size);
 298
 299         entry->w_ctx.lba = w_ctx.lba;
 300         entry->w_ctx.ppa = w_ctx.ppa;
 301 }
 302
 303 void pblk_rb_write_entry_user(struct pblk_rb *rb, void *data,
 304                               struct pblk_w_ctx w_ctx, unsigned int ring_pos)
 305 {
 306         struct pblk *pblk = container_of(rb, struct pblk, rwb);
 307         struct pblk_rb_entry *entry;
 308         int flags;
 309
 310         entry = &rb->entries[ring_pos];
 311         flags = READ_ONCE(entry->w_ctx.flags);
 312 #ifdef CONFIG_NVM_DEBUG
 313         /* Caller must guarantee that the entry is free */
 314         BUG_ON(!(flags & PBLK_WRITABLE_ENTRY));
 315 #endif
 316
 317         __pblk_rb_write_entry(rb, data, w_ctx, entry);
 318
 319         pblk_update_map_cache(pblk, w_ctx.lba, entry->cacheline);
 320         flags = w_ctx.flags | PBLK_WRITTEN_DATA;
 321
 322         /* Release flags on write context. Protect from writes */
 323         smp_store_release(&entry->w_ctx.flags, flags);
 324 }
 325
 326 void pblk_rb_write_entry_gc(struct pblk_rb *rb, void *data,
 327                             struct pblk_w_ctx w_ctx, struct pblk_line *gc_line,
 328                             unsigned int ring_pos)
 329 {
 330         struct pblk *pblk = container_of(rb, struct pblk, rwb);
 331         struct pblk_rb_entry *entry;
 332         int flags;
 333
 334         entry = &rb->entries[ring_pos];
 335         flags = READ_ONCE(entry->w_ctx.flags);
 336 #ifdef CONFIG_NVM_DEBUG
 337         /* Caller must guarantee that the entry is free */
 338         BUG_ON(!(flags & PBLK_WRITABLE_ENTRY));
 339 #endif
 340
 341         __pblk_rb_write_entry(rb, data, w_ctx, entry);
 342
 343         if (!pblk_update_map_gc(pblk, w_ctx.lba, entry->cacheline, gc_line))
 344                 entry->w_ctx.lba = ADDR_EMPTY;
 345
 346         flags = w_ctx.flags | PBLK_WRITTEN_DATA;
 347
 348         /* Release flags on write context. Protect from writes */
 349         smp_store_release(&entry->w_ctx.flags, flags);
 350 }
 351
 352 static int pblk_rb_sync_point_set(struct pblk_rb *rb, struct bio *bio,
 353                                   unsigned int pos)
 354 {
 355         struct pblk_rb_entry *entry;
 356         unsigned int subm, sync_point;
 357         int flags;
 358
 359         subm = READ_ONCE(rb->subm);
 360
 361 #ifdef CONFIG_NVM_DEBUG
 362         atomic_inc(&rb->inflight_sync_point);
 363 #endif
 364
 365         if (pos == subm)
 366                 return 0;
 367
 368         sync_point = (pos == 0) ? (rb->nr_entries - 1) : (pos - 1);
 369         entry = &rb->entries[sync_point];
 370
 371         flags = READ_ONCE(entry->w_ctx.flags);
 372         flags |= PBLK_FLUSH_ENTRY;
 373
 374         /* Release flags on context. Protect from writes */
 375         smp_store_release(&entry->w_ctx.flags, flags);
 376
 377         /* Protect syncs */
 378         smp_store_release(&rb->sync_point, sync_point);
 379
 380         if (!bio)
 381                 return 0;
 382
 383         spin_lock_irq(&rb->s_lock);
 384         bio_list_add(&entry->w_ctx.bios, bio);
 385         spin_unlock_irq(&rb->s_lock);
 386
 387         return 1;
 388 }
 389
 390 static int __pblk_rb_may_write(struct pblk_rb *rb, unsigned int nr_entries,
 391                                unsigned int *pos)
 392 {
 393         unsigned int mem;
 394         unsigned int sync;
 395
 396         sync = READ_ONCE(rb->sync);
 397         mem = READ_ONCE(rb->mem);
 398
 399         if (pblk_rb_ring_space(rb, mem, sync, rb->nr_entries) < nr_entries)
 400                 return 0;
 401
 402         if (pblk_rb_update_l2p(rb, nr_entries, mem, sync))
 403                 return 0;
 404
 405         *pos = mem;
 406
 407         return 1;
 408 }
 409
 410 static int pblk_rb_may_write(struct pblk_rb *rb, unsigned int nr_entries,
 411                              unsigned int *pos)
 412 {
 413         if (!__pblk_rb_may_write(rb, nr_entries, pos))
 414                 return 0;
 415
 416         /* Protect from read count */
 417         smp_store_release(&rb->mem, (*pos + nr_entries) & (rb->nr_entries - 1));
 418         return 1;
 419 }
 420
 421 void pblk_rb_flush(struct pblk_rb *rb)
 422 {
 423         struct pblk *pblk = container_of(rb, struct pblk, rwb);
 424         unsigned int mem = READ_ONCE(rb->mem);
 425
 426         if (pblk_rb_sync_point_set(rb, NULL, mem))
 427                 return;
 428
 429         pblk_write_should_kick(pblk);
 430 }
 431
 432 static int pblk_rb_may_write_flush(struct pblk_rb *rb, unsigned int nr_entries,
 433                                    unsigned int *pos, struct bio *bio,
 434                                    int *io_ret)
 435 {
 436         unsigned int mem;
 437
 438         if (!__pblk_rb_may_write(rb, nr_entries, pos))
 439                 return 0;
 440
 441         mem = (*pos + nr_entries) & (rb->nr_entries - 1);
 442         *io_ret = NVM_IO_DONE;
 443
 444         if (bio->bi_opf & REQ_PREFLUSH) {
 445                 struct pblk *pblk = container_of(rb, struct pblk, rwb);
 446
 447 #ifdef CONFIG_NVM_DEBUG
 448                 atomic_long_inc(&pblk->nr_flush);
 449 #endif
 450                 if (pblk_rb_sync_point_set(&pblk->rwb, bio, mem))
 451                         *io_ret = NVM_IO_OK;
 452         }
 453
 454         /* Protect from read count */
 455         smp_store_release(&rb->mem, mem);
 456         return 1;
 457 }
 458
 459 /*
 460  * Atomically check that (i) there is space on the write buffer for the
 461  * incoming I/O, and (ii) the current I/O type has enough budget in the write
 462  * buffer (rate-limiter).
 463  */
 464 int pblk_rb_may_write_user(struct pblk_rb *rb, struct bio *bio,
 465                            unsigned int nr_entries, unsigned int *pos)
 466 {
 467         struct pblk *pblk = container_of(rb, struct pblk, rwb);
 468         int io_ret;
 469
 470         spin_lock(&rb->w_lock);
 471         io_ret = pblk_rl_user_may_insert(&pblk->rl, nr_entries);
 472         if (io_ret) {
 473                 spin_unlock(&rb->w_lock);
 474                 return io_ret;
 475         }
 476
 477         if (!pblk_rb_may_write_flush(rb, nr_entries, pos, bio, &io_ret)) {
 478                 spin_unlock(&rb->w_lock);
 479                 return NVM_IO_REQUEUE;
 480         }
 481
 482         pblk_rl_user_in(&pblk->rl, nr_entries);
 483         spin_unlock(&rb->w_lock);
 484
 485         return io_ret;
 486 }
 487
 488 /*
 489  * Look at pblk_rb_may_write_user comment
 490  */
 491 int pblk_rb_may_write_gc(struct pblk_rb *rb, unsigned int nr_entries,
 492                          unsigned int *pos)
 493 {
 494         struct pblk *pblk = container_of(rb, struct pblk, rwb);
 495
 496         spin_lock(&rb->w_lock);
 497         if (!pblk_rl_gc_may_insert(&pblk->rl, nr_entries)) {
 498                 spin_unlock(&rb->w_lock);
 499                 return 0;
 500         }
 501
 502         if (!pblk_rb_may_write(rb, nr_entries, pos)) {
 503                 spin_unlock(&rb->w_lock);
 504                 return 0;
 505         }
 506
 507         pblk_rl_gc_in(&pblk->rl, nr_entries);
 508         spin_unlock(&rb->w_lock);
 509
 510         return 1;
 511 }
 512
 513 /*
 514  * The caller of this function must ensure that the backpointer will not
 515  * overwrite the entries passed on the list.
 516  */
 517 unsigned int pblk_rb_read_to_bio_list(struct pblk_rb *rb, struct bio *bio,
 518                                       struct list_head *list,
 519                                       unsigned int max)
 520 {
 521         struct pblk_rb_entry *entry, *tentry;
 522         struct page *page;
 523         unsigned int read = 0;
 524         int ret;
 525
 526         list_for_each_entry_safe(entry, tentry, list, index) {
 527                 if (read > max) {
 528                         pr_err("pblk: too many entries on list\n");
 529                         goto out;
 530                 }
 531
 532                 page = virt_to_page(entry->data);
 533                 if (!page) {
 534                         pr_err("pblk: could not allocate write bio page\n");
 535                         goto out;
 536                 }
 537
 538                 ret = bio_add_page(bio, page, rb->seg_size, 0);
 539                 if (ret != rb->seg_size) {
 540                         pr_err("pblk: could not add page to write bio\n");
 541                         goto out;
 542                 }
 543
 544                 list_del(&entry->index);
 545                 read++;
 546         }
 547
 548 out:
 549         return read;
 550 }
 551
 552 /*
 553  * Read available entries on rb and add them to the given bio. To avoid a memory
 554  * copy, a page reference to the write buffer is used to be added to the bio.
 555  *
 556  * This function is used by the write thread to form the write bio that will
 557  * persist data on the write buffer to the media.
 558  */
 559 unsigned int pblk_rb_read_to_bio(struct pblk_rb *rb, struct nvm_rq *rqd,
 560                                  struct bio *bio, unsigned int pos,
 561                                  unsigned int nr_entries, unsigned int count)
 562 {
 563         struct pblk *pblk = container_of(rb, struct pblk, rwb);
 564         struct request_queue *q = pblk->dev->q;
 565         struct pblk_c_ctx *c_ctx = nvm_rq_to_pdu(rqd);
 566         struct pblk_rb_entry *entry;
 567         struct page *page;
 568         unsigned int pad = 0, to_read = nr_entries;
 569         unsigned int i;
 570         int flags;
 571
 572         if (count < nr_entries) {
 573                 pad = nr_entries - count;
 574                 to_read = count;
 575         }
 576
 577         c_ctx->sentry = pos;
 578         c_ctx->nr_valid = to_read;
 579         c_ctx->nr_padded = pad;
 580
 581         for (i = 0; i < to_read; i++) {
 582                 entry = &rb->entries[pos];
 583
 584                 /* A write has been allowed into the buffer, but data is still
 585                  * being copied to it. It is ok to busy wait.
 586                  */
 587 try:
 588                 flags = READ_ONCE(entry->w_ctx.flags);
 589                 if (!(flags & PBLK_WRITTEN_DATA)) {
 590                         io_schedule();
 591                         goto try;
 592                 }
 593
 594                 page = virt_to_page(entry->data);
 595                 if (!page) {
 596                         pr_err("pblk: could not allocate write bio page\n");
 597                         flags &= ~PBLK_WRITTEN_DATA;
 598                         flags |= PBLK_SUBMITTED_ENTRY;
 599                         /* Release flags on context. Protect from writes */
 600                         smp_store_release(&entry->w_ctx.flags, flags);
 601                         return NVM_IO_ERR;
 602                 }
 603
 604                 if (bio_add_pc_page(q, bio, page, rb->seg_size, 0) !=
 605                                                                 rb->seg_size) {
 606                         pr_err("pblk: could not add page to write bio\n");
 607                         flags &= ~PBLK_WRITTEN_DATA;
 608                         flags |= PBLK_SUBMITTED_ENTRY;
 609                         /* Release flags on context. Protect from writes */
 610                         smp_store_release(&entry->w_ctx.flags, flags);
 611                         return NVM_IO_ERR;
 612                 }
 613
 614                 if (flags & PBLK_FLUSH_ENTRY) {
 615                         unsigned int sync_point;
 616
 617                         sync_point = READ_ONCE(rb->sync_point);
 618                         if (sync_point == pos) {
 619                                 /* Protect syncs */
 620                                 smp_store_release(&rb->sync_point, EMPTY_ENTRY);
 621                         }
 622
 623                         flags &= ~PBLK_FLUSH_ENTRY;
 624 #ifdef CONFIG_NVM_DEBUG
 625                         atomic_dec(&rb->inflight_sync_point);
 626 #endif
 627                 }
 628
 629                 flags &= ~PBLK_WRITTEN_DATA;
 630                 flags |= PBLK_SUBMITTED_ENTRY;
 631
 632                 /* Release flags on context. Protect from writes */
 633                 smp_store_release(&entry->w_ctx.flags, flags);
 634
 635                 pos = (pos + 1) & (rb->nr_entries - 1);
 636         }
 637
 638         if (pad) {
 639                 if (pblk_bio_add_pages(pblk, bio, GFP_KERNEL, pad)) {
 640                         pr_err("pblk: could not pad page in write bio\n");
 641                         return NVM_IO_ERR;
 642                 }
 643         }
 644
 645 #ifdef CONFIG_NVM_DEBUG
 646         atomic_long_add(pad, &((struct pblk *)
 647                         (container_of(rb, struct pblk, rwb)))->padded_writes);
 648 #endif
 649
 650         return NVM_IO_OK;
 651 }
 652
 653 /*
 654  * Copy to bio only if the lba matches the one on the given cache entry.
 655  * Otherwise, it means that the entry has been overwritten, and the bio should
 656  * be directed to disk.
 657  */
 658 int pblk_rb_copy_to_bio(struct pblk_rb *rb, struct bio *bio, sector_t lba,
 659                         struct ppa_addr ppa, int bio_iter, bool advanced_bio)
 660 {
 661         struct pblk *pblk = container_of(rb, struct pblk, rwb);
 662         struct pblk_rb_entry *entry;
 663         struct pblk_w_ctx *w_ctx;
 664         struct ppa_addr l2p_ppa;
 665         u64 pos = pblk_addr_to_cacheline(ppa);
 666         void *data;
 667         int flags;
 668         int ret = 1;
 669
 670
 671 #ifdef CONFIG_NVM_DEBUG
 672         /* Caller must ensure that the access will not cause an overflow */
 673         BUG_ON(pos >= rb->nr_entries);
 674 #endif
 675         entry = &rb->entries[pos];
 676         w_ctx = &entry->w_ctx;
 677         flags = READ_ONCE(w_ctx->flags);
 678
 679         spin_lock(&rb->w_lock);
 680         spin_lock(&pblk->trans_lock);
 681         l2p_ppa = pblk_trans_map_get(pblk, lba);
 682         spin_unlock(&pblk->trans_lock);
 683
 684         /* Check if the entry has been overwritten or is scheduled to be */
 685         if (!pblk_ppa_comp(l2p_ppa, ppa) || w_ctx->lba != lba ||
 686                                                 flags & PBLK_WRITABLE_ENTRY) {
 687                 ret = 0;
 688                 goto out;
 689         }
 690
 691         /* Only advance the bio if it hasn't been advanced already. If advanced,
 692          * this bio is at least a partial bio (i.e., it has partially been
 693          * filled with data from the cache). If part of the data resides on the
 694          * media, we will read later on
 695          */
 696         if (unlikely(!advanced_bio))
 697                 bio_advance(bio, bio_iter * PBLK_EXPOSED_PAGE_SIZE);
 698
 699         data = bio_data(bio);
 700         memcpy(data, entry->data, rb->seg_size);
 701
 702 out:
 703         spin_unlock(&rb->w_lock);
 704         return ret;
 705 }
 706
 707 struct pblk_w_ctx *pblk_rb_w_ctx(struct pblk_rb *rb, unsigned int pos)
 708 {
 709         unsigned int entry = pos & (rb->nr_entries - 1);
 710
 711         return &rb->entries[entry].w_ctx;
 712 }
 713
 714 unsigned int pblk_rb_sync_init(struct pblk_rb *rb, unsigned long *flags)
 715         __acquires(&rb->s_lock)
 716 {
 717         if (flags)
 718                 spin_lock_irqsave(&rb->s_lock, *flags);
 719         else
 720                 spin_lock_irq(&rb->s_lock);
 721
 722         return rb->sync;
 723 }
 724
 725 void pblk_rb_sync_end(struct pblk_rb *rb, unsigned long *flags)
 726         __releases(&rb->s_lock)
 727 {
 728         lockdep_assert_held(&rb->s_lock);
 729
 730         if (flags)
 731                 spin_unlock_irqrestore(&rb->s_lock, *flags);
 732         else
 733                 spin_unlock_irq(&rb->s_lock);
 734 }
 735
 736 unsigned int pblk_rb_sync_advance(struct pblk_rb *rb, unsigned int nr_entries)
 737 {
 738         unsigned int sync;
 739         unsigned int i;
 740
 741         lockdep_assert_held(&rb->s_lock);
 742
 743         sync = READ_ONCE(rb->sync);
 744
 745         for (i = 0; i < nr_entries; i++)
 746                 sync = (sync + 1) & (rb->nr_entries - 1);
 747
 748         /* Protect from counts */
 749         smp_store_release(&rb->sync, sync);
 750
 751         return sync;
 752 }
 753
 754 unsigned int pblk_rb_sync_point_count(struct pblk_rb *rb)
 755 {
 756         unsigned int subm, sync_point;
 757         unsigned int count;
 758
 759         /* Protect syncs */
 760         sync_point = smp_load_acquire(&rb->sync_point);
 761         if (sync_point == EMPTY_ENTRY)
 762                 return 0;
 763
 764         subm = READ_ONCE(rb->subm);
 765
 766         /* The sync point itself counts as a sector to sync */
 767         count = pblk_rb_ring_count(sync_point, subm, rb->nr_entries) + 1;
 768
 769         return count;
 770 }
 771
 772 /*
 773  * Scan from the current position of the sync pointer to find the entry that
 774  * corresponds to the given ppa. This is necessary since write requests can be
 775  * completed out of order. The assumption is that the ppa is close to the sync
 776  * pointer thus the search will not take long.
 777  *
 778  * The caller of this function must guarantee that the sync pointer will no
 779  * reach the entry while it is using the metadata associated with it. With this
 780  * assumption in mind, there is no need to take the sync lock.
 781  */
 782 struct pblk_rb_entry *pblk_rb_sync_scan_entry(struct pblk_rb *rb,
 783                                               struct ppa_addr *ppa)
 784 {
 785         unsigned int sync, subm, count;
 786         unsigned int i;
 787
 788         sync = READ_ONCE(rb->sync);
 789         subm = READ_ONCE(rb->subm);
 790         count = pblk_rb_ring_count(subm, sync, rb->nr_entries);
 791
 792         for (i = 0; i < count; i++)
 793                 sync = (sync + 1) & (rb->nr_entries - 1);
 794
 795         return NULL;
 796 }
 797
 798 int pblk_rb_tear_down_check(struct pblk_rb *rb)
 799 {
 800         struct pblk_rb_entry *entry;
 801         int i;
 802         int ret = 0;
 803
 804         spin_lock(&rb->w_lock);
 805         spin_lock_irq(&rb->s_lock);
 806
 807         if ((rb->mem == rb->subm) && (rb->subm == rb->sync) &&
 808                                 (rb->sync == rb->l2p_update) &&
 809                                 (rb->sync_point == EMPTY_ENTRY)) {
 810                 goto out;
 811         }
 812
 813         if (!rb->entries) {
 814                 ret = 1;
 815                 goto out;
 816         }
 817
 818         for (i = 0; i < rb->nr_entries; i++) {
 819                 entry = &rb->entries[i];
 820
 821                 if (!entry->data) {
 822                         ret = 1;
 823                         goto out;
 824                 }
 825         }
 826
 827 out:
 828         spin_unlock_irq(&rb->s_lock);
 829         spin_unlock(&rb->w_lock);
 830
 831         return ret;
 832 }
 833
 834 unsigned int pblk_rb_wrap_pos(struct pblk_rb *rb, unsigned int pos)
 835 {
 836         return (pos & (rb->nr_entries - 1));
 837 }
 838
 839 int pblk_rb_pos_oob(struct pblk_rb *rb, u64 pos)
 840 {
 841         return (pos >= rb->nr_entries);
 842 }
 843
 844 ssize_t pblk_rb_sysfs(struct pblk_rb *rb, char *buf)
 845 {
 846         struct pblk *pblk = container_of(rb, struct pblk, rwb);
 847         struct pblk_c_ctx *c;
 848         ssize_t offset;
 849         int queued_entries = 0;
 850
 851         spin_lock_irq(&rb->s_lock);
 852         list_for_each_entry(c, &pblk->compl_list, list)
 853                 queued_entries++;
 854         spin_unlock_irq(&rb->s_lock);
 855
 856         if (rb->sync_point != EMPTY_ENTRY)
 857                 offset = scnprintf(buf, PAGE_SIZE,
 858                         "%u\t%u\t%u\t%u\t%u\t%u\t%u - %u/%u/%u - %d\n",
 859                         rb->nr_entries,
 860                         rb->mem,
 861                         rb->subm,
 862                         rb->sync,
 863                         rb->l2p_update,
 864 #ifdef CONFIG_NVM_DEBUG
 865                         atomic_read(&rb->inflight_sync_point),
 866 #else
 867                         0,
 868 #endif
 869                         rb->sync_point,
 870                         pblk_rb_read_count(rb),
 871                         pblk_rb_space(rb),
 872                         pblk_rb_sync_point_count(rb),
 873                         queued_entries);
 874         else
 875                 offset = scnprintf(buf, PAGE_SIZE,
 876                         "%u\t%u\t%u\t%u\t%u\t%u\tNULL - %u/%u/%u - %d\n",
 877                         rb->nr_entries,
 878                         rb->mem,
 879                         rb->subm,
 880                         rb->sync,
 881                         rb->l2p_update,
 882 #ifdef CONFIG_NVM_DEBUG
 883                         atomic_read(&rb->inflight_sync_point),
 884 #else
 885                         0,
 886 #endif
 887                         pblk_rb_read_count(rb),
 888                         pblk_rb_space(rb),
 889                         pblk_rb_sync_point_count(rb),
 890                         queued_entries);
 891
 892         return offset;
 893 }