fs/xfs/xfs_reflink.c

   1 /*
   2  * Copyright (C) 2016 Oracle.  All Rights Reserved.
   3  *
   4  * Author: Darrick J. Wong <darrick.wong@oracle.com>
   5  *
   6  * This program is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU General Public License
   8  * as published by the Free Software Foundation; either version 2
   9  * of the License, or (at your option) any later version.
  10  *
  11  * This program is distributed in the hope that it would be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * along with this program; if not, write the Free Software Foundation,
  18  * Inc.,  51 Franklin St, Fifth Floor, Boston, MA  02110-1301, USA.
  19  */
  20 #include "xfs.h"
  21 #include "xfs_fs.h"
  22 #include "xfs_shared.h"
  23 #include "xfs_format.h"
  24 #include "xfs_log_format.h"
  25 #include "xfs_trans_resv.h"
  26 #include "xfs_mount.h"
  27 #include "xfs_defer.h"
  28 #include "xfs_da_format.h"
  29 #include "xfs_da_btree.h"
  30 #include "xfs_inode.h"
  31 #include "xfs_trans.h"
  32 #include "xfs_inode_item.h"
  33 #include "xfs_bmap.h"
  34 #include "xfs_bmap_util.h"
  35 #include "xfs_error.h"
  36 #include "xfs_dir2.h"
  37 #include "xfs_dir2_priv.h"
  38 #include "xfs_ioctl.h"
  39 #include "xfs_trace.h"
  40 #include "xfs_log.h"
  41 #include "xfs_icache.h"
  42 #include "xfs_pnfs.h"
  43 #include "xfs_btree.h"
  44 #include "xfs_refcount_btree.h"
  45 #include "xfs_refcount.h"
  46 #include "xfs_bmap_btree.h"
  47 #include "xfs_trans_space.h"
  48 #include "xfs_bit.h"
  49 #include "xfs_alloc.h"
  50 #include "xfs_quota_defs.h"
  51 #include "xfs_quota.h"
  52 #include "xfs_btree.h"
  53 #include "xfs_bmap_btree.h"
  54 #include "xfs_reflink.h"
  55 #include "xfs_iomap.h"
  56 #include "xfs_rmap_btree.h"
  57 #include "xfs_sb.h"
  58 #include "xfs_ag_resv.h"
  59
  60 /*
  61  * Copy on Write of Shared Blocks
  62  *
  63  * XFS must preserve "the usual" file semantics even when two files share
  64  * the same physical blocks.  This means that a write to one file must not
  65  * alter the blocks in a different file; the way that we'll do that is
  66  * through the use of a copy-on-write mechanism.  At a high level, that
  67  * means that when we want to write to a shared block, we allocate a new
  68  * block, write the data to the new block, and if that succeeds we map the
  69  * new block into the file.
  70  *
  71  * XFS provides a "delayed allocation" mechanism that defers the allocation
  72  * of disk blocks to dirty-but-not-yet-mapped file blocks as long as
  73  * possible.  This reduces fragmentation by enabling the filesystem to ask
  74  * for bigger chunks less often, which is exactly what we want for CoW.
  75  *
  76  * The delalloc mechanism begins when the kernel wants to make a block
  77  * writable (write_begin or page_mkwrite).  If the offset is not mapped, we
  78  * create a delalloc mapping, which is a regular in-core extent, but without
  79  * a real startblock.  (For delalloc mappings, the startblock encodes both
  80  * a flag that this is a delalloc mapping, and a worst-case estimate of how
  81  * many blocks might be required to put the mapping into the BMBT.)  delalloc
  82  * mappings are a reservation against the free space in the filesystem;
  83  * adjacent mappings can also be combined into fewer larger mappings.
  84  *
  85  * As an optimization, the CoW extent size hint (cowextsz) creates
  86  * outsized aligned delalloc reservations in the hope of landing out of
  87  * order nearby CoW writes in a single extent on disk, thereby reducing
  88  * fragmentation and improving future performance.
  89  *
  90  * D: --RRRRRRSSSRRRRRRRR--- (data fork)
  91  * C: ------DDDDDDD--------- (CoW fork)
  92  *
  93  * When dirty pages are being written out (typically in writepage), the
  94  * delalloc reservations are converted into unwritten mappings by
  95  * allocating blocks and replacing the delalloc mapping with real ones.
  96  * A delalloc mapping can be replaced by several unwritten ones if the
  97  * free space is fragmented.
  98  *
  99  * D: --RRRRRRSSSRRRRRRRR---
 100  * C: ------UUUUUUU---------
 101  *
 102  * We want to adapt the delalloc mechanism for copy-on-write, since the
 103  * write paths are similar.  The first two steps (creating the reservation
 104  * and allocating the blocks) are exactly the same as delalloc except that
 105  * the mappings must be stored in a separate CoW fork because we do not want
 106  * to disturb the mapping in the data fork until we're sure that the write
 107  * succeeded.  IO completion in this case is the process of removing the old
 108  * mapping from the data fork and moving the new mapping from the CoW fork to
 109  * the data fork.  This will be discussed shortly.
 110  *
 111  * For now, unaligned directio writes will be bounced back to the page cache.
 112  * Block-aligned directio writes will use the same mechanism as buffered
 113  * writes.
 114  *
 115  * Just prior to submitting the actual disk write requests, we convert
 116  * the extents representing the range of the file actually being written
 117  * (as opposed to extra pieces created for the cowextsize hint) to real
 118  * extents.  This will become important in the next step:
 119  *
 120  * D: --RRRRRRSSSRRRRRRRR---
 121  * C: ------UUrrUUU---------
 122  *
 123  * CoW remapping must be done after the data block write completes,
 124  * because we don't want to destroy the old data fork map until we're sure
 125  * the new block has been written.  Since the new mappings are kept in a
 126  * separate fork, we can simply iterate these mappings to find the ones
 127  * that cover the file blocks that we just CoW'd.  For each extent, simply
 128  * unmap the corresponding range in the data fork, map the new range into
 129  * the data fork, and remove the extent from the CoW fork.  Because of
 130  * the presence of the cowextsize hint, however, we must be careful
 131  * only to remap the blocks that we've actually written out --  we must
 132  * never remap delalloc reservations nor CoW staging blocks that have
 133  * yet to be written.  This corresponds exactly to the real extents in
 134  * the CoW fork:
 135  *
 136  * D: --RRRRRRrrSRRRRRRRR---
 137  * C: ------UU--UUU---------
 138  *
 139  * Since the remapping operation can be applied to an arbitrary file
 140  * range, we record the need for the remap step as a flag in the ioend
 141  * instead of declaring a new IO type.  This is required for direct io
 142  * because we only have ioend for the whole dio, and we have to be able to
 143  * remember the presence of unwritten blocks and CoW blocks with a single
 144  * ioend structure.  Better yet, the more ground we can cover with one
 145  * ioend, the better.
 146  */
 147
 148 /*
 149  * Given an AG extent, find the lowest-numbered run of shared blocks
 150  * within that range and return the range in fbno/flen.  If
 151  * find_end_of_shared is true, return the longest contiguous extent of
 152  * shared blocks.  If there are no shared extents, fbno and flen will
 153  * be set to NULLAGBLOCK and 0, respectively.
 154  */
 155 int
 156 xfs_reflink_find_shared(
 157         struct xfs_mount        *mp,
 158         xfs_agnumber_t          agno,
 159         xfs_agblock_t           agbno,
 160         xfs_extlen_t            aglen,
 161         xfs_agblock_t           *fbno,
 162         xfs_extlen_t            *flen,
 163         bool                    find_end_of_shared)
 164 {
 165         struct xfs_buf          *agbp;
 166         struct xfs_btree_cur    *cur;
 167         int                     error;
 168
 169         error = xfs_alloc_read_agf(mp, NULL, agno, 0, &agbp);
 170         if (error)
 171                 return error;
 172         if (!agbp)
 173                 return -ENOMEM;
 174
 175         cur = xfs_refcountbt_init_cursor(mp, NULL, agbp, agno, NULL);
 176
 177         error = xfs_refcount_find_shared(cur, agbno, aglen, fbno, flen,
 178                         find_end_of_shared);
 179
 180         xfs_btree_del_cursor(cur, error ? XFS_BTREE_ERROR : XFS_BTREE_NOERROR);
 181
 182         xfs_buf_relse(agbp);
 183         return error;
 184 }
 185
 186 /*
 187  * Trim the mapping to the next block where there's a change in the
 188  * shared/unshared status.  More specifically, this means that we
 189  * find the lowest-numbered extent of shared blocks that coincides with
 190  * the given block mapping.  If the shared extent overlaps the start of
 191  * the mapping, trim the mapping to the end of the shared extent.  If
 192  * the shared region intersects the mapping, trim the mapping to the
 193  * start of the shared extent.  If there are no shared regions that
 194  * overlap, just return the original extent.
 195  */
 196 int
 197 xfs_reflink_trim_around_shared(
 198         struct xfs_inode        *ip,
 199         struct xfs_bmbt_irec    *irec,
 200         bool                    *shared,
 201         bool                    *trimmed)
 202 {
 203         xfs_agnumber_t          agno;
 204         xfs_agblock_t           agbno;
 205         xfs_extlen_t            aglen;
 206         xfs_agblock_t           fbno;
 207         xfs_extlen_t            flen;
 208         int                     error = 0;
 209
 210         /* Holes, unwritten, and delalloc extents cannot be shared */
 211         if (!xfs_is_reflink_inode(ip) ||
 212             ISUNWRITTEN(irec) ||
 213             irec->br_startblock == HOLESTARTBLOCK ||
 214             irec->br_startblock == DELAYSTARTBLOCK ||
 215             isnullstartblock(irec->br_startblock)) {
 216                 *shared = false;
 217                 return 0;
 218         }
 219
 220         trace_xfs_reflink_trim_around_shared(ip, irec);
 221
 222         agno = XFS_FSB_TO_AGNO(ip->i_mount, irec->br_startblock);
 223         agbno = XFS_FSB_TO_AGBNO(ip->i_mount, irec->br_startblock);
 224         aglen = irec->br_blockcount;
 225
 226         error = xfs_reflink_find_shared(ip->i_mount, agno, agbno,
 227                         aglen, &fbno, &flen, true);
 228         if (error)
 229                 return error;
 230
 231         *shared = *trimmed = false;
 232         if (fbno == NULLAGBLOCK) {
 233                 /* No shared blocks at all. */
 234                 return 0;
 235         } else if (fbno == agbno) {
 236                 /*
 237                  * The start of this extent is shared.  Truncate the
 238                  * mapping at the end of the shared region so that a
 239                  * subsequent iteration starts at the start of the
 240                  * unshared region.
 241                  */
 242                 irec->br_blockcount = flen;
 243                 *shared = true;
 244                 if (flen != aglen)
 245                         *trimmed = true;
 246                 return 0;
 247         } else {
 248                 /*
 249                  * There's a shared extent midway through this extent.
 250                  * Truncate the mapping at the start of the shared
 251                  * extent so that a subsequent iteration starts at the
 252                  * start of the shared region.
 253                  */
 254                 irec->br_blockcount = fbno - agbno;
 255                 *trimmed = true;
 256                 return 0;
 257         }
 258 }
 259
 260 /*
 261  * Trim the passed in imap to the next shared/unshared extent boundary, and
 262  * if imap->br_startoff points to a shared extent reserve space for it in the
 263  * COW fork.  In this case *shared is set to true, else to false.
 264  *
 265  * Note that imap will always contain the block numbers for the existing blocks
 266  * in the data fork, as the upper layers need them for read-modify-write
 267  * operations.
 268  */
 269 int
 270 xfs_reflink_reserve_cow(
 271         struct xfs_inode        *ip,
 272         struct xfs_bmbt_irec    *imap,
 273         bool                    *shared)
 274 {
 275         struct xfs_ifork        *ifp = XFS_IFORK_PTR(ip, XFS_COW_FORK);
 276         struct xfs_bmbt_irec    got;
 277         int                     error = 0;
 278         bool                    eof = false, trimmed;
 279         xfs_extnum_t            idx;
 280
 281         /*
 282          * Search the COW fork extent list first.  This serves two purposes:
 283          * first this implement the speculative preallocation using cowextisze,
 284          * so that we also unshared block adjacent to shared blocks instead
 285          * of just the shared blocks themselves.  Second the lookup in the
 286          * extent list is generally faster than going out to the shared extent
 287          * tree.
 288          */
 289
 290         if (!xfs_iext_lookup_extent(ip, ifp, imap->br_startoff, &idx, &got))
 291                 eof = true;
 292         if (!eof && got.br_startoff <= imap->br_startoff) {
 293                 trace_xfs_reflink_cow_found(ip, imap);
 294                 xfs_trim_extent(imap, got.br_startoff, got.br_blockcount);
 295
 296                 *shared = true;
 297                 return 0;
 298         }
 299
 300         /* Trim the mapping to the nearest shared extent boundary. */
 301         error = xfs_reflink_trim_around_shared(ip, imap, shared, &trimmed);
 302         if (error)
 303                 return error;
 304
 305         /* Not shared?  Just report the (potentially capped) extent. */
 306         if (!*shared)
 307                 return 0;
 308
 309         /*
 310          * Fork all the shared blocks from our write offset until the end of
 311          * the extent.
 312          */
 313         error = xfs_qm_dqattach_locked(ip, 0);
 314         if (error)
 315                 return error;
 316
 317         error = xfs_bmapi_reserve_delalloc(ip, XFS_COW_FORK, imap->br_startoff,
 318                         imap->br_blockcount, 0, &got, &idx, eof);
 319         if (error == -ENOSPC || error == -EDQUOT)
 320                 trace_xfs_reflink_cow_enospc(ip, imap);
 321         if (error)
 322                 return error;
 323
 324         trace_xfs_reflink_cow_alloc(ip, &got);
 325         return 0;
 326 }
 327
 328 /* Convert part of an unwritten CoW extent to a real one. */
 329 STATIC int
 330 xfs_reflink_convert_cow_extent(
 331         struct xfs_inode                *ip,
 332         struct xfs_bmbt_irec            *imap,
 333         xfs_fileoff_t                   offset_fsb,
 334         xfs_filblks_t                   count_fsb,
 335         struct xfs_defer_ops            *dfops)
 336 {
 337         struct xfs_bmbt_irec            irec = *imap;
 338         xfs_fsblock_t                   first_block = NULLFSBLOCK;
 339         int                             nimaps = 1;
 340
 341         if (imap->br_state == XFS_EXT_NORM)
 342                 return 0;
 343
 344         xfs_trim_extent(&irec, offset_fsb, count_fsb);
 345         trace_xfs_reflink_convert_cow(ip, &irec);
 346         if (irec.br_blockcount == 0)
 347                 return 0;
 348         return xfs_bmapi_write(NULL, ip, irec.br_startoff, irec.br_blockcount,
 349                         XFS_BMAPI_COWFORK | XFS_BMAPI_CONVERT, &first_block,
 350                         0, &irec, &nimaps, dfops);
 351 }
 352
 353 /* Convert all of the unwritten CoW extents in a file's range to real ones. */
 354 int
 355 xfs_reflink_convert_cow(
 356         struct xfs_inode        *ip,
 357         xfs_off_t               offset,
 358         xfs_off_t               count)
 359 {
 360         struct xfs_bmbt_irec    got;
 361         struct xfs_defer_ops    dfops;
 362         struct xfs_mount        *mp = ip->i_mount;
 363         struct xfs_ifork        *ifp = XFS_IFORK_PTR(ip, XFS_COW_FORK);
 364         xfs_fileoff_t           offset_fsb = XFS_B_TO_FSBT(mp, offset);
 365         xfs_fileoff_t           end_fsb = XFS_B_TO_FSB(mp, offset + count);
 366         xfs_extnum_t            idx;
 367         bool                    found;
 368         int                     error = 0;
 369
 370         xfs_ilock(ip, XFS_ILOCK_EXCL);
 371
 372         /* Convert all the extents to real from unwritten. */
 373         for (found = xfs_iext_lookup_extent(ip, ifp, offset_fsb, &idx, &got);
 374              found && got.br_startoff < end_fsb;
 375              found = xfs_iext_get_extent(ifp, ++idx, &got)) {
 376                 error = xfs_reflink_convert_cow_extent(ip, &got, offset_fsb,
 377                                 end_fsb - offset_fsb, &dfops);
 378                 if (error)
 379                         break;
 380         }
 381
 382         /* Finish up. */
 383         xfs_iunlock(ip, XFS_ILOCK_EXCL);
 384         return error;
 385 }
 386
 387 /* Allocate all CoW reservations covering a range of blocks in a file. */
 388 static int
 389 __xfs_reflink_allocate_cow(
 390         struct xfs_inode        *ip,
 391         xfs_fileoff_t           *offset_fsb,
 392         xfs_fileoff_t           end_fsb)
 393 {
 394         struct xfs_mount        *mp = ip->i_mount;
 395         struct xfs_bmbt_irec    imap;
 396         struct xfs_defer_ops    dfops;
 397         struct xfs_trans        *tp;
 398         xfs_fsblock_t           first_block;
 399         int                     nimaps = 1, error;
 400         bool                    shared;
 401
 402         xfs_defer_init(&dfops, &first_block);
 403
 404         error = xfs_trans_alloc(mp, &M_RES(mp)->tr_write, 0, 0,
 405                         XFS_TRANS_RESERVE, &tp);
 406         if (error)
 407                 return error;
 408
 409         xfs_ilock(ip, XFS_ILOCK_EXCL);
 410
 411         /* Read extent from the source file. */
 412         nimaps = 1;
 413         error = xfs_bmapi_read(ip, *offset_fsb, end_fsb - *offset_fsb,
 414                         &imap, &nimaps, 0);
 415         if (error)
 416                 goto out_unlock;
 417         ASSERT(nimaps == 1);
 418
 419         /* Make sure there's a CoW reservation for it. */
 420         error = xfs_reflink_reserve_cow(ip, &imap, &shared);
 421         if (error)
 422                 goto out_trans_cancel;
 423
 424         if (!shared) {
 425                 *offset_fsb = imap.br_startoff + imap.br_blockcount;
 426                 goto out_trans_cancel;
 427         }
 428
 429         /* Allocate the entire reservation as unwritten blocks. */
 430         xfs_trans_ijoin(tp, ip, 0);
 431         error = xfs_bmapi_write(tp, ip, imap.br_startoff, imap.br_blockcount,
 432                         XFS_BMAPI_COWFORK | XFS_BMAPI_PREALLOC, &first_block,
 433                         XFS_EXTENTADD_SPACE_RES(mp, XFS_DATA_FORK),
 434                         &imap, &nimaps, &dfops);
 435         if (error)
 436                 goto out_trans_cancel;
 437
 438         /* Finish up. */
 439         error = xfs_defer_finish(&tp, &dfops, NULL);
 440         if (error)
 441                 goto out_trans_cancel;
 442
 443         error = xfs_trans_commit(tp);
 444
 445         *offset_fsb = imap.br_startoff + imap.br_blockcount;
 446 out_unlock:
 447         xfs_iunlock(ip, XFS_ILOCK_EXCL);
 448         return error;
 449 out_trans_cancel:
 450         xfs_defer_cancel(&dfops);
 451         xfs_trans_cancel(tp);
 452         goto out_unlock;
 453 }
 454
 455 /* Allocate all CoW reservations covering a part of a file. */
 456 int
 457 xfs_reflink_allocate_cow_range(
 458         struct xfs_inode        *ip,
 459         xfs_off_t               offset,
 460         xfs_off_t               count)
 461 {
 462         struct xfs_mount        *mp = ip->i_mount;
 463         xfs_fileoff_t           offset_fsb = XFS_B_TO_FSBT(mp, offset);
 464         xfs_fileoff_t           end_fsb = XFS_B_TO_FSB(mp, offset + count);
 465         int                     error;
 466
 467         ASSERT(xfs_is_reflink_inode(ip));
 468
 469         trace_xfs_reflink_allocate_cow_range(ip, offset, count);
 470
 471         /*
 472          * Make sure that the dquots are there.
 473          */
 474         error = xfs_qm_dqattach(ip, 0);
 475         if (error)
 476                 return error;
 477
 478         while (offset_fsb < end_fsb) {
 479                 error = __xfs_reflink_allocate_cow(ip, &offset_fsb, end_fsb);
 480                 if (error) {
 481                         trace_xfs_reflink_allocate_cow_range_error(ip, error,
 482                                         _RET_IP_);
 483                         return error;
 484                 }
 485         }
 486
 487         /* Convert the CoW extents to regular. */
 488         return xfs_reflink_convert_cow(ip, offset, count);
 489 }
 490
 491 /*
 492  * Find the CoW reservation (and whether or not it needs block allocation)
 493  * for a given byte offset of a file.
 494  */
 495 bool
 496 xfs_reflink_find_cow_mapping(
 497         struct xfs_inode                *ip,
 498         xfs_off_t                       offset,
 499         struct xfs_bmbt_irec            *imap,
 500         bool                            *need_alloc)
 501 {
 502         struct xfs_bmbt_irec            irec;
 503         struct xfs_ifork                *ifp;
 504         struct xfs_bmbt_rec_host        *gotp;
 505         xfs_fileoff_t                   bno;
 506         xfs_extnum_t                    idx;
 507
 508         ASSERT(xfs_isilocked(ip, XFS_ILOCK_EXCL | XFS_ILOCK_SHARED));
 509         ASSERT(xfs_is_reflink_inode(ip));
 510
 511         /* Find the extent in the CoW fork. */
 512         ifp = XFS_IFORK_PTR(ip, XFS_COW_FORK);
 513         bno = XFS_B_TO_FSBT(ip->i_mount, offset);
 514         gotp = xfs_iext_bno_to_ext(ifp, bno, &idx);
 515         if (!gotp)
 516                 return false;
 517
 518         xfs_bmbt_get_all(gotp, &irec);
 519         if (bno >= irec.br_startoff + irec.br_blockcount ||
 520             bno < irec.br_startoff)
 521                 return false;
 522
 523         trace_xfs_reflink_find_cow_mapping(ip, offset, 1, XFS_IO_OVERWRITE,
 524                         &irec);
 525
 526         /* If it's still delalloc, we must allocate later. */
 527         *imap = irec;
 528         *need_alloc = !!(isnullstartblock(irec.br_startblock));
 529
 530         return true;
 531 }
 532
 533 /*
 534  * Trim an extent to end at the next CoW reservation past offset_fsb.
 535  */
 536 int
 537 xfs_reflink_trim_irec_to_next_cow(
 538         struct xfs_inode                *ip,
 539         xfs_fileoff_t                   offset_fsb,
 540         struct xfs_bmbt_irec            *imap)
 541 {
 542         struct xfs_bmbt_irec            irec;
 543         struct xfs_ifork                *ifp;
 544         struct xfs_bmbt_rec_host        *gotp;
 545         xfs_extnum_t                    idx;
 546
 547         if (!xfs_is_reflink_inode(ip))
 548                 return 0;
 549
 550         /* Find the extent in the CoW fork. */
 551         ifp = XFS_IFORK_PTR(ip, XFS_COW_FORK);
 552         gotp = xfs_iext_bno_to_ext(ifp, offset_fsb, &idx);
 553         if (!gotp)
 554                 return 0;
 555         xfs_bmbt_get_all(gotp, &irec);
 556
 557         /* This is the extent before; try sliding up one. */
 558         if (irec.br_startoff < offset_fsb) {
 559                 idx++;
 560                 if (idx >= xfs_iext_count(ifp))
 561                         return 0;
 562                 gotp = xfs_iext_get_ext(ifp, idx);
 563                 xfs_bmbt_get_all(gotp, &irec);
 564         }
 565
 566         if (irec.br_startoff >= imap->br_startoff + imap->br_blockcount)
 567                 return 0;
 568
 569         imap->br_blockcount = irec.br_startoff - imap->br_startoff;
 570         trace_xfs_reflink_trim_irec(ip, imap);
 571
 572         return 0;
 573 }
 574
 575 /*
 576  * Cancel CoW reservations for some block range of an inode.
 577  *
 578  * If cancel_real is true this function cancels all COW fork extents for the
 579  * inode; if cancel_real is false, real extents are not cleared.
 580  */
 581 int
 582 xfs_reflink_cancel_cow_blocks(
 583         struct xfs_inode                *ip,
 584         struct xfs_trans                **tpp,
 585         xfs_fileoff_t                   offset_fsb,
 586         xfs_fileoff_t                   end_fsb,
 587         bool                            cancel_real)
 588 {
 589         struct xfs_ifork                *ifp = XFS_IFORK_PTR(ip, XFS_COW_FORK);
 590         struct xfs_bmbt_irec            got, prev, del;
 591         xfs_extnum_t                    idx;
 592         xfs_fsblock_t                   firstfsb;
 593         struct xfs_defer_ops            dfops;
 594         int                             error = 0, eof = 0;
 595
 596         if (!xfs_is_reflink_inode(ip))
 597                 return 0;
 598
 599         xfs_bmap_search_extents(ip, offset_fsb, XFS_COW_FORK, &eof, &idx,
 600                         &got, &prev);
 601         if (eof)
 602                 return 0;
 603
 604         while (got.br_startoff < end_fsb) {
 605                 del = got;
 606                 xfs_trim_extent(&del, offset_fsb, end_fsb - offset_fsb);
 607                 trace_xfs_reflink_cancel_cow(ip, &del);
 608
 609                 if (isnullstartblock(del.br_startblock)) {
 610                         error = xfs_bmap_del_extent_delay(ip, XFS_COW_FORK,
 611                                         &idx, &got, &del);
 612                         if (error)
 613                                 break;
 614                 } else if (del.br_state == XFS_EXT_UNWRITTEN || cancel_real) {
 615                         xfs_trans_ijoin(*tpp, ip, 0);
 616                         xfs_defer_init(&dfops, &firstfsb);
 617
 618                         /* Free the CoW orphan record. */
 619                         error = xfs_refcount_free_cow_extent(ip->i_mount,
 620                                         &dfops, del.br_startblock,
 621                                         del.br_blockcount);
 622                         if (error)
 623                                 break;
 624
 625                         xfs_bmap_add_free(ip->i_mount, &dfops,
 626                                         del.br_startblock, del.br_blockcount,
 627                                         NULL);
 628
 629                         /* Update quota accounting */
 630                         xfs_trans_mod_dquot_byino(*tpp, ip, XFS_TRANS_DQ_BCOUNT,
 631                                         -(long)del.br_blockcount);
 632
 633                         /* Roll the transaction */
 634                         error = xfs_defer_finish(tpp, &dfops, ip);
 635                         if (error) {
 636                                 xfs_defer_cancel(&dfops);
 637                                 break;
 638                         }
 639
 640                         /* Remove the mapping from the CoW fork. */
 641                         xfs_bmap_del_extent_cow(ip, &idx, &got, &del);
 642                 }
 643
 644                 if (++idx >= xfs_iext_count(ifp))
 645                         break;
 646                 xfs_bmbt_get_all(xfs_iext_get_ext(ifp, idx), &got);
 647         }
 648
 649         /* clear tag if cow fork is emptied */
 650         if (!ifp->if_bytes)
 651                 xfs_inode_clear_cowblocks_tag(ip);
 652
 653         return error;
 654 }
 655
 656 /*
 657  * Cancel CoW reservations for some byte range of an inode.
 658  *
 659  * If cancel_real is true this function cancels all COW fork extents for the
 660  * inode; if cancel_real is false, real extents are not cleared.
 661  */
 662 int
 663 xfs_reflink_cancel_cow_range(
 664         struct xfs_inode        *ip,
 665         xfs_off_t               offset,
 666         xfs_off_t               count,
 667         bool                    cancel_real)
 668 {
 669         struct xfs_trans        *tp;
 670         xfs_fileoff_t           offset_fsb;
 671         xfs_fileoff_t           end_fsb;
 672         int                     error;
 673
 674         trace_xfs_reflink_cancel_cow_range(ip, offset, count);
 675         ASSERT(xfs_is_reflink_inode(ip));
 676
 677         offset_fsb = XFS_B_TO_FSBT(ip->i_mount, offset);
 678         if (count == NULLFILEOFF)
 679                 end_fsb = NULLFILEOFF;
 680         else
 681                 end_fsb = XFS_B_TO_FSB(ip->i_mount, offset + count);
 682
 683         /* Start a rolling transaction to remove the mappings */
 684         error = xfs_trans_alloc(ip->i_mount, &M_RES(ip->i_mount)->tr_write,
 685                         0, 0, 0, &tp);
 686         if (error)
 687                 goto out;
 688
 689         xfs_ilock(ip, XFS_ILOCK_EXCL);
 690         xfs_trans_ijoin(tp, ip, 0);
 691
 692         /* Scrape out the old CoW reservations */
 693         error = xfs_reflink_cancel_cow_blocks(ip, &tp, offset_fsb, end_fsb,
 694                         cancel_real);
 695         if (error)
 696                 goto out_cancel;
 697
 698         error = xfs_trans_commit(tp);
 699
 700         xfs_iunlock(ip, XFS_ILOCK_EXCL);
 701         return error;
 702
 703 out_cancel:
 704         xfs_trans_cancel(tp);
 705         xfs_iunlock(ip, XFS_ILOCK_EXCL);
 706 out:
 707         trace_xfs_reflink_cancel_cow_range_error(ip, error, _RET_IP_);
 708         return error;
 709 }
 710
 711 /*
 712  * Remap parts of a file's data fork after a successful CoW.
 713  */
 714 int
 715 xfs_reflink_end_cow(
 716         struct xfs_inode                *ip,
 717         xfs_off_t                       offset,
 718         xfs_off_t                       count)
 719 {
 720         struct xfs_ifork                *ifp = XFS_IFORK_PTR(ip, XFS_COW_FORK);
 721         struct xfs_bmbt_irec            got, prev, del;
 722         struct xfs_trans                *tp;
 723         xfs_fileoff_t                   offset_fsb;
 724         xfs_fileoff_t                   end_fsb;
 725         xfs_fsblock_t                   firstfsb;
 726         struct xfs_defer_ops            dfops;
 727         int                             error, eof = 0;
 728         unsigned int                    resblks;
 729         xfs_filblks_t                   rlen;
 730         xfs_extnum_t                    idx;
 731
 732         trace_xfs_reflink_end_cow(ip, offset, count);
 733
 734         /* No COW extents?  That's easy! */
 735         if (ifp->if_bytes == 0)
 736                 return 0;
 737
 738         offset_fsb = XFS_B_TO_FSBT(ip->i_mount, offset);
 739         end_fsb = XFS_B_TO_FSB(ip->i_mount, offset + count);
 740
 741         /*
 742          * Start a rolling transaction to switch the mappings.  We're
 743          * unlikely ever to have to remap 16T worth of single-block
 744          * extents, so just cap the worst case extent count to 2^32-1.
 745          * Stick a warning in just in case, and avoid 64-bit division.
 746          */
 747         BUILD_BUG_ON(MAX_RW_COUNT > UINT_MAX);
 748         if (end_fsb - offset_fsb > UINT_MAX) {
 749                 error = -EFSCORRUPTED;
 750                 xfs_force_shutdown(ip->i_mount, SHUTDOWN_CORRUPT_INCORE);
 751                 ASSERT(0);
 752                 goto out;
 753         }
 754         resblks = XFS_NEXTENTADD_SPACE_RES(ip->i_mount,
 755                         (unsigned int)(end_fsb - offset_fsb),
 756                         XFS_DATA_FORK);
 757         error = xfs_trans_alloc(ip->i_mount, &M_RES(ip->i_mount)->tr_write,
 758                         resblks, 0, 0, &tp);
 759         if (error)
 760                 goto out;
 761
 762         xfs_ilock(ip, XFS_ILOCK_EXCL);
 763         xfs_trans_ijoin(tp, ip, 0);
 764
 765         xfs_bmap_search_extents(ip, end_fsb - 1, XFS_COW_FORK, &eof, &idx,
 766                         &got, &prev);
 767
 768         /* If there is a hole at end_fsb - 1 go to the previous extent */
 769         if (eof || got.br_startoff > end_fsb) {
 770                 /*
 771                  * In case of racing, overlapping AIO writes no COW extents
 772                  * might be left by the time I/O completes for the loser of
 773                  * the race.  In that case we are done.
 774                  */
 775                 if (idx <= 0)
 776                         goto out_cancel;
 777                 xfs_bmbt_get_all(xfs_iext_get_ext(ifp, --idx), &got);
 778         }
 779
 780         /* Walk backwards until we're out of the I/O range... */
 781         while (got.br_startoff + got.br_blockcount > offset_fsb) {
 782                 del = got;
 783                 xfs_trim_extent(&del, offset_fsb, end_fsb - offset_fsb);
 784
 785                 /* Extent delete may have bumped idx forward */
 786                 if (!del.br_blockcount) {
 787                         idx--;
 788                         goto next_extent;
 789                 }
 790
 791                 ASSERT(!isnullstartblock(got.br_startblock));
 792
 793                 /*
 794                  * Don't remap unwritten extents; these are
 795                  * speculatively preallocated CoW extents that have been
 796                  * allocated but have not yet been involved in a write.
 797                  */
 798                 if (got.br_state == XFS_EXT_UNWRITTEN) {
 799                         idx--;
 800                         goto next_extent;
 801                 }
 802
 803                 /* Unmap the old blocks in the data fork. */
 804                 xfs_defer_init(&dfops, &firstfsb);
 805                 rlen = del.br_blockcount;
 806                 error = __xfs_bunmapi(tp, ip, del.br_startoff, &rlen, 0, 1,
 807                                 &firstfsb, &dfops);
 808                 if (error)
 809                         goto out_defer;
 810
 811                 /* Trim the extent to whatever got unmapped. */
 812                 if (rlen) {
 813                         xfs_trim_extent(&del, del.br_startoff + rlen,
 814                                 del.br_blockcount - rlen);
 815                 }
 816                 trace_xfs_reflink_cow_remap(ip, &del);
 817
 818                 /* Free the CoW orphan record. */
 819                 error = xfs_refcount_free_cow_extent(tp->t_mountp, &dfops,
 820                                 del.br_startblock, del.br_blockcount);
 821                 if (error)
 822                         goto out_defer;
 823
 824                 /* Map the new blocks into the data fork. */
 825                 error = xfs_bmap_map_extent(tp->t_mountp, &dfops, ip, &del);
 826                 if (error)
 827                         goto out_defer;
 828
 829                 /* Remove the mapping from the CoW fork. */
 830                 xfs_bmap_del_extent_cow(ip, &idx, &got, &del);
 831
 832                 error = xfs_defer_finish(&tp, &dfops, ip);
 833                 if (error)
 834                         goto out_defer;
 835
 836 next_extent:
 837                 if (idx < 0)
 838                         break;
 839                 xfs_bmbt_get_all(xfs_iext_get_ext(ifp, idx), &got);
 840         }
 841
 842         error = xfs_trans_commit(tp);
 843         xfs_iunlock(ip, XFS_ILOCK_EXCL);
 844         if (error)
 845                 goto out;
 846         return 0;
 847
 848 out_defer:
 849         xfs_defer_cancel(&dfops);
 850 out_cancel:
 851         xfs_trans_cancel(tp);
 852         xfs_iunlock(ip, XFS_ILOCK_EXCL);
 853 out:
 854         trace_xfs_reflink_end_cow_error(ip, error, _RET_IP_);
 855         return error;
 856 }
 857
 858 /*
 859  * Free leftover CoW reservations that didn't get cleaned out.
 860  */
 861 int
 862 xfs_reflink_recover_cow(
 863         struct xfs_mount        *mp)
 864 {
 865         xfs_agnumber_t          agno;
 866         int                     error = 0;
 867
 868         if (!xfs_sb_version_hasreflink(&mp->m_sb))
 869                 return 0;
 870
 871         for (agno = 0; agno < mp->m_sb.sb_agcount; agno++) {
 872                 error = xfs_refcount_recover_cow_leftovers(mp, agno);
 873                 if (error)
 874                         break;
 875         }
 876
 877         return error;
 878 }
 879
 880 /*
 881  * Reflinking (Block) Ranges of Two Files Together
 882  *
 883  * First, ensure that the reflink flag is set on both inodes.  The flag is an
 884  * optimization to avoid unnecessary refcount btree lookups in the write path.
 885  *
 886  * Now we can iteratively remap the range of extents (and holes) in src to the
 887  * corresponding ranges in dest.  Let drange and srange denote the ranges of
 888  * logical blocks in dest and src touched by the reflink operation.
 889  *
 890  * While the length of drange is greater than zero,
 891  *    - Read src's bmbt at the start of srange ("imap")
 892  *    - If imap doesn't exist, make imap appear to start at the end of srange
 893  *      with zero length.
 894  *    - If imap starts before srange, advance imap to start at srange.
 895  *    - If imap goes beyond srange, truncate imap to end at the end of srange.
 896  *    - Punch (imap start - srange start + imap len) blocks from dest at
 897  *      offset (drange start).
 898  *    - If imap points to a real range of pblks,
 899  *         > Increase the refcount of the imap's pblks
 900  *         > Map imap's pblks into dest at the offset
 901  *           (drange start + imap start - srange start)
 902  *    - Advance drange and srange by (imap start - srange start + imap len)
 903  *
 904  * Finally, if the reflink made dest longer, update both the in-core and
 905  * on-disk file sizes.
 906  *
 907  * ASCII Art Demonstration:
 908  *
 909  * Let's say we want to reflink this source file:
 910  *
 911  * ----SSSSSSS-SSSSS----SSSSSS (src file)
 912  *   <-------------------->
 913  *
 914  * into this destination file:
 915  *
 916  * --DDDDDDDDDDDDDDDDDDD--DDD (dest file)
 917  *        <-------------------->
 918  * '-' means a hole, and 'S' and 'D' are written blocks in the src and dest.
 919  * Observe that the range has different logical offsets in either file.
 920  *
 921  * Consider that the first extent in the source file doesn't line up with our
 922  * reflink range.  Unmapping  and remapping are separate operations, so we can
 923  * unmap more blocks from the destination file than we remap.
 924  *
 925  * ----SSSSSSS-SSSSS----SSSSSS
 926  *   <------->
 927  * --DDDDD---------DDDDD--DDD
 928  *        <------->
 929  *
 930  * Now remap the source extent into the destination file:
 931  *
 932  * ----SSSSSSS-SSSSS----SSSSSS
 933  *   <------->
 934  * --DDDDD--SSSSSSSDDDDD--DDD
 935  *        <------->
 936  *
 937  * Do likewise with the second hole and extent in our range.  Holes in the
 938  * unmap range don't affect our operation.
 939  *
 940  * ----SSSSSSS-SSSSS----SSSSSS
 941  *            <---->
 942  * --DDDDD--SSSSSSS-SSSSS-DDD
 943  *                 <---->
 944  *
 945  * Finally, unmap and remap part of the third extent.  This will increase the
 946  * size of the destination file.
 947  *
 948  * ----SSSSSSS-SSSSS----SSSSSS
 949  *                  <----->
 950  * --DDDDD--SSSSSSS-SSSSS----SSS
 951  *                       <----->
 952  *
 953  * Once we update the destination file's i_size, we're done.
 954  */
 955
 956 /*
 957  * Ensure the reflink bit is set in both inodes.
 958  */
 959 STATIC int
 960 xfs_reflink_set_inode_flag(
 961         struct xfs_inode        *src,
 962         struct xfs_inode        *dest)
 963 {
 964         struct xfs_mount        *mp = src->i_mount;
 965         int                     error;
 966         struct xfs_trans        *tp;
 967
 968         if (xfs_is_reflink_inode(src) && xfs_is_reflink_inode(dest))
 969                 return 0;
 970
 971         error = xfs_trans_alloc(mp, &M_RES(mp)->tr_ichange, 0, 0, 0, &tp);
 972         if (error)
 973                 goto out_error;
 974
 975         /* Lock both files against IO */
 976         if (src->i_ino == dest->i_ino)
 977                 xfs_ilock(src, XFS_ILOCK_EXCL);
 978         else
 979                 xfs_lock_two_inodes(src, dest, XFS_ILOCK_EXCL);
 980
 981         if (!xfs_is_reflink_inode(src)) {
 982                 trace_xfs_reflink_set_inode_flag(src);
 983                 xfs_trans_ijoin(tp, src, XFS_ILOCK_EXCL);
 984                 src->i_d.di_flags2 |= XFS_DIFLAG2_REFLINK;
 985                 xfs_trans_log_inode(tp, src, XFS_ILOG_CORE);
 986                 xfs_ifork_init_cow(src);
 987         } else
 988                 xfs_iunlock(src, XFS_ILOCK_EXCL);
 989
 990         if (src->i_ino == dest->i_ino)
 991                 goto commit_flags;
 992
 993         if (!xfs_is_reflink_inode(dest)) {
 994                 trace_xfs_reflink_set_inode_flag(dest);
 995                 xfs_trans_ijoin(tp, dest, XFS_ILOCK_EXCL);
 996                 dest->i_d.di_flags2 |= XFS_DIFLAG2_REFLINK;
 997                 xfs_trans_log_inode(tp, dest, XFS_ILOG_CORE);
 998                 xfs_ifork_init_cow(dest);
 999         } else
1000                 xfs_iunlock(dest, XFS_ILOCK_EXCL);
1001
1002 commit_flags:
1003         error = xfs_trans_commit(tp);
1004         if (error)
1005                 goto out_error;
1006         return error;
1007
1008 out_error:
1009         trace_xfs_reflink_set_inode_flag_error(dest, error, _RET_IP_);
1010         return error;
1011 }
1012
1013 /*
1014  * Update destination inode size & cowextsize hint, if necessary.
1015  */
1016 STATIC int
1017 xfs_reflink_update_dest(
1018         struct xfs_inode        *dest,
1019         xfs_off_t               newlen,
1020         xfs_extlen_t            cowextsize,
1021         bool                    is_dedupe)
1022 {
1023         struct xfs_mount        *mp = dest->i_mount;
1024         struct xfs_trans        *tp;
1025         int                     error;
1026
1027         if (is_dedupe && newlen <= i_size_read(VFS_I(dest)) && cowextsize == 0)
1028                 return 0;
1029
1030         error = xfs_trans_alloc(mp, &M_RES(mp)->tr_ichange, 0, 0, 0, &tp);
1031         if (error)
1032                 goto out_error;
1033
1034         xfs_ilock(dest, XFS_ILOCK_EXCL);
1035         xfs_trans_ijoin(tp, dest, XFS_ILOCK_EXCL);
1036
1037         if (newlen > i_size_read(VFS_I(dest))) {
1038                 trace_xfs_reflink_update_inode_size(dest, newlen);
1039                 i_size_write(VFS_I(dest), newlen);
1040                 dest->i_d.di_size = newlen;
1041         }
1042
1043         if (cowextsize) {
1044                 dest->i_d.di_cowextsize = cowextsize;
1045                 dest->i_d.di_flags2 |= XFS_DIFLAG2_COWEXTSIZE;
1046         }
1047
1048         if (!is_dedupe) {
1049                 xfs_trans_ichgtime(tp, dest,
1050                                    XFS_ICHGTIME_MOD | XFS_ICHGTIME_CHG);
1051         }
1052         xfs_trans_log_inode(tp, dest, XFS_ILOG_CORE);
1053
1054         error = xfs_trans_commit(tp);
1055         if (error)
1056                 goto out_error;
1057         return error;
1058
1059 out_error:
1060         trace_xfs_reflink_update_inode_size_error(dest, error, _RET_IP_);
1061         return error;
1062 }
1063
1064 /*
1065  * Do we have enough reserve in this AG to handle a reflink?  The refcount
1066  * btree already reserved all the space it needs, but the rmap btree can grow
1067  * infinitely, so we won't allow more reflinks when the AG is down to the
1068  * btree reserves.
1069  */
1070 static int
1071 xfs_reflink_ag_has_free_space(
1072         struct xfs_mount        *mp,
1073         xfs_agnumber_t          agno)
1074 {
1075         struct xfs_perag        *pag;
1076         int                     error = 0;
1077
1078         if (!xfs_sb_version_hasrmapbt(&mp->m_sb))
1079                 return 0;
1080
1081         pag = xfs_perag_get(mp, agno);
1082         if (xfs_ag_resv_critical(pag, XFS_AG_RESV_AGFL) ||
1083             xfs_ag_resv_critical(pag, XFS_AG_RESV_METADATA))
1084                 error = -ENOSPC;
1085         xfs_perag_put(pag);
1086         return error;
1087 }
1088
1089 /*
1090  * Unmap a range of blocks from a file, then map other blocks into the hole.
1091  * The range to unmap is (destoff : destoff + srcioff + irec->br_blockcount).
1092  * The extent irec is mapped into dest at irec->br_startoff.
1093  */
1094 STATIC int
1095 xfs_reflink_remap_extent(
1096         struct xfs_inode        *ip,
1097         struct xfs_bmbt_irec    *irec,
1098         xfs_fileoff_t           destoff,
1099         xfs_off_t               new_isize)
1100 {
1101         struct xfs_mount        *mp = ip->i_mount;
1102         struct xfs_trans        *tp;
1103         xfs_fsblock_t           firstfsb;
1104         unsigned int            resblks;
1105         struct xfs_defer_ops    dfops;
1106         struct xfs_bmbt_irec    uirec;
1107         bool                    real_extent;
1108         xfs_filblks_t           rlen;
1109         xfs_filblks_t           unmap_len;
1110         xfs_off_t               newlen;
1111         int64_t                 qres;
1112         int                     error;
1113
1114         unmap_len = irec->br_startoff + irec->br_blockcount - destoff;
1115         trace_xfs_reflink_punch_range(ip, destoff, unmap_len);
1116
1117         /* Only remap normal extents. */
1118         real_extent =  (irec->br_startblock != HOLESTARTBLOCK &&
1119                         irec->br_startblock != DELAYSTARTBLOCK &&
1120                         !ISUNWRITTEN(irec));
1121
1122         /* No reflinking if we're low on space */
1123         if (real_extent) {
1124                 error = xfs_reflink_ag_has_free_space(mp,
1125                                 XFS_FSB_TO_AGNO(mp, irec->br_startblock));
1126                 if (error)
1127                         goto out;
1128         }
1129
1130         /* Start a rolling transaction to switch the mappings */
1131         resblks = XFS_EXTENTADD_SPACE_RES(ip->i_mount, XFS_DATA_FORK);
1132         error = xfs_trans_alloc(mp, &M_RES(mp)->tr_write, resblks, 0, 0, &tp);
1133         if (error)
1134                 goto out;
1135
1136         xfs_ilock(ip, XFS_ILOCK_EXCL);
1137         xfs_trans_ijoin(tp, ip, 0);
1138
1139         /*
1140          * Reserve quota for this operation.  We don't know if the first unmap
1141          * in the dest file will cause a bmap btree split, so we always reserve
1142          * at least enough blocks for that split.  If the extent being mapped
1143          * in is written, we need to reserve quota for that too.
1144          */
1145         qres = XFS_EXTENTADD_SPACE_RES(mp, XFS_DATA_FORK);
1146         if (real_extent)
1147                 qres += irec->br_blockcount;
1148         error = xfs_trans_reserve_quota_nblks(tp, ip, qres, 0,
1149                         XFS_QMOPT_RES_REGBLKS);
1150         if (error)
1151                 goto out_cancel;
1152
1153         trace_xfs_reflink_remap(ip, irec->br_startoff,
1154                                 irec->br_blockcount, irec->br_startblock);
1155
1156         /* Unmap the old blocks in the data fork. */
1157         rlen = unmap_len;
1158         while (rlen) {
1159                 xfs_defer_init(&dfops, &firstfsb);
1160                 error = __xfs_bunmapi(tp, ip, destoff, &rlen, 0, 1,
1161                                 &firstfsb, &dfops);
1162                 if (error)
1163                         goto out_defer;
1164
1165                 /*
1166                  * Trim the extent to whatever got unmapped.
1167                  * Remember, bunmapi works backwards.
1168                  */
1169                 uirec.br_startblock = irec->br_startblock + rlen;
1170                 uirec.br_startoff = irec->br_startoff + rlen;
1171                 uirec.br_blockcount = unmap_len - rlen;
1172                 uirec.br_state = irec->br_state;
1173                 unmap_len = rlen;
1174
1175                 /* If this isn't a real mapping, we're done. */
1176                 if (!real_extent || uirec.br_blockcount == 0)
1177                         goto next_extent;
1178
1179                 trace_xfs_reflink_remap(ip, uirec.br_startoff,
1180                                 uirec.br_blockcount, uirec.br_startblock);
1181
1182                 /* Update the refcount tree */
1183                 error = xfs_refcount_increase_extent(mp, &dfops, &uirec);
1184                 if (error)
1185                         goto out_defer;
1186
1187                 /* Map the new blocks into the data fork. */
1188                 error = xfs_bmap_map_extent(mp, &dfops, ip, &uirec);
1189                 if (error)
1190                         goto out_defer;
1191
1192                 /* Update quota accounting. */
1193                 xfs_trans_mod_dquot_byino(tp, ip, XFS_TRANS_DQ_BCOUNT,
1194                                 uirec.br_blockcount);
1195
1196                 /* Update dest isize if needed. */
1197                 newlen = XFS_FSB_TO_B(mp,
1198                                 uirec.br_startoff + uirec.br_blockcount);
1199                 newlen = min_t(xfs_off_t, newlen, new_isize);
1200                 if (newlen > i_size_read(VFS_I(ip))) {
1201                         trace_xfs_reflink_update_inode_size(ip, newlen);
1202                         i_size_write(VFS_I(ip), newlen);
1203                         ip->i_d.di_size = newlen;
1204                         xfs_trans_log_inode(tp, ip, XFS_ILOG_CORE);
1205                 }
1206
1207 next_extent:
1208                 /* Process all the deferred stuff. */
1209                 error = xfs_defer_finish(&tp, &dfops, ip);
1210                 if (error)
1211                         goto out_defer;
1212         }
1213
1214         error = xfs_trans_commit(tp);
1215         xfs_iunlock(ip, XFS_ILOCK_EXCL);
1216         if (error)
1217                 goto out;
1218         return 0;
1219
1220 out_defer:
1221         xfs_defer_cancel(&dfops);
1222 out_cancel:
1223         xfs_trans_cancel(tp);
1224         xfs_iunlock(ip, XFS_ILOCK_EXCL);
1225 out:
1226         trace_xfs_reflink_remap_extent_error(ip, error, _RET_IP_);
1227         return error;
1228 }
1229
1230 /*
1231  * Iteratively remap one file's extents (and holes) to another's.
1232  */
1233 STATIC int
1234 xfs_reflink_remap_blocks(
1235         struct xfs_inode        *src,
1236         xfs_fileoff_t           srcoff,
1237         struct xfs_inode        *dest,
1238         xfs_fileoff_t           destoff,
1239         xfs_filblks_t           len,
1240         xfs_off_t               new_isize)
1241 {
1242         struct xfs_bmbt_irec    imap;
1243         int                     nimaps;
1244         int                     error = 0;
1245         xfs_filblks_t           range_len;
1246
1247         /* drange = (destoff, destoff + len); srange = (srcoff, srcoff + len) */
1248         while (len) {
1249                 trace_xfs_reflink_remap_blocks_loop(src, srcoff, len,
1250                                 dest, destoff);
1251                 /* Read extent from the source file */
1252                 nimaps = 1;
1253                 xfs_ilock(src, XFS_ILOCK_EXCL);
1254                 error = xfs_bmapi_read(src, srcoff, len, &imap, &nimaps, 0);
1255                 xfs_iunlock(src, XFS_ILOCK_EXCL);
1256                 if (error)
1257                         goto err;
1258                 ASSERT(nimaps == 1);
1259
1260                 trace_xfs_reflink_remap_imap(src, srcoff, len, XFS_IO_OVERWRITE,
1261                                 &imap);
1262
1263                 /* Translate imap into the destination file. */
1264                 range_len = imap.br_startoff + imap.br_blockcount - srcoff;
1265                 imap.br_startoff += destoff - srcoff;
1266
1267                 /* Clear dest from destoff to the end of imap and map it in. */
1268                 error = xfs_reflink_remap_extent(dest, &imap, destoff,
1269                                 new_isize);
1270                 if (error)
1271                         goto err;
1272
1273                 if (fatal_signal_pending(current)) {
1274                         error = -EINTR;
1275                         goto err;
1276                 }
1277
1278                 /* Advance drange/srange */
1279                 srcoff += range_len;
1280                 destoff += range_len;
1281                 len -= range_len;
1282         }
1283
1284         return 0;
1285
1286 err:
1287         trace_xfs_reflink_remap_blocks_error(dest, error, _RET_IP_);
1288         return error;
1289 }
1290
1291 /*
1292  * Read a page's worth of file data into the page cache.  Return the page
1293  * locked.
1294  */
1295 static struct page *
1296 xfs_get_page(
1297         struct inode    *inode,
1298         xfs_off_t       offset)
1299 {
1300         struct address_space    *mapping;
1301         struct page             *page;
1302         pgoff_t                 n;
1303
1304         n = offset >> PAGE_SHIFT;
1305         mapping = inode->i_mapping;
1306         page = read_mapping_page(mapping, n, NULL);
1307         if (IS_ERR(page))
1308                 return page;
1309         if (!PageUptodate(page)) {
1310                 put_page(page);
1311                 return ERR_PTR(-EIO);
1312         }
1313         lock_page(page);
1314         return page;
1315 }
1316
1317 /*
1318  * Compare extents of two files to see if they are the same.
1319  */
1320 static int
1321 xfs_compare_extents(
1322         struct inode    *src,
1323         xfs_off_t       srcoff,
1324         struct inode    *dest,
1325         xfs_off_t       destoff,
1326         xfs_off_t       len,
1327         bool            *is_same)
1328 {
1329         xfs_off_t       src_poff;
1330         xfs_off_t       dest_poff;
1331         void            *src_addr;
1332         void            *dest_addr;
1333         struct page     *src_page;
1334         struct page     *dest_page;
1335         xfs_off_t       cmp_len;
1336         bool            same;
1337         int             error;
1338
1339         error = -EINVAL;
1340         same = true;
1341         while (len) {
1342                 src_poff = srcoff & (PAGE_SIZE - 1);
1343                 dest_poff = destoff & (PAGE_SIZE - 1);
1344                 cmp_len = min(PAGE_SIZE - src_poff,
1345                               PAGE_SIZE - dest_poff);
1346                 cmp_len = min(cmp_len, len);
1347                 ASSERT(cmp_len > 0);
1348
1349                 trace_xfs_reflink_compare_extents(XFS_I(src), srcoff, cmp_len,
1350                                 XFS_I(dest), destoff);
1351
1352                 src_page = xfs_get_page(src, srcoff);
1353                 if (IS_ERR(src_page)) {
1354                         error = PTR_ERR(src_page);
1355                         goto out_error;
1356                 }
1357                 dest_page = xfs_get_page(dest, destoff);
1358                 if (IS_ERR(dest_page)) {
1359                         error = PTR_ERR(dest_page);
1360                         unlock_page(src_page);
1361                         put_page(src_page);
1362                         goto out_error;
1363                 }
1364                 src_addr = kmap_atomic(src_page);
1365                 dest_addr = kmap_atomic(dest_page);
1366
1367                 flush_dcache_page(src_page);
1368                 flush_dcache_page(dest_page);
1369
1370                 if (memcmp(src_addr + src_poff, dest_addr + dest_poff, cmp_len))
1371                         same = false;
1372
1373                 kunmap_atomic(dest_addr);
1374                 kunmap_atomic(src_addr);
1375                 unlock_page(dest_page);
1376                 unlock_page(src_page);
1377                 put_page(dest_page);
1378                 put_page(src_page);
1379
1380                 if (!same)
1381                         break;
1382
1383                 srcoff += cmp_len;
1384                 destoff += cmp_len;
1385                 len -= cmp_len;
1386         }
1387
1388         *is_same = same;
1389         return 0;
1390
1391 out_error:
1392         trace_xfs_reflink_compare_extents_error(XFS_I(dest), error, _RET_IP_);
1393         return error;
1394 }
1395
1396 /*
1397  * Link a range of blocks from one file to another.
1398  */
1399 int
1400 xfs_reflink_remap_range(
1401         struct file             *file_in,
1402         loff_t                  pos_in,
1403         struct file             *file_out,
1404         loff_t                  pos_out,
1405         u64                     len,
1406         bool                    is_dedupe)
1407 {
1408         struct inode            *inode_in = file_inode(file_in);
1409         struct xfs_inode        *src = XFS_I(inode_in);
1410         struct inode            *inode_out = file_inode(file_out);
1411         struct xfs_inode        *dest = XFS_I(inode_out);
1412         struct xfs_mount        *mp = src->i_mount;
1413         loff_t                  bs = inode_out->i_sb->s_blocksize;
1414         bool                    same_inode = (inode_in == inode_out);
1415         xfs_fileoff_t           sfsbno, dfsbno;
1416         xfs_filblks_t           fsblen;
1417         xfs_extlen_t            cowextsize;
1418         loff_t                  isize;
1419         ssize_t                 ret;
1420         loff_t                  blen;
1421
1422         if (!xfs_sb_version_hasreflink(&mp->m_sb))
1423                 return -EOPNOTSUPP;
1424
1425         if (XFS_FORCED_SHUTDOWN(mp))
1426                 return -EIO;
1427
1428         /* Lock both files against IO */
1429         if (same_inode) {
1430                 xfs_ilock(src, XFS_IOLOCK_EXCL);
1431                 xfs_ilock(src, XFS_MMAPLOCK_EXCL);
1432         } else {
1433                 xfs_lock_two_inodes(src, dest, XFS_IOLOCK_EXCL);
1434                 xfs_lock_two_inodes(src, dest, XFS_MMAPLOCK_EXCL);
1435         }
1436
1437         /* Don't touch certain kinds of inodes */
1438         ret = -EPERM;
1439         if (IS_IMMUTABLE(inode_out))
1440                 goto out_unlock;
1441
1442         ret = -ETXTBSY;
1443         if (IS_SWAPFILE(inode_in) || IS_SWAPFILE(inode_out))
1444                 goto out_unlock;
1445
1446
1447         /* Don't reflink dirs, pipes, sockets... */
1448         ret = -EISDIR;
1449         if (S_ISDIR(inode_in->i_mode) || S_ISDIR(inode_out->i_mode))
1450                 goto out_unlock;
1451         ret = -EINVAL;
1452         if (S_ISFIFO(inode_in->i_mode) || S_ISFIFO(inode_out->i_mode))
1453                 goto out_unlock;
1454         if (!S_ISREG(inode_in->i_mode) || !S_ISREG(inode_out->i_mode))
1455                 goto out_unlock;
1456
1457         /* Don't reflink realtime inodes */
1458         if (XFS_IS_REALTIME_INODE(src) || XFS_IS_REALTIME_INODE(dest))
1459                 goto out_unlock;
1460
1461         /* Don't share DAX file data for now. */
1462         if (IS_DAX(inode_in) || IS_DAX(inode_out))
1463                 goto out_unlock;
1464
1465         /* Are we going all the way to the end? */
1466         isize = i_size_read(inode_in);
1467         if (isize == 0) {
1468                 ret = 0;
1469                 goto out_unlock;
1470         }
1471
1472         /* Zero length dedupe exits immediately; reflink goes to EOF. */
1473         if (len == 0) {
1474                 if (is_dedupe) {
1475                         ret = 0;
1476                         goto out_unlock;
1477                 }
1478                 len = isize - pos_in;
1479         }
1480
1481         /* Ensure offsets don't wrap and the input is inside i_size */
1482         if (pos_in + len < pos_in || pos_out + len < pos_out ||
1483             pos_in + len > isize)
1484                 goto out_unlock;
1485
1486         /* Don't allow dedupe past EOF in the dest file */
1487         if (is_dedupe) {
1488                 loff_t  disize;
1489
1490                 disize = i_size_read(inode_out);
1491                 if (pos_out >= disize || pos_out + len > disize)
1492                         goto out_unlock;
1493         }
1494
1495         /* If we're linking to EOF, continue to the block boundary. */
1496         if (pos_in + len == isize)
1497                 blen = ALIGN(isize, bs) - pos_in;
1498         else
1499                 blen = len;
1500
1501         /* Only reflink if we're aligned to block boundaries */
1502         if (!IS_ALIGNED(pos_in, bs) || !IS_ALIGNED(pos_in + blen, bs) ||
1503             !IS_ALIGNED(pos_out, bs) || !IS_ALIGNED(pos_out + blen, bs))
1504                 goto out_unlock;
1505
1506         /* Don't allow overlapped reflink within the same file */
1507         if (same_inode) {
1508                 if (pos_out + blen > pos_in && pos_out < pos_in + blen)
1509                         goto out_unlock;
1510         }
1511
1512         /* Wait for the completion of any pending IOs on both files */
1513         inode_dio_wait(inode_in);
1514         if (!same_inode)
1515                 inode_dio_wait(inode_out);
1516
1517         ret = filemap_write_and_wait_range(inode_in->i_mapping,
1518                         pos_in, pos_in + len - 1);
1519         if (ret)
1520                 goto out_unlock;
1521
1522         ret = filemap_write_and_wait_range(inode_out->i_mapping,
1523                         pos_out, pos_out + len - 1);
1524         if (ret)
1525                 goto out_unlock;
1526
1527         trace_xfs_reflink_remap_range(src, pos_in, len, dest, pos_out);
1528
1529         /*
1530          * Check that the extents are the same.
1531          */
1532         if (is_dedupe) {
1533                 bool            is_same = false;
1534
1535                 ret = xfs_compare_extents(inode_in, pos_in, inode_out, pos_out,
1536                                 len, &is_same);
1537                 if (ret)
1538                         goto out_unlock;
1539                 if (!is_same) {
1540                         ret = -EBADE;
1541                         goto out_unlock;
1542                 }
1543         }
1544
1545         ret = xfs_reflink_set_inode_flag(src, dest);
1546         if (ret)
1547                 goto out_unlock;
1548
1549         /*
1550          * Invalidate the page cache so that we can clear any CoW mappings
1551          * in the destination file.
1552          */
1553         truncate_inode_pages_range(&inode_out->i_data, pos_out,
1554                                    PAGE_ALIGN(pos_out + len) - 1);
1555
1556         dfsbno = XFS_B_TO_FSBT(mp, pos_out);
1557         sfsbno = XFS_B_TO_FSBT(mp, pos_in);
1558         fsblen = XFS_B_TO_FSB(mp, len);
1559         ret = xfs_reflink_remap_blocks(src, sfsbno, dest, dfsbno, fsblen,
1560                         pos_out + len);
1561         if (ret)
1562                 goto out_unlock;
1563
1564         /*
1565          * Carry the cowextsize hint from src to dest if we're sharing the
1566          * entire source file to the entire destination file, the source file
1567          * has a cowextsize hint, and the destination file does not.
1568          */
1569         cowextsize = 0;
1570         if (pos_in == 0 && len == i_size_read(inode_in) &&
1571             (src->i_d.di_flags2 & XFS_DIFLAG2_COWEXTSIZE) &&
1572             pos_out == 0 && len >= i_size_read(inode_out) &&
1573             !(dest->i_d.di_flags2 & XFS_DIFLAG2_COWEXTSIZE))
1574                 cowextsize = src->i_d.di_cowextsize;
1575
1576         ret = xfs_reflink_update_dest(dest, pos_out + len, cowextsize,
1577                         is_dedupe);
1578
1579 out_unlock:
1580         xfs_iunlock(src, XFS_MMAPLOCK_EXCL);
1581         xfs_iunlock(src, XFS_IOLOCK_EXCL);
1582         if (src->i_ino != dest->i_ino) {
1583                 xfs_iunlock(dest, XFS_MMAPLOCK_EXCL);
1584                 xfs_iunlock(dest, XFS_IOLOCK_EXCL);
1585         }
1586         if (ret)
1587                 trace_xfs_reflink_remap_range_error(dest, ret, _RET_IP_);
1588         return ret;
1589 }
1590
1591 /*
1592  * The user wants to preemptively CoW all shared blocks in this file,
1593  * which enables us to turn off the reflink flag.  Iterate all
1594  * extents which are not prealloc/delalloc to see which ranges are
1595  * mentioned in the refcount tree, then read those blocks into the
1596  * pagecache, dirty them, fsync them back out, and then we can update
1597  * the inode flag.  What happens if we run out of memory? :)
1598  */
1599 STATIC int
1600 xfs_reflink_dirty_extents(
1601         struct xfs_inode        *ip,
1602         xfs_fileoff_t           fbno,
1603         xfs_filblks_t           end,
1604         xfs_off_t               isize)
1605 {
1606         struct xfs_mount        *mp = ip->i_mount;
1607         xfs_agnumber_t          agno;
1608         xfs_agblock_t           agbno;
1609         xfs_extlen_t            aglen;
1610         xfs_agblock_t           rbno;
1611         xfs_extlen_t            rlen;
1612         xfs_off_t               fpos;
1613         xfs_off_t               flen;
1614         struct xfs_bmbt_irec    map[2];
1615         int                     nmaps;
1616         int                     error = 0;
1617
1618         while (end - fbno > 0) {
1619                 nmaps = 1;
1620                 /*
1621                  * Look for extents in the file.  Skip holes, delalloc, or
1622                  * unwritten extents; they can't be reflinked.
1623                  */
1624                 error = xfs_bmapi_read(ip, fbno, end - fbno, map, &nmaps, 0);
1625                 if (error)
1626                         goto out;
1627                 if (nmaps == 0)
1628                         break;
1629                 if (map[0].br_startblock == HOLESTARTBLOCK ||
1630                     map[0].br_startblock == DELAYSTARTBLOCK ||
1631                     ISUNWRITTEN(&map[0]))
1632                         goto next;
1633
1634                 map[1] = map[0];
1635                 while (map[1].br_blockcount) {
1636                         agno = XFS_FSB_TO_AGNO(mp, map[1].br_startblock);
1637                         agbno = XFS_FSB_TO_AGBNO(mp, map[1].br_startblock);
1638                         aglen = map[1].br_blockcount;
1639
1640                         error = xfs_reflink_find_shared(mp, agno, agbno, aglen,
1641                                         &rbno, &rlen, true);
1642                         if (error)
1643                                 goto out;
1644                         if (rbno == NULLAGBLOCK)
1645                                 break;
1646
1647                         /* Dirty the pages */
1648                         xfs_iunlock(ip, XFS_ILOCK_EXCL);
1649                         fpos = XFS_FSB_TO_B(mp, map[1].br_startoff +
1650                                         (rbno - agbno));
1651                         flen = XFS_FSB_TO_B(mp, rlen);
1652                         if (fpos + flen > isize)
1653                                 flen = isize - fpos;
1654                         error = iomap_file_dirty(VFS_I(ip), fpos, flen,
1655                                         &xfs_iomap_ops);
1656                         xfs_ilock(ip, XFS_ILOCK_EXCL);
1657                         if (error)
1658                                 goto out;
1659
1660                         map[1].br_blockcount -= (rbno - agbno + rlen);
1661                         map[1].br_startoff += (rbno - agbno + rlen);
1662                         map[1].br_startblock += (rbno - agbno + rlen);
1663                 }
1664
1665 next:
1666                 fbno = map[0].br_startoff + map[0].br_blockcount;
1667         }
1668 out:
1669         return error;
1670 }
1671
1672 /* Clear the inode reflink flag if there are no shared extents. */
1673 int
1674 xfs_reflink_clear_inode_flag(
1675         struct xfs_inode        *ip,
1676         struct xfs_trans        **tpp)
1677 {
1678         struct xfs_mount        *mp = ip->i_mount;
1679         xfs_fileoff_t           fbno;
1680         xfs_filblks_t           end;
1681         xfs_agnumber_t          agno;
1682         xfs_agblock_t           agbno;
1683         xfs_extlen_t            aglen;
1684         xfs_agblock_t           rbno;
1685         xfs_extlen_t            rlen;
1686         struct xfs_bmbt_irec    map;
1687         int                     nmaps;
1688         int                     error = 0;
1689
1690         ASSERT(xfs_is_reflink_inode(ip));
1691
1692         fbno = 0;
1693         end = XFS_B_TO_FSB(mp, i_size_read(VFS_I(ip)));
1694         while (end - fbno > 0) {
1695                 nmaps = 1;
1696                 /*
1697                  * Look for extents in the file.  Skip holes, delalloc, or
1698                  * unwritten extents; they can't be reflinked.
1699                  */
1700                 error = xfs_bmapi_read(ip, fbno, end - fbno, &map, &nmaps, 0);
1701                 if (error)
1702                         return error;
1703                 if (nmaps == 0)
1704                         break;
1705                 if (map.br_startblock == HOLESTARTBLOCK ||
1706                     map.br_startblock == DELAYSTARTBLOCK ||
1707                     ISUNWRITTEN(&map))
1708                         goto next;
1709
1710                 agno = XFS_FSB_TO_AGNO(mp, map.br_startblock);
1711                 agbno = XFS_FSB_TO_AGBNO(mp, map.br_startblock);
1712                 aglen = map.br_blockcount;
1713
1714                 error = xfs_reflink_find_shared(mp, agno, agbno, aglen,
1715                                 &rbno, &rlen, false);
1716                 if (error)
1717                         return error;
1718                 /* Is there still a shared block here? */
1719                 if (rbno != NULLAGBLOCK)
1720                         return 0;
1721 next:
1722                 fbno = map.br_startoff + map.br_blockcount;
1723         }
1724
1725         /*
1726          * We didn't find any shared blocks so turn off the reflink flag.
1727          * First, get rid of any leftover CoW mappings.
1728          */
1729         error = xfs_reflink_cancel_cow_blocks(ip, tpp, 0, NULLFILEOFF, true);
1730         if (error)
1731                 return error;
1732
1733         /* Clear the inode flag. */
1734         trace_xfs_reflink_unset_inode_flag(ip);
1735         ip->i_d.di_flags2 &= ~XFS_DIFLAG2_REFLINK;
1736         xfs_inode_clear_cowblocks_tag(ip);
1737         xfs_trans_ijoin(*tpp, ip, 0);
1738         xfs_trans_log_inode(*tpp, ip, XFS_ILOG_CORE);
1739
1740         return error;
1741 }
1742
1743 /*
1744  * Clear the inode reflink flag if there are no shared extents and the size
1745  * hasn't changed.
1746  */
1747 STATIC int
1748 xfs_reflink_try_clear_inode_flag(
1749         struct xfs_inode        *ip)
1750 {
1751         struct xfs_mount        *mp = ip->i_mount;
1752         struct xfs_trans        *tp;
1753         int                     error = 0;
1754
1755         /* Start a rolling transaction to remove the mappings */
1756         error = xfs_trans_alloc(mp, &M_RES(mp)->tr_write, 0, 0, 0, &tp);
1757         if (error)
1758                 return error;
1759
1760         xfs_ilock(ip, XFS_ILOCK_EXCL);
1761         xfs_trans_ijoin(tp, ip, 0);
1762
1763         error = xfs_reflink_clear_inode_flag(ip, &tp);
1764         if (error)
1765                 goto cancel;
1766
1767         error = xfs_trans_commit(tp);
1768         if (error)
1769                 goto out;
1770
1771         xfs_iunlock(ip, XFS_ILOCK_EXCL);
1772         return 0;
1773 cancel:
1774         xfs_trans_cancel(tp);
1775 out:
1776         xfs_iunlock(ip, XFS_ILOCK_EXCL);
1777         return error;
1778 }
1779
1780 /*
1781  * Pre-COW all shared blocks within a given byte range of a file and turn off
1782  * the reflink flag if we unshare all of the file's blocks.
1783  */
1784 int
1785 xfs_reflink_unshare(
1786         struct xfs_inode        *ip,
1787         xfs_off_t               offset,
1788         xfs_off_t               len)
1789 {
1790         struct xfs_mount        *mp = ip->i_mount;
1791         xfs_fileoff_t           fbno;
1792         xfs_filblks_t           end;
1793         xfs_off_t               isize;
1794         int                     error;
1795
1796         if (!xfs_is_reflink_inode(ip))
1797                 return 0;
1798
1799         trace_xfs_reflink_unshare(ip, offset, len);
1800
1801         inode_dio_wait(VFS_I(ip));
1802
1803         /* Try to CoW the selected ranges */
1804         xfs_ilock(ip, XFS_ILOCK_EXCL);
1805         fbno = XFS_B_TO_FSBT(mp, offset);
1806         isize = i_size_read(VFS_I(ip));
1807         end = XFS_B_TO_FSB(mp, offset + len);
1808         error = xfs_reflink_dirty_extents(ip, fbno, end, isize);
1809         if (error)
1810                 goto out_unlock;
1811         xfs_iunlock(ip, XFS_ILOCK_EXCL);
1812
1813         /* Wait for the IO to finish */
1814         error = filemap_write_and_wait(VFS_I(ip)->i_mapping);
1815         if (error)
1816                 goto out;
1817
1818         /* Turn off the reflink flag if possible. */
1819         error = xfs_reflink_try_clear_inode_flag(ip);
1820         if (error)
1821                 goto out;
1822
1823         return 0;
1824
1825 out_unlock:
1826         xfs_iunlock(ip, XFS_ILOCK_EXCL);
1827 out:
1828         trace_xfs_reflink_unshare_error(ip, error, _RET_IP_);
1829         return error;
1830 }