lib/string.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*
   3  *  linux/lib/string.c
   4  *
   5  *  Copyright (C) 1991, 1992  Linus Torvalds
   6  */
   7
   8 /*
   9  * stupid library routines.. The optimized versions should generally be found
  10  * as inline code in <asm-xx/string.h>
  11  *
  12  * These are buggy as well..
  13  *
  14  * * Fri Jun 25 1999, Ingo Oeser <ioe@informatik.tu-chemnitz.de>
  15  * -  Added strsep() which will replace strtok() soon (because strsep() is
  16  *    reentrant and should be faster). Use only strsep() in new code, please.
  17  *
  18  * * Sat Feb 09 2002, Jason Thomas <jason@topic.com.au>,
  19  *                    Matthew Hawkins <matt@mh.dropbear.id.au>
  20  * -  Kissed strtok() goodbye
  21  */
  22
  23 #include <linux/types.h>
  24 #include <linux/string.h>
  25 #include <linux/ctype.h>
  26 #include <linux/kernel.h>
  27 #include <linux/export.h>
  28 #include <linux/bug.h>
  29 #include <linux/errno.h>
  30
  31 #include <asm/byteorder.h>
  32 #include <asm/word-at-a-time.h>
  33 #include <asm/page.h>
  34
  35 #ifndef __HAVE_ARCH_STRNCASECMP
  36 /**
  37  * strncasecmp - Case insensitive, length-limited string comparison
  38  * @s1: One string
  39  * @s2: The other string
  40  * @len: the maximum number of characters to compare
  41  */
  42 int strncasecmp(const char *s1, const char *s2, size_t len)
  43 {
  44         /* Yes, Virginia, it had better be unsigned */
  45         unsigned char c1, c2;
  46
  47         if (!len)
  48                 return 0;
  49
  50         do {
  51                 c1 = *s1++;
  52                 c2 = *s2++;
  53                 if (!c1 || !c2)
  54                         break;
  55                 if (c1 == c2)
  56                         continue;
  57                 c1 = tolower(c1);
  58                 c2 = tolower(c2);
  59                 if (c1 != c2)
  60                         break;
  61         } while (--len);
  62         return (int)c1 - (int)c2;
  63 }
  64 EXPORT_SYMBOL(strncasecmp);
  65 #endif
  66
  67 #ifndef __HAVE_ARCH_STRCASECMP
  68 int strcasecmp(const char *s1, const char *s2)
  69 {
  70         int c1, c2;
  71
  72         do {
  73                 c1 = tolower(*s1++);
  74                 c2 = tolower(*s2++);
  75         } while (c1 == c2 && c1 != 0);
  76         return c1 - c2;
  77 }
  78 EXPORT_SYMBOL(strcasecmp);
  79 #endif
  80
  81 #ifndef __HAVE_ARCH_STRCPY
  82 /**
  83  * strcpy - Copy a %NUL terminated string
  84  * @dest: Where to copy the string to
  85  * @src: Where to copy the string from
  86  */
  87 #undef strcpy
  88 char *strcpy(char *dest, const char *src)
  89 {
  90         char *tmp = dest;
  91
  92         while ((*dest++ = *src++) != '\0')
  93                 /* nothing */;
  94         return tmp;
  95 }
  96 EXPORT_SYMBOL(strcpy);
  97 #endif
  98
  99 #ifndef __HAVE_ARCH_STRNCPY
 100 /**
 101  * strncpy - Copy a length-limited, C-string
 102  * @dest: Where to copy the string to
 103  * @src: Where to copy the string from
 104  * @count: The maximum number of bytes to copy
 105  *
 106  * The result is not %NUL-terminated if the source exceeds
 107  * @count bytes.
 108  *
 109  * In the case where the length of @src is less than  that  of
 110  * count, the remainder of @dest will be padded with %NUL.
 111  *
 112  */
 113 char *strncpy(char *dest, const char *src, size_t count)
 114 {
 115         char *tmp = dest;
 116
 117         while (count) {
 118                 if ((*tmp = *src) != 0)
 119                         src++;
 120                 tmp++;
 121                 count--;
 122         }
 123         return dest;
 124 }
 125 EXPORT_SYMBOL(strncpy);
 126 #endif
 127
 128 #ifndef __HAVE_ARCH_STRLCPY
 129 /**
 130  * strlcpy - Copy a C-string into a sized buffer
 131  * @dest: Where to copy the string to
 132  * @src: Where to copy the string from
 133  * @size: size of destination buffer
 134  *
 135  * Compatible with ``*BSD``: the result is always a valid
 136  * NUL-terminated string that fits in the buffer (unless,
 137  * of course, the buffer size is zero). It does not pad
 138  * out the result like strncpy() does.
 139  */
 140 size_t strlcpy(char *dest, const char *src, size_t size)
 141 {
 142         size_t ret = strlen(src);
 143
 144         if (size) {
 145                 size_t len = (ret >= size) ? size - 1 : ret;
 146                 memcpy(dest, src, len);
 147                 dest[len] = '\0';
 148         }
 149         return ret;
 150 }
 151 EXPORT_SYMBOL(strlcpy);
 152 #endif
 153
 154 #ifndef __HAVE_ARCH_STRSCPY
 155 /**
 156  * strscpy - Copy a C-string into a sized buffer
 157  * @dest: Where to copy the string to
 158  * @src: Where to copy the string from
 159  * @count: Size of destination buffer
 160  *
 161  * Copy the string, or as much of it as fits, into the dest buffer.  The
 162  * behavior is undefined if the string buffers overlap.  The destination
 163  * buffer is always NUL terminated, unless it's zero-sized.
 164  *
 165  * Preferred to strlcpy() since the API doesn't require reading memory
 166  * from the src string beyond the specified "count" bytes, and since
 167  * the return value is easier to error-check than strlcpy()'s.
 168  * In addition, the implementation is robust to the string changing out
 169  * from underneath it, unlike the current strlcpy() implementation.
 170  *
 171  * Preferred to strncpy() since it always returns a valid string, and
 172  * doesn't unnecessarily force the tail of the destination buffer to be
 173  * zeroed.  If zeroing is desired please use strscpy_pad().
 174  *
 175  * Return: The number of characters copied (not including the trailing
 176  *         %NUL) or -E2BIG if the destination buffer wasn't big enough.
 177  */
 178 ssize_t strscpy(char *dest, const char *src, size_t count)
 179 {
 180         const struct word_at_a_time constants = WORD_AT_A_TIME_CONSTANTS;
 181         size_t max = count;
 182         long res = 0;
 183
 184         if (count == 0)
 185                 return -E2BIG;
 186
 187 #ifdef CONFIG_HAVE_EFFICIENT_UNALIGNED_ACCESS
 188         /*
 189          * If src is unaligned, don't cross a page boundary,
 190          * since we don't know if the next page is mapped.
 191          */
 192         if ((long)src & (sizeof(long) - 1)) {
 193                 size_t limit = PAGE_SIZE - ((long)src & (PAGE_SIZE - 1));
 194                 if (limit < max)
 195                         max = limit;
 196         }
 197 #else
 198         /* If src or dest is unaligned, don't do word-at-a-time. */
 199         if (((long) dest | (long) src) & (sizeof(long) - 1))
 200                 max = 0;
 201 #endif
 202
 203         while (max >= sizeof(unsigned long)) {
 204                 unsigned long c, data;
 205
 206                 c = read_word_at_a_time(src+res);
 207                 if (has_zero(c, &data, &constants)) {
 208                         data = prep_zero_mask(c, data, &constants);
 209                         data = create_zero_mask(data);
 210                         *(unsigned long *)(dest+res) = c & zero_bytemask(data);
 211                         return res + find_zero(data);
 212                 }
 213                 *(unsigned long *)(dest+res) = c;
 214                 res += sizeof(unsigned long);
 215                 count -= sizeof(unsigned long);
 216                 max -= sizeof(unsigned long);
 217         }
 218
 219         while (count) {
 220                 char c;
 221
 222                 c = src[res];
 223                 dest[res] = c;
 224                 if (!c)
 225                         return res;
 226                 res++;
 227                 count--;
 228         }
 229
 230         /* Hit buffer length without finding a NUL; force NUL-termination. */
 231         if (res)
 232                 dest[res-1] = '\0';
 233
 234         return -E2BIG;
 235 }
 236 EXPORT_SYMBOL(strscpy);
 237 #endif
 238
 239 /**
 240  * stpcpy - copy a string from src to dest returning a pointer to the new end
 241  *          of dest, including src's %NUL-terminator. May overrun dest.
 242  * @dest: pointer to end of string being copied into. Must be large enough
 243  *        to receive copy.
 244  * @src: pointer to the beginning of string being copied from. Must not overlap
 245  *       dest.
 246  *
 247  * stpcpy differs from strcpy in a key way: the return value is a pointer
 248  * to the new %NUL-terminating character in @dest. (For strcpy, the return
 249  * value is a pointer to the start of @dest). This interface is considered
 250  * unsafe as it doesn't perform bounds checking of the inputs. As such it's
 251  * not recommended for usage. Instead, its definition is provided in case
 252  * the compiler lowers other libcalls to stpcpy.
 253  */
 254 char *stpcpy(char *__restrict__ dest, const char *__restrict__ src);
 255 char *stpcpy(char *__restrict__ dest, const char *__restrict__ src)
 256 {
 257         while ((*dest++ = *src++) != '\0')
 258                 /* nothing */;
 259         return --dest;
 260 }
 261 EXPORT_SYMBOL(stpcpy);
 262
 263 /**
 264  * strscpy_pad() - Copy a C-string into a sized buffer
 265  * @dest: Where to copy the string to
 266  * @src: Where to copy the string from
 267  * @count: Size of destination buffer
 268  *
 269  * Copy the string, or as much of it as fits, into the dest buffer.  The
 270  * behavior is undefined if the string buffers overlap.  The destination
 271  * buffer is always %NUL terminated, unless it's zero-sized.
 272  *
 273  * If the source string is shorter than the destination buffer, zeros
 274  * the tail of the destination buffer.
 275  *
 276  * For full explanation of why you may want to consider using the
 277  * 'strscpy' functions please see the function docstring for strscpy().
 278  *
 279  * Return: The number of characters copied (not including the trailing
 280  *         %NUL) or -E2BIG if the destination buffer wasn't big enough.
 281  */
 282 ssize_t strscpy_pad(char *dest, const char *src, size_t count)
 283 {
 284         ssize_t written;
 285
 286         written = strscpy(dest, src, count);
 287         if (written < 0 || written == count - 1)
 288                 return written;
 289
 290         memset(dest + written + 1, 0, count - written - 1);
 291
 292         return written;
 293 }
 294 EXPORT_SYMBOL(strscpy_pad);
 295
 296 #ifndef __HAVE_ARCH_STRCAT
 297 /**
 298  * strcat - Append one %NUL-terminated string to another
 299  * @dest: The string to be appended to
 300  * @src: The string to append to it
 301  */
 302 #undef strcat
 303 char *strcat(char *dest, const char *src)
 304 {
 305         char *tmp = dest;
 306
 307         while (*dest)
 308                 dest++;
 309         while ((*dest++ = *src++) != '\0')
 310                 ;
 311         return tmp;
 312 }
 313 EXPORT_SYMBOL(strcat);
 314 #endif
 315
 316 #ifndef __HAVE_ARCH_STRNCAT
 317 /**
 318  * strncat - Append a length-limited, C-string to another
 319  * @dest: The string to be appended to
 320  * @src: The string to append to it
 321  * @count: The maximum numbers of bytes to copy
 322  *
 323  * Note that in contrast to strncpy(), strncat() ensures the result is
 324  * terminated.
 325  */
 326 char *strncat(char *dest, const char *src, size_t count)
 327 {
 328         char *tmp = dest;
 329
 330         if (count) {
 331                 while (*dest)
 332                         dest++;
 333                 while ((*dest++ = *src++) != 0) {
 334                         if (--count == 0) {
 335                                 *dest = '\0';
 336                                 break;
 337                         }
 338                 }
 339         }
 340         return tmp;
 341 }
 342 EXPORT_SYMBOL(strncat);
 343 #endif
 344
 345 #ifndef __HAVE_ARCH_STRLCAT
 346 /**
 347  * strlcat - Append a length-limited, C-string to another
 348  * @dest: The string to be appended to
 349  * @src: The string to append to it
 350  * @count: The size of the destination buffer.
 351  */
 352 size_t strlcat(char *dest, const char *src, size_t count)
 353 {
 354         size_t dsize = strlen(dest);
 355         size_t len = strlen(src);
 356         size_t res = dsize + len;
 357
 358         /* This would be a bug */
 359         BUG_ON(dsize >= count);
 360
 361         dest += dsize;
 362         count -= dsize;
 363         if (len >= count)
 364                 len = count-1;
 365         memcpy(dest, src, len);
 366         dest[len] = 0;
 367         return res;
 368 }
 369 EXPORT_SYMBOL(strlcat);
 370 #endif
 371
 372 #ifndef __HAVE_ARCH_STRCMP
 373 /**
 374  * strcmp - Compare two strings
 375  * @cs: One string
 376  * @ct: Another string
 377  */
 378 #undef strcmp
 379 int strcmp(const char *cs, const char *ct)
 380 {
 381         unsigned char c1, c2;
 382
 383         while (1) {
 384                 c1 = *cs++;
 385                 c2 = *ct++;
 386                 if (c1 != c2)
 387                         return c1 < c2 ? -1 : 1;
 388                 if (!c1)
 389                         break;
 390         }
 391         return 0;
 392 }
 393 EXPORT_SYMBOL(strcmp);
 394 #endif
 395
 396 #ifndef __HAVE_ARCH_STRNCMP
 397 /**
 398  * strncmp - Compare two length-limited strings
 399  * @cs: One string
 400  * @ct: Another string
 401  * @count: The maximum number of bytes to compare
 402  */
 403 int strncmp(const char *cs, const char *ct, size_t count)
 404 {
 405         unsigned char c1, c2;
 406
 407         while (count) {
 408                 c1 = *cs++;
 409                 c2 = *ct++;
 410                 if (c1 != c2)
 411                         return c1 < c2 ? -1 : 1;
 412                 if (!c1)
 413                         break;
 414                 count--;
 415         }
 416         return 0;
 417 }
 418 EXPORT_SYMBOL(strncmp);
 419 #endif
 420
 421 #ifndef __HAVE_ARCH_STRCHR
 422 /**
 423  * strchr - Find the first occurrence of a character in a string
 424  * @s: The string to be searched
 425  * @c: The character to search for
 426  */
 427 char *strchr(const char *s, int c)
 428 {
 429         for (; *s != (char)c; ++s)
 430                 if (*s == '\0')
 431                         return NULL;
 432         return (char *)s;
 433 }
 434 EXPORT_SYMBOL(strchr);
 435 #endif
 436
 437 #ifndef __HAVE_ARCH_STRCHRNUL
 438 /**
 439  * strchrnul - Find and return a character in a string, or end of string
 440  * @s: The string to be searched
 441  * @c: The character to search for
 442  *
 443  * Returns pointer to first occurrence of 'c' in s. If c is not found, then
 444  * return a pointer to the null byte at the end of s.
 445  */
 446 char *strchrnul(const char *s, int c)
 447 {
 448         while (*s && *s != (char)c)
 449                 s++;
 450         return (char *)s;
 451 }
 452 EXPORT_SYMBOL(strchrnul);
 453 #endif
 454
 455 #ifndef __HAVE_ARCH_STRRCHR
 456 /**
 457  * strrchr - Find the last occurrence of a character in a string
 458  * @s: The string to be searched
 459  * @c: The character to search for
 460  */
 461 char *strrchr(const char *s, int c)
 462 {
 463         const char *last = NULL;
 464         do {
 465                 if (*s == (char)c)
 466                         last = s;
 467         } while (*s++);
 468         return (char *)last;
 469 }
 470 EXPORT_SYMBOL(strrchr);
 471 #endif
 472
 473 #ifndef __HAVE_ARCH_STRNCHR
 474 /**
 475  * strnchr - Find a character in a length limited string
 476  * @s: The string to be searched
 477  * @count: The number of characters to be searched
 478  * @c: The character to search for
 479  */
 480 char *strnchr(const char *s, size_t count, int c)
 481 {
 482         for (; count-- && *s != '\0'; ++s)
 483                 if (*s == (char)c)
 484                         return (char *)s;
 485         return NULL;
 486 }
 487 EXPORT_SYMBOL(strnchr);
 488 #endif
 489
 490 /**
 491  * skip_spaces - Removes leading whitespace from @str.
 492  * @str: The string to be stripped.
 493  *
 494  * Returns a pointer to the first non-whitespace character in @str.
 495  */
 496 char *skip_spaces(const char *str)
 497 {
 498         while (isspace(*str))
 499                 ++str;
 500         return (char *)str;
 501 }
 502 EXPORT_SYMBOL(skip_spaces);
 503
 504 /**
 505  * strim - Removes leading and trailing whitespace from @s.
 506  * @s: The string to be stripped.
 507  *
 508  * Note that the first trailing whitespace is replaced with a %NUL-terminator
 509  * in the given string @s. Returns a pointer to the first non-whitespace
 510  * character in @s.
 511  */
 512 char *strim(char *s)
 513 {
 514         size_t size;
 515         char *end;
 516
 517         size = strlen(s);
 518         if (!size)
 519                 return s;
 520
 521         end = s + size - 1;
 522         while (end >= s && isspace(*end))
 523                 end--;
 524         *(end + 1) = '\0';
 525
 526         return skip_spaces(s);
 527 }
 528 EXPORT_SYMBOL(strim);
 529
 530 #ifndef __HAVE_ARCH_STRLEN
 531 /**
 532  * strlen - Find the length of a string
 533  * @s: The string to be sized
 534  */
 535 size_t strlen(const char *s)
 536 {
 537         const char *sc;
 538
 539         for (sc = s; *sc != '\0'; ++sc)
 540                 /* nothing */;
 541         return sc - s;
 542 }
 543 EXPORT_SYMBOL(strlen);
 544 #endif
 545
 546 #ifndef __HAVE_ARCH_STRNLEN
 547 /**
 548  * strnlen - Find the length of a length-limited string
 549  * @s: The string to be sized
 550  * @count: The maximum number of bytes to search
 551  */
 552 size_t strnlen(const char *s, size_t count)
 553 {
 554         const char *sc;
 555
 556         for (sc = s; count-- && *sc != '\0'; ++sc)
 557                 /* nothing */;
 558         return sc - s;
 559 }
 560 EXPORT_SYMBOL(strnlen);
 561 #endif
 562
 563 #ifndef __HAVE_ARCH_STRSPN
 564 /**
 565  * strspn - Calculate the length of the initial substring of @s which only contain letters in @accept
 566  * @s: The string to be searched
 567  * @accept: The string to search for
 568  */
 569 size_t strspn(const char *s, const char *accept)
 570 {
 571         const char *p;
 572         const char *a;
 573         size_t count = 0;
 574
 575         for (p = s; *p != '\0'; ++p) {
 576                 for (a = accept; *a != '\0'; ++a) {
 577                         if (*p == *a)
 578                                 break;
 579                 }
 580                 if (*a == '\0')
 581                         return count;
 582                 ++count;
 583         }
 584         return count;
 585 }
 586
 587 EXPORT_SYMBOL(strspn);
 588 #endif
 589
 590 #ifndef __HAVE_ARCH_STRCSPN
 591 /**
 592  * strcspn - Calculate the length of the initial substring of @s which does not contain letters in @reject
 593  * @s: The string to be searched
 594  * @reject: The string to avoid
 595  */
 596 size_t strcspn(const char *s, const char *reject)
 597 {
 598         const char *p;
 599         const char *r;
 600         size_t count = 0;
 601
 602         for (p = s; *p != '\0'; ++p) {
 603                 for (r = reject; *r != '\0'; ++r) {
 604                         if (*p == *r)
 605                                 return count;
 606                 }
 607                 ++count;
 608         }
 609         return count;
 610 }
 611 EXPORT_SYMBOL(strcspn);
 612 #endif
 613
 614 #ifndef __HAVE_ARCH_STRPBRK
 615 /**
 616  * strpbrk - Find the first occurrence of a set of characters
 617  * @cs: The string to be searched
 618  * @ct: The characters to search for
 619  */
 620 char *strpbrk(const char *cs, const char *ct)
 621 {
 622         const char *sc1, *sc2;
 623
 624         for (sc1 = cs; *sc1 != '\0'; ++sc1) {
 625                 for (sc2 = ct; *sc2 != '\0'; ++sc2) {
 626                         if (*sc1 == *sc2)
 627                                 return (char *)sc1;
 628                 }
 629         }
 630         return NULL;
 631 }
 632 EXPORT_SYMBOL(strpbrk);
 633 #endif
 634
 635 #ifndef __HAVE_ARCH_STRSEP
 636 /**
 637  * strsep - Split a string into tokens
 638  * @s: The string to be searched
 639  * @ct: The characters to search for
 640  *
 641  * strsep() updates @s to point after the token, ready for the next call.
 642  *
 643  * It returns empty tokens, too, behaving exactly like the libc function
 644  * of that name. In fact, it was stolen from glibc2 and de-fancy-fied.
 645  * Same semantics, slimmer shape. ;)
 646  */
 647 char *strsep(char **s, const char *ct)
 648 {
 649         char *sbegin = *s;
 650         char *end;
 651
 652         if (sbegin == NULL)
 653                 return NULL;
 654
 655         end = strpbrk(sbegin, ct);
 656         if (end)
 657                 *end++ = '\0';
 658         *s = end;
 659         return sbegin;
 660 }
 661 EXPORT_SYMBOL(strsep);
 662 #endif
 663
 664 /**
 665  * sysfs_streq - return true if strings are equal, modulo trailing newline
 666  * @s1: one string
 667  * @s2: another string
 668  *
 669  * This routine returns true iff two strings are equal, treating both
 670  * NUL and newline-then-NUL as equivalent string terminations.  It's
 671  * geared for use with sysfs input strings, which generally terminate
 672  * with newlines but are compared against values without newlines.
 673  */
 674 bool sysfs_streq(const char *s1, const char *s2)
 675 {
 676         while (*s1 && *s1 == *s2) {
 677                 s1++;
 678                 s2++;
 679         }
 680
 681         if (*s1 == *s2)
 682                 return true;
 683         if (!*s1 && *s2 == '\n' && !s2[1])
 684                 return true;
 685         if (*s1 == '\n' && !s1[1] && !*s2)
 686                 return true;
 687         return false;
 688 }
 689 EXPORT_SYMBOL(sysfs_streq);
 690
 691 /**
 692  * match_string - matches given string in an array
 693  * @array:      array of strings
 694  * @n:          number of strings in the array or -1 for NULL terminated arrays
 695  * @string:     string to match with
 696  *
 697  * Return:
 698  * index of a @string in the @array if matches, or %-EINVAL otherwise.
 699  */
 700 int match_string(const char * const *array, size_t n, const char *string)
 701 {
 702         int index;
 703         const char *item;
 704
 705         for (index = 0; index < n; index++) {
 706                 item = array[index];
 707                 if (!item)
 708                         break;
 709                 if (!strcmp(item, string))
 710                         return index;
 711         }
 712
 713         return -EINVAL;
 714 }
 715 EXPORT_SYMBOL(match_string);
 716
 717 /**
 718  * __sysfs_match_string - matches given string in an array
 719  * @array: array of strings
 720  * @n: number of strings in the array or -1 for NULL terminated arrays
 721  * @str: string to match with
 722  *
 723  * Returns index of @str in the @array or -EINVAL, just like match_string().
 724  * Uses sysfs_streq instead of strcmp for matching.
 725  */
 726 int __sysfs_match_string(const char * const *array, size_t n, const char *str)
 727 {
 728         const char *item;
 729         int index;
 730
 731         for (index = 0; index < n; index++) {
 732                 item = array[index];
 733                 if (!item)
 734                         break;
 735                 if (sysfs_streq(item, str))
 736                         return index;
 737         }
 738
 739         return -EINVAL;
 740 }
 741 EXPORT_SYMBOL(__sysfs_match_string);
 742
 743 #ifndef __HAVE_ARCH_MEMSET
 744 /**
 745  * memset - Fill a region of memory with the given value
 746  * @s: Pointer to the start of the area.
 747  * @c: The byte to fill the area with
 748  * @count: The size of the area.
 749  *
 750  * Do not use memset() to access IO space, use memset_io() instead.
 751  */
 752 void *memset(void *s, int c, size_t count)
 753 {
 754         char *xs = s;
 755
 756         while (count--)
 757                 *xs++ = c;
 758         return s;
 759 }
 760 EXPORT_SYMBOL(memset);
 761 #endif
 762
 763 /**
 764  * memzero_explicit - Fill a region of memory (e.g. sensitive
 765  *                    keying data) with 0s.
 766  * @s: Pointer to the start of the area.
 767  * @count: The size of the area.
 768  *
 769  * Note: usually using memset() is just fine (!), but in cases
 770  * where clearing out _local_ data at the end of a scope is
 771  * necessary, memzero_explicit() should be used instead in
 772  * order to prevent the compiler from optimising away zeroing.
 773  *
 774  * memzero_explicit() doesn't need an arch-specific version as
 775  * it just invokes the one of memset() implicitly.
 776  */
 777 void memzero_explicit(void *s, size_t count)
 778 {
 779         memset(s, 0, count);
 780         barrier_data(s);
 781 }
 782 EXPORT_SYMBOL(memzero_explicit);
 783
 784 #ifndef __HAVE_ARCH_MEMSET16
 785 /**
 786  * memset16() - Fill a memory area with a uint16_t
 787  * @s: Pointer to the start of the area.
 788  * @v: The value to fill the area with
 789  * @count: The number of values to store
 790  *
 791  * Differs from memset() in that it fills with a uint16_t instead
 792  * of a byte.  Remember that @count is the number of uint16_ts to
 793  * store, not the number of bytes.
 794  */
 795 void *memset16(uint16_t *s, uint16_t v, size_t count)
 796 {
 797         uint16_t *xs = s;
 798
 799         while (count--)
 800                 *xs++ = v;
 801         return s;
 802 }
 803 EXPORT_SYMBOL(memset16);
 804 #endif
 805
 806 #ifndef __HAVE_ARCH_MEMSET32
 807 /**
 808  * memset32() - Fill a memory area with a uint32_t
 809  * @s: Pointer to the start of the area.
 810  * @v: The value to fill the area with
 811  * @count: The number of values to store
 812  *
 813  * Differs from memset() in that it fills with a uint32_t instead
 814  * of a byte.  Remember that @count is the number of uint32_ts to
 815  * store, not the number of bytes.
 816  */
 817 void *memset32(uint32_t *s, uint32_t v, size_t count)
 818 {
 819         uint32_t *xs = s;
 820
 821         while (count--)
 822                 *xs++ = v;
 823         return s;
 824 }
 825 EXPORT_SYMBOL(memset32);
 826 #endif
 827
 828 #ifndef __HAVE_ARCH_MEMSET64
 829 /**
 830  * memset64() - Fill a memory area with a uint64_t
 831  * @s: Pointer to the start of the area.
 832  * @v: The value to fill the area with
 833  * @count: The number of values to store
 834  *
 835  * Differs from memset() in that it fills with a uint64_t instead
 836  * of a byte.  Remember that @count is the number of uint64_ts to
 837  * store, not the number of bytes.
 838  */
 839 void *memset64(uint64_t *s, uint64_t v, size_t count)
 840 {
 841         uint64_t *xs = s;
 842
 843         while (count--)
 844                 *xs++ = v;
 845         return s;
 846 }
 847 EXPORT_SYMBOL(memset64);
 848 #endif
 849
 850 #ifndef __HAVE_ARCH_MEMCPY
 851 /**
 852  * memcpy - Copy one area of memory to another
 853  * @dest: Where to copy to
 854  * @src: Where to copy from
 855  * @count: The size of the area.
 856  *
 857  * You should not use this function to access IO space, use memcpy_toio()
 858  * or memcpy_fromio() instead.
 859  */
 860 void *memcpy(void *dest, const void *src, size_t count)
 861 {
 862         char *tmp = dest;
 863         const char *s = src;
 864
 865         while (count--)
 866                 *tmp++ = *s++;
 867         return dest;
 868 }
 869 EXPORT_SYMBOL(memcpy);
 870 #endif
 871
 872 #ifndef __HAVE_ARCH_MEMMOVE
 873 /**
 874  * memmove - Copy one area of memory to another
 875  * @dest: Where to copy to
 876  * @src: Where to copy from
 877  * @count: The size of the area.
 878  *
 879  * Unlike memcpy(), memmove() copes with overlapping areas.
 880  */
 881 void *memmove(void *dest, const void *src, size_t count)
 882 {
 883         char *tmp;
 884         const char *s;
 885
 886         if (dest <= src) {
 887                 tmp = dest;
 888                 s = src;
 889                 while (count--)
 890                         *tmp++ = *s++;
 891         } else {
 892                 tmp = dest;
 893                 tmp += count;
 894                 s = src;
 895                 s += count;
 896                 while (count--)
 897                         *--tmp = *--s;
 898         }
 899         return dest;
 900 }
 901 EXPORT_SYMBOL(memmove);
 902 #endif
 903
 904 #ifndef __HAVE_ARCH_MEMCMP
 905 /**
 906  * memcmp - Compare two areas of memory
 907  * @cs: One area of memory
 908  * @ct: Another area of memory
 909  * @count: The size of the area.
 910  */
 911 #undef memcmp
 912 __visible int memcmp(const void *cs, const void *ct, size_t count)
 913 {
 914         const unsigned char *su1, *su2;
 915         int res = 0;
 916
 917         for (su1 = cs, su2 = ct; 0 < count; ++su1, ++su2, count--)
 918                 if ((res = *su1 - *su2) != 0)
 919                         break;
 920         return res;
 921 }
 922 EXPORT_SYMBOL(memcmp);
 923 #endif
 924
 925 #ifndef __HAVE_ARCH_BCMP
 926 /**
 927  * bcmp - returns 0 if and only if the buffers have identical contents.
 928  * @a: pointer to first buffer.
 929  * @b: pointer to second buffer.
 930  * @len: size of buffers.
 931  *
 932  * The sign or magnitude of a non-zero return value has no particular
 933  * meaning, and architectures may implement their own more efficient bcmp(). So
 934  * while this particular implementation is a simple (tail) call to memcmp, do
 935  * not rely on anything but whether the return value is zero or non-zero.
 936  */
 937 #undef bcmp
 938 int bcmp(const void *a, const void *b, size_t len)
 939 {
 940         return memcmp(a, b, len);
 941 }
 942 EXPORT_SYMBOL(bcmp);
 943 #endif
 944
 945 #ifndef __HAVE_ARCH_MEMSCAN
 946 /**
 947  * memscan - Find a character in an area of memory.
 948  * @addr: The memory area
 949  * @c: The byte to search for
 950  * @size: The size of the area.
 951  *
 952  * returns the address of the first occurrence of @c, or 1 byte past
 953  * the area if @c is not found
 954  */
 955 void *memscan(void *addr, int c, size_t size)
 956 {
 957         unsigned char *p = addr;
 958
 959         while (size) {
 960                 if (*p == c)
 961                         return (void *)p;
 962                 p++;
 963                 size--;
 964         }
 965         return (void *)p;
 966 }
 967 EXPORT_SYMBOL(memscan);
 968 #endif
 969
 970 #ifndef __HAVE_ARCH_STRSTR
 971 /**
 972  * strstr - Find the first substring in a %NUL terminated string
 973  * @s1: The string to be searched
 974  * @s2: The string to search for
 975  */
 976 char *strstr(const char *s1, const char *s2)
 977 {
 978         size_t l1, l2;
 979
 980         l2 = strlen(s2);
 981         if (!l2)
 982                 return (char *)s1;
 983         l1 = strlen(s1);
 984         while (l1 >= l2) {
 985                 l1--;
 986                 if (!memcmp(s1, s2, l2))
 987                         return (char *)s1;
 988                 s1++;
 989         }
 990         return NULL;
 991 }
 992 EXPORT_SYMBOL(strstr);
 993 #endif
 994
 995 #ifndef __HAVE_ARCH_STRNSTR
 996 /**
 997  * strnstr - Find the first substring in a length-limited string
 998  * @s1: The string to be searched
 999  * @s2: The string to search for
1000  * @len: the maximum number of characters to search
1001  */
1002 char *strnstr(const char *s1, const char *s2, size_t len)
1003 {
1004         size_t l2;
1005
1006         l2 = strlen(s2);
1007         if (!l2)
1008                 return (char *)s1;
1009         while (len >= l2) {
1010                 len--;
1011                 if (!memcmp(s1, s2, l2))
1012                         return (char *)s1;
1013                 s1++;
1014         }
1015         return NULL;
1016 }
1017 EXPORT_SYMBOL(strnstr);
1018 #endif
1019
1020 #ifndef __HAVE_ARCH_MEMCHR
1021 /**
1022  * memchr - Find a character in an area of memory.
1023  * @s: The memory area
1024  * @c: The byte to search for
1025  * @n: The size of the area.
1026  *
1027  * returns the address of the first occurrence of @c, or %NULL
1028  * if @c is not found
1029  */
1030 void *memchr(const void *s, int c, size_t n)
1031 {
1032         const unsigned char *p = s;
1033         while (n-- != 0) {
1034                 if ((unsigned char)c == *p++) {
1035                         return (void *)(p - 1);
1036                 }
1037         }
1038         return NULL;
1039 }
1040 EXPORT_SYMBOL(memchr);
1041 #endif
1042
1043 static void *check_bytes8(const u8 *start, u8 value, unsigned int bytes)
1044 {
1045         while (bytes) {
1046                 if (*start != value)
1047                         return (void *)start;
1048                 start++;
1049                 bytes--;
1050         }
1051         return NULL;
1052 }
1053
1054 /**
1055  * memchr_inv - Find an unmatching character in an area of memory.
1056  * @start: The memory area
1057  * @c: Find a character other than c
1058  * @bytes: The size of the area.
1059  *
1060  * returns the address of the first character other than @c, or %NULL
1061  * if the whole buffer contains just @c.
1062  */
1063 void *memchr_inv(const void *start, int c, size_t bytes)
1064 {
1065         u8 value = c;
1066         u64 value64;
1067         unsigned int words, prefix;
1068
1069         if (bytes <= 16)
1070                 return check_bytes8(start, value, bytes);
1071
1072         value64 = value;
1073 #if defined(CONFIG_ARCH_HAS_FAST_MULTIPLIER) && BITS_PER_LONG == 64
1074         value64 *= 0x0101010101010101ULL;
1075 #elif defined(CONFIG_ARCH_HAS_FAST_MULTIPLIER)
1076         value64 *= 0x01010101;
1077         value64 |= value64 << 32;
1078 #else
1079         value64 |= value64 << 8;
1080         value64 |= value64 << 16;
1081         value64 |= value64 << 32;
1082 #endif
1083
1084         prefix = (unsigned long)start % 8;
1085         if (prefix) {
1086                 u8 *r;
1087
1088                 prefix = 8 - prefix;
1089                 r = check_bytes8(start, value, prefix);
1090                 if (r)
1091                         return r;
1092                 start += prefix;
1093                 bytes -= prefix;
1094         }
1095
1096         words = bytes / 8;
1097
1098         while (words) {
1099                 if (*(u64 *)start != value64)
1100                         return check_bytes8(start, value, 8);
1101                 start += 8;
1102                 words--;
1103         }
1104
1105         return check_bytes8(start, value, bytes % 8);
1106 }
1107 EXPORT_SYMBOL(memchr_inv);
1108
1109 /**
1110  * strreplace - Replace all occurrences of character in string.
1111  * @s: The string to operate on.
1112  * @old: The character being replaced.
1113  * @new: The character @old is replaced with.
1114  *
1115  * Returns pointer to the nul byte at the end of @s.
1116  */
1117 char *strreplace(char *s, char old, char new)
1118 {
1119         for (; *s; ++s)
1120                 if (*s == old)
1121                         *s = new;
1122         return s;
1123 }
1124 EXPORT_SYMBOL(strreplace);
1125
1126 void fortify_panic(const char *name)
1127 {
1128         pr_emerg("detected buffer overflow in %s\n", name);
1129         BUG();
1130 }
1131 EXPORT_SYMBOL(fortify_panic);
1132
1133 #ifdef CONFIG_STRING_SELFTEST
1134 #include <linux/slab.h>
1135 #include <linux/module.h>
1136
1137 static __init int memset16_selftest(void)
1138 {
1139         unsigned i, j, k;
1140         u16 v, *p;
1141
1142         p = kmalloc(256 * 2 * 2, GFP_KERNEL);
1143         if (!p)
1144                 return -1;
1145
1146         for (i = 0; i < 256; i++) {
1147                 for (j = 0; j < 256; j++) {
1148                         memset(p, 0xa1, 256 * 2 * sizeof(v));
1149                         memset16(p + i, 0xb1b2, j);
1150                         for (k = 0; k < 512; k++) {
1151                                 v = p[k];
1152                                 if (k < i) {
1153                                         if (v != 0xa1a1)
1154                                                 goto fail;
1155                                 } else if (k < i + j) {
1156                                         if (v != 0xb1b2)
1157                                                 goto fail;
1158                                 } else {
1159                                         if (v != 0xa1a1)
1160                                                 goto fail;
1161                                 }
1162                         }
1163                 }
1164         }
1165
1166 fail:
1167         kfree(p);
1168         if (i < 256)
1169                 return (i << 24) | (j << 16) | k;
1170         return 0;
1171 }
1172
1173 static __init int memset32_selftest(void)
1174 {
1175         unsigned i, j, k;
1176         u32 v, *p;
1177
1178         p = kmalloc(256 * 2 * 4, GFP_KERNEL);
1179         if (!p)
1180                 return -1;
1181
1182         for (i = 0; i < 256; i++) {
1183                 for (j = 0; j < 256; j++) {
1184                         memset(p, 0xa1, 256 * 2 * sizeof(v));
1185                         memset32(p + i, 0xb1b2b3b4, j);
1186                         for (k = 0; k < 512; k++) {
1187                                 v = p[k];
1188                                 if (k < i) {
1189                                         if (v != 0xa1a1a1a1)
1190                                                 goto fail;
1191                                 } else if (k < i + j) {
1192                                         if (v != 0xb1b2b3b4)
1193                                                 goto fail;
1194                                 } else {
1195                                         if (v != 0xa1a1a1a1)
1196                                                 goto fail;
1197                                 }
1198                         }
1199                 }
1200         }
1201
1202 fail:
1203         kfree(p);
1204         if (i < 256)
1205                 return (i << 24) | (j << 16) | k;
1206         return 0;
1207 }
1208
1209 static __init int memset64_selftest(void)
1210 {
1211         unsigned i, j, k;
1212         u64 v, *p;
1213
1214         p = kmalloc(256 * 2 * 8, GFP_KERNEL);
1215         if (!p)
1216                 return -1;
1217
1218         for (i = 0; i < 256; i++) {
1219                 for (j = 0; j < 256; j++) {
1220                         memset(p, 0xa1, 256 * 2 * sizeof(v));
1221                         memset64(p + i, 0xb1b2b3b4b5b6b7b8ULL, j);
1222                         for (k = 0; k < 512; k++) {
1223                                 v = p[k];
1224                                 if (k < i) {
1225                                         if (v != 0xa1a1a1a1a1a1a1a1ULL)
1226                                                 goto fail;
1227                                 } else if (k < i + j) {
1228                                         if (v != 0xb1b2b3b4b5b6b7b8ULL)
1229                                                 goto fail;
1230                                 } else {
1231                                         if (v != 0xa1a1a1a1a1a1a1a1ULL)
1232                                                 goto fail;
1233                                 }
1234                         }
1235                 }
1236         }
1237
1238 fail:
1239         kfree(p);
1240         if (i < 256)
1241                 return (i << 24) | (j << 16) | k;
1242         return 0;
1243 }
1244
1245 static __init int string_selftest_init(void)
1246 {
1247         int test, subtest;
1248
1249         test = 1;
1250         subtest = memset16_selftest();
1251         if (subtest)
1252                 goto fail;
1253
1254         test = 2;
1255         subtest = memset32_selftest();
1256         if (subtest)
1257                 goto fail;
1258
1259         test = 3;
1260         subtest = memset64_selftest();
1261         if (subtest)
1262                 goto fail;
1263
1264         pr_info("String selftests succeeded\n");
1265         return 0;
1266 fail:
1267         pr_crit("String selftest failure %d.%08x\n", test, subtest);
1268         return 0;
1269 }
1270
1271 module_init(string_selftest_init);
1272 #endif  /* CONFIG_STRING_SELFTEST */