drivers/usb/mtu3/mtu3_gadget.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*
   3  * mtu3_gadget.c - MediaTek usb3 DRD peripheral support
   4  *
   5  * Copyright (C) 2016 MediaTek Inc.
   6  *
   7  * Author: Chunfeng Yun <chunfeng.yun@mediatek.com>
   8  */
   9
  10 #include "mtu3.h"
  11
  12 void mtu3_req_complete(struct mtu3_ep *mep,
  13                      struct usb_request *req, int status)
  14 __releases(mep->mtu->lock)
  15 __acquires(mep->mtu->lock)
  16 {
  17         struct mtu3_request *mreq;
  18         struct mtu3 *mtu;
  19         int busy = mep->busy;
  20
  21         mreq = to_mtu3_request(req);
  22         list_del(&mreq->list);
  23         if (mreq->request.status == -EINPROGRESS)
  24                 mreq->request.status = status;
  25
  26         mtu = mreq->mtu;
  27         mep->busy = 1;
  28         spin_unlock(&mtu->lock);
  29
  30         /* ep0 makes use of PIO, needn't unmap it */
  31         if (mep->epnum)
  32                 usb_gadget_unmap_request(&mtu->g, req, mep->is_in);
  33
  34         dev_dbg(mtu->dev, "%s complete req: %p, sts %d, %d/%d\n", mep->name,
  35                 req, req->status, mreq->request.actual, mreq->request.length);
  36
  37         usb_gadget_giveback_request(&mep->ep, &mreq->request);
  38
  39         spin_lock(&mtu->lock);
  40         mep->busy = busy;
  41 }
  42
  43 static void nuke(struct mtu3_ep *mep, const int status)
  44 {
  45         struct mtu3_request *mreq = NULL;
  46
  47         mep->busy = 1;
  48         if (list_empty(&mep->req_list))
  49                 return;
  50
  51         dev_dbg(mep->mtu->dev, "abort %s's req: sts %d\n", mep->name, status);
  52
  53         /* exclude EP0 */
  54         if (mep->epnum)
  55                 mtu3_qmu_flush(mep);
  56
  57         while (!list_empty(&mep->req_list)) {
  58                 mreq = list_first_entry(&mep->req_list,
  59                                         struct mtu3_request, list);
  60                 mtu3_req_complete(mep, &mreq->request, status);
  61         }
  62 }
  63
  64 static int mtu3_ep_enable(struct mtu3_ep *mep)
  65 {
  66         const struct usb_endpoint_descriptor *desc;
  67         const struct usb_ss_ep_comp_descriptor *comp_desc;
  68         struct mtu3 *mtu = mep->mtu;
  69         u32 interval = 0;
  70         u32 mult = 0;
  71         u32 burst = 0;
  72         int ret;
  73
  74         desc = mep->desc;
  75         comp_desc = mep->comp_desc;
  76         mep->type = usb_endpoint_type(desc);
  77         mep->maxp = usb_endpoint_maxp(desc);
  78
  79         switch (mtu->g.speed) {
  80         case USB_SPEED_SUPER:
  81         case USB_SPEED_SUPER_PLUS:
  82                 if (usb_endpoint_xfer_int(desc) ||
  83                                 usb_endpoint_xfer_isoc(desc)) {
  84                         interval = desc->bInterval;
  85                         interval = clamp_val(interval, 1, 16);
  86                         if (usb_endpoint_xfer_isoc(desc) && comp_desc)
  87                                 mult = comp_desc->bmAttributes;
  88                 }
  89                 if (comp_desc)
  90                         burst = comp_desc->bMaxBurst;
  91
  92                 break;
  93         case USB_SPEED_HIGH:
  94                 if (usb_endpoint_xfer_isoc(desc) ||
  95                                 usb_endpoint_xfer_int(desc)) {
  96                         interval = desc->bInterval;
  97                         interval = clamp_val(interval, 1, 16);
  98                         mult = usb_endpoint_maxp_mult(desc) - 1;
  99                 }
 100                 break;
 101         case USB_SPEED_FULL:
 102                 if (usb_endpoint_xfer_isoc(desc))
 103                         interval = clamp_val(desc->bInterval, 1, 16);
 104                 else if (usb_endpoint_xfer_int(desc))
 105                         interval = clamp_val(desc->bInterval, 1, 255);
 106
 107                 break;
 108         default:
 109                 break; /*others are ignored */
 110         }
 111
 112         dev_dbg(mtu->dev, "%s maxp:%d, interval:%d, burst:%d, mult:%d\n",
 113                 __func__, mep->maxp, interval, burst, mult);
 114
 115         mep->ep.maxpacket = mep->maxp;
 116         mep->ep.desc = desc;
 117         mep->ep.comp_desc = comp_desc;
 118
 119         /* slot mainly affects bulk/isoc transfer, so ignore int */
 120         mep->slot = usb_endpoint_xfer_int(desc) ? 0 : mtu->slot;
 121
 122         ret = mtu3_config_ep(mtu, mep, interval, burst, mult);
 123         if (ret < 0)
 124                 return ret;
 125
 126         ret = mtu3_gpd_ring_alloc(mep);
 127         if (ret < 0) {
 128                 mtu3_deconfig_ep(mtu, mep);
 129                 return ret;
 130         }
 131
 132         mtu3_qmu_start(mep);
 133
 134         return 0;
 135 }
 136
 137 static int mtu3_ep_disable(struct mtu3_ep *mep)
 138 {
 139         struct mtu3 *mtu = mep->mtu;
 140
 141         mtu3_qmu_stop(mep);
 142
 143         /* abort all pending requests */
 144         nuke(mep, -ESHUTDOWN);
 145         mtu3_deconfig_ep(mtu, mep);
 146         mtu3_gpd_ring_free(mep);
 147
 148         mep->desc = NULL;
 149         mep->ep.desc = NULL;
 150         mep->comp_desc = NULL;
 151         mep->type = 0;
 152         mep->flags = 0;
 153
 154         return 0;
 155 }
 156
 157 static int mtu3_gadget_ep_enable(struct usb_ep *ep,
 158                 const struct usb_endpoint_descriptor *desc)
 159 {
 160         struct mtu3_ep *mep;
 161         struct mtu3 *mtu;
 162         unsigned long flags;
 163         int ret = -EINVAL;
 164
 165         if (!ep || !desc || desc->bDescriptorType != USB_DT_ENDPOINT) {
 166                 pr_debug("%s invalid parameters\n", __func__);
 167                 return -EINVAL;
 168         }
 169
 170         if (!desc->wMaxPacketSize) {
 171                 pr_debug("%s missing wMaxPacketSize\n", __func__);
 172                 return -EINVAL;
 173         }
 174         mep = to_mtu3_ep(ep);
 175         mtu = mep->mtu;
 176
 177         /* check ep number and direction against endpoint */
 178         if (usb_endpoint_num(desc) != mep->epnum)
 179                 return -EINVAL;
 180
 181         if (!!usb_endpoint_dir_in(desc) ^ !!mep->is_in)
 182                 return -EINVAL;
 183
 184         dev_dbg(mtu->dev, "%s %s\n", __func__, ep->name);
 185
 186         if (mep->flags & MTU3_EP_ENABLED) {
 187                 dev_WARN_ONCE(mtu->dev, true, "%s is already enabled\n",
 188                                 mep->name);
 189                 return 0;
 190         }
 191
 192         spin_lock_irqsave(&mtu->lock, flags);
 193         mep->desc = desc;
 194         mep->comp_desc = ep->comp_desc;
 195
 196         ret = mtu3_ep_enable(mep);
 197         if (ret)
 198                 goto error;
 199
 200         mep->busy = 0;
 201         mep->wedged = 0;
 202         mep->flags |= MTU3_EP_ENABLED;
 203         mtu->active_ep++;
 204
 205 error:
 206         spin_unlock_irqrestore(&mtu->lock, flags);
 207
 208         dev_dbg(mtu->dev, "%s active_ep=%d\n", __func__, mtu->active_ep);
 209
 210         return ret;
 211 }
 212
 213 static int mtu3_gadget_ep_disable(struct usb_ep *ep)
 214 {
 215         struct mtu3_ep *mep = to_mtu3_ep(ep);
 216         struct mtu3 *mtu = mep->mtu;
 217         unsigned long flags;
 218
 219         dev_dbg(mtu->dev, "%s %s\n", __func__, mep->name);
 220
 221         if (!(mep->flags & MTU3_EP_ENABLED)) {
 222                 dev_warn(mtu->dev, "%s is already disabled\n", mep->name);
 223                 return 0;
 224         }
 225
 226         spin_lock_irqsave(&mtu->lock, flags);
 227         mtu3_ep_disable(mep);
 228         mep->flags &= ~MTU3_EP_ENABLED;
 229         mtu->active_ep--;
 230         spin_unlock_irqrestore(&(mtu->lock), flags);
 231
 232         dev_dbg(mtu->dev, "%s active_ep=%d, mtu3 is_active=%d\n",
 233                 __func__, mtu->active_ep, mtu->is_active);
 234
 235         return 0;
 236 }
 237
 238 struct usb_request *mtu3_alloc_request(struct usb_ep *ep, gfp_t gfp_flags)
 239 {
 240         struct mtu3_ep *mep = to_mtu3_ep(ep);
 241         struct mtu3_request *mreq;
 242
 243         mreq = kzalloc(sizeof(*mreq), gfp_flags);
 244         if (!mreq)
 245                 return NULL;
 246
 247         mreq->request.dma = DMA_ADDR_INVALID;
 248         mreq->epnum = mep->epnum;
 249         mreq->mep = mep;
 250
 251         return &mreq->request;
 252 }
 253
 254 void mtu3_free_request(struct usb_ep *ep, struct usb_request *req)
 255 {
 256         kfree(to_mtu3_request(req));
 257 }
 258
 259 static int mtu3_gadget_queue(struct usb_ep *ep,
 260                 struct usb_request *req, gfp_t gfp_flags)
 261 {
 262         struct mtu3_ep *mep;
 263         struct mtu3_request *mreq;
 264         struct mtu3 *mtu;
 265         unsigned long flags;
 266         int ret = 0;
 267
 268         if (!ep || !req)
 269                 return -EINVAL;
 270
 271         if (!req->buf)
 272                 return -ENODATA;
 273
 274         mep = to_mtu3_ep(ep);
 275         mtu = mep->mtu;
 276         mreq = to_mtu3_request(req);
 277         mreq->mtu = mtu;
 278
 279         if (mreq->mep != mep)
 280                 return -EINVAL;
 281
 282         dev_dbg(mtu->dev, "%s %s EP%d(%s), req=%p, maxp=%d, len#%d\n",
 283                 __func__, mep->is_in ? "TX" : "RX", mreq->epnum, ep->name,
 284                 mreq, ep->maxpacket, mreq->request.length);
 285
 286         if (req->length > GPD_BUF_SIZE) {
 287                 dev_warn(mtu->dev,
 288                         "req length > supported MAX:%d requested:%d\n",
 289                         GPD_BUF_SIZE, req->length);
 290                 return -EOPNOTSUPP;
 291         }
 292
 293         /* don't queue if the ep is down */
 294         if (!mep->desc) {
 295                 dev_dbg(mtu->dev, "req=%p queued to %s while it's disabled\n",
 296                         req, ep->name);
 297                 return -ESHUTDOWN;
 298         }
 299
 300         mreq->request.actual = 0;
 301         mreq->request.status = -EINPROGRESS;
 302
 303         ret = usb_gadget_map_request(&mtu->g, req, mep->is_in);
 304         if (ret) {
 305                 dev_err(mtu->dev, "dma mapping failed\n");
 306                 return ret;
 307         }
 308
 309         spin_lock_irqsave(&mtu->lock, flags);
 310
 311         if (mtu3_prepare_transfer(mep)) {
 312                 ret = -EAGAIN;
 313                 goto error;
 314         }
 315
 316         list_add_tail(&mreq->list, &mep->req_list);
 317         mtu3_insert_gpd(mep, mreq);
 318         mtu3_qmu_resume(mep);
 319
 320 error:
 321         spin_unlock_irqrestore(&mtu->lock, flags);
 322
 323         return ret;
 324 }
 325
 326 static int mtu3_gadget_dequeue(struct usb_ep *ep, struct usb_request *req)
 327 {
 328         struct mtu3_ep *mep = to_mtu3_ep(ep);
 329         struct mtu3_request *mreq = to_mtu3_request(req);
 330         struct mtu3_request *r;
 331         unsigned long flags;
 332         int ret = 0;
 333         struct mtu3 *mtu = mep->mtu;
 334
 335         if (!ep || !req || mreq->mep != mep)
 336                 return -EINVAL;
 337
 338         dev_dbg(mtu->dev, "%s : req=%p\n", __func__, req);
 339
 340         spin_lock_irqsave(&mtu->lock, flags);
 341
 342         list_for_each_entry(r, &mep->req_list, list) {
 343                 if (r == mreq)
 344                         break;
 345         }
 346         if (r != mreq) {
 347                 dev_dbg(mtu->dev, "req=%p not queued to %s\n", req, ep->name);
 348                 ret = -EINVAL;
 349                 goto done;
 350         }
 351
 352         mtu3_qmu_flush(mep);  /* REVISIT: set BPS ?? */
 353         mtu3_req_complete(mep, req, -ECONNRESET);
 354         mtu3_qmu_start(mep);
 355
 356 done:
 357         spin_unlock_irqrestore(&mtu->lock, flags);
 358
 359         return ret;
 360 }
 361
 362 /*
 363  * Set or clear the halt bit of an EP.
 364  * A halted EP won't TX/RX any data but will queue requests.
 365  */
 366 static int mtu3_gadget_ep_set_halt(struct usb_ep *ep, int value)
 367 {
 368         struct mtu3_ep *mep = to_mtu3_ep(ep);
 369         struct mtu3 *mtu = mep->mtu;
 370         struct mtu3_request *mreq;
 371         unsigned long flags;
 372         int ret = 0;
 373
 374         if (!ep)
 375                 return -EINVAL;
 376
 377         dev_dbg(mtu->dev, "%s : %s...", __func__, ep->name);
 378
 379         spin_lock_irqsave(&mtu->lock, flags);
 380
 381         if (mep->type == USB_ENDPOINT_XFER_ISOC) {
 382                 ret = -EINVAL;
 383                 goto done;
 384         }
 385
 386         mreq = next_request(mep);
 387         if (value) {
 388                 /*
 389                  * If there is not request for TX-EP, QMU will not transfer
 390                  * data to TX-FIFO, so no need check whether TX-FIFO
 391                  * holds bytes or not here
 392                  */
 393                 if (mreq) {
 394                         dev_dbg(mtu->dev, "req in progress, cannot halt %s\n",
 395                                 ep->name);
 396                         ret = -EAGAIN;
 397                         goto done;
 398                 }
 399         } else {
 400                 mep->wedged = 0;
 401         }
 402
 403         dev_dbg(mtu->dev, "%s %s stall\n", ep->name, value ? "set" : "clear");
 404
 405         mtu3_ep_stall_set(mep, value);
 406
 407 done:
 408         spin_unlock_irqrestore(&mtu->lock, flags);
 409
 410         return ret;
 411 }
 412
 413 /* Sets the halt feature with the clear requests ignored */
 414 static int mtu3_gadget_ep_set_wedge(struct usb_ep *ep)
 415 {
 416         struct mtu3_ep *mep = to_mtu3_ep(ep);
 417
 418         if (!ep)
 419                 return -EINVAL;
 420
 421         mep->wedged = 1;
 422
 423         return usb_ep_set_halt(ep);
 424 }
 425
 426 static const struct usb_ep_ops mtu3_ep_ops = {
 427         .enable = mtu3_gadget_ep_enable,
 428         .disable = mtu3_gadget_ep_disable,
 429         .alloc_request = mtu3_alloc_request,
 430         .free_request = mtu3_free_request,
 431         .queue = mtu3_gadget_queue,
 432         .dequeue = mtu3_gadget_dequeue,
 433         .set_halt = mtu3_gadget_ep_set_halt,
 434         .set_wedge = mtu3_gadget_ep_set_wedge,
 435 };
 436
 437 static int mtu3_gadget_get_frame(struct usb_gadget *gadget)
 438 {
 439         struct mtu3 *mtu = gadget_to_mtu3(gadget);
 440
 441         return (int)mtu3_readl(mtu->mac_base, U3D_USB20_FRAME_NUM);
 442 }
 443
 444 static int mtu3_gadget_wakeup(struct usb_gadget *gadget)
 445 {
 446         struct mtu3 *mtu = gadget_to_mtu3(gadget);
 447         unsigned long flags;
 448
 449         dev_dbg(mtu->dev, "%s\n", __func__);
 450
 451         /* remote wakeup feature is not enabled by host */
 452         if (!mtu->may_wakeup)
 453                 return  -EOPNOTSUPP;
 454
 455         spin_lock_irqsave(&mtu->lock, flags);
 456         if (mtu->g.speed >= USB_SPEED_SUPER) {
 457                 mtu3_setbits(mtu->mac_base, U3D_LINK_POWER_CONTROL, UX_EXIT);
 458         } else {
 459                 mtu3_setbits(mtu->mac_base, U3D_POWER_MANAGEMENT, RESUME);
 460                 spin_unlock_irqrestore(&mtu->lock, flags);
 461                 usleep_range(10000, 11000);
 462                 spin_lock_irqsave(&mtu->lock, flags);
 463                 mtu3_clrbits(mtu->mac_base, U3D_POWER_MANAGEMENT, RESUME);
 464         }
 465         spin_unlock_irqrestore(&mtu->lock, flags);
 466         return 0;
 467 }
 468
 469 static int mtu3_gadget_set_self_powered(struct usb_gadget *gadget,
 470                 int is_selfpowered)
 471 {
 472         struct mtu3 *mtu = gadget_to_mtu3(gadget);
 473
 474         mtu->is_self_powered = !!is_selfpowered;
 475         return 0;
 476 }
 477
 478 static int mtu3_gadget_pullup(struct usb_gadget *gadget, int is_on)
 479 {
 480         struct mtu3 *mtu = gadget_to_mtu3(gadget);
 481         unsigned long flags;
 482
 483         dev_dbg(mtu->dev, "%s (%s) for %sactive device\n", __func__,
 484                 is_on ? "on" : "off", mtu->is_active ? "" : "in");
 485
 486         /* we'd rather not pullup unless the device is active. */
 487         spin_lock_irqsave(&mtu->lock, flags);
 488
 489         is_on = !!is_on;
 490         if (!mtu->is_active) {
 491                 /* save it for mtu3_start() to process the request */
 492                 mtu->softconnect = is_on;
 493         } else if (is_on != mtu->softconnect) {
 494                 mtu->softconnect = is_on;
 495                 mtu3_dev_on_off(mtu, is_on);
 496         }
 497
 498         spin_unlock_irqrestore(&mtu->lock, flags);
 499
 500         return 0;
 501 }
 502
 503 static int mtu3_gadget_start(struct usb_gadget *gadget,
 504                 struct usb_gadget_driver *driver)
 505 {
 506         struct mtu3 *mtu = gadget_to_mtu3(gadget);
 507         unsigned long flags;
 508
 509         if (mtu->gadget_driver) {
 510                 dev_err(mtu->dev, "%s is already bound to %s\n",
 511                         mtu->g.name, mtu->gadget_driver->driver.name);
 512                 return -EBUSY;
 513         }
 514
 515         dev_dbg(mtu->dev, "bind driver %s\n", driver->function);
 516
 517         spin_lock_irqsave(&mtu->lock, flags);
 518
 519         mtu->softconnect = 0;
 520         mtu->gadget_driver = driver;
 521
 522         if (mtu->ssusb->dr_mode == USB_DR_MODE_PERIPHERAL)
 523                 mtu3_start(mtu);
 524
 525         spin_unlock_irqrestore(&mtu->lock, flags);
 526
 527         return 0;
 528 }
 529
 530 static void stop_activity(struct mtu3 *mtu)
 531 {
 532         struct usb_gadget_driver *driver = mtu->gadget_driver;
 533         int i;
 534
 535         /* don't disconnect if it's not connected */
 536         if (mtu->g.speed == USB_SPEED_UNKNOWN)
 537                 driver = NULL;
 538         else
 539                 mtu->g.speed = USB_SPEED_UNKNOWN;
 540
 541         /* deactivate the hardware */
 542         if (mtu->softconnect) {
 543                 mtu->softconnect = 0;
 544                 mtu3_dev_on_off(mtu, 0);
 545         }
 546
 547         /*
 548          * killing any outstanding requests will quiesce the driver;
 549          * then report disconnect
 550          */
 551         nuke(mtu->ep0, -ESHUTDOWN);
 552         for (i = 1; i < mtu->num_eps; i++) {
 553                 nuke(mtu->in_eps + i, -ESHUTDOWN);
 554                 nuke(mtu->out_eps + i, -ESHUTDOWN);
 555         }
 556
 557         if (driver) {
 558                 spin_unlock(&mtu->lock);
 559                 driver->disconnect(&mtu->g);
 560                 spin_lock(&mtu->lock);
 561         }
 562 }
 563
 564 static int mtu3_gadget_stop(struct usb_gadget *g)
 565 {
 566         struct mtu3 *mtu = gadget_to_mtu3(g);
 567         unsigned long flags;
 568
 569         dev_dbg(mtu->dev, "%s\n", __func__);
 570
 571         spin_lock_irqsave(&mtu->lock, flags);
 572
 573         stop_activity(mtu);
 574         mtu->gadget_driver = NULL;
 575
 576         if (mtu->ssusb->dr_mode == USB_DR_MODE_PERIPHERAL)
 577                 mtu3_stop(mtu);
 578
 579         spin_unlock_irqrestore(&mtu->lock, flags);
 580
 581         synchronize_irq(mtu->irq);
 582         return 0;
 583 }
 584
 585 static const struct usb_gadget_ops mtu3_gadget_ops = {
 586         .get_frame = mtu3_gadget_get_frame,
 587         .wakeup = mtu3_gadget_wakeup,
 588         .set_selfpowered = mtu3_gadget_set_self_powered,
 589         .pullup = mtu3_gadget_pullup,
 590         .udc_start = mtu3_gadget_start,
 591         .udc_stop = mtu3_gadget_stop,
 592 };
 593
 594 static void mtu3_state_reset(struct mtu3 *mtu)
 595 {
 596         mtu->address = 0;
 597         mtu->ep0_state = MU3D_EP0_STATE_SETUP;
 598         mtu->may_wakeup = 0;
 599         mtu->u1_enable = 0;
 600         mtu->u2_enable = 0;
 601         mtu->delayed_status = false;
 602         mtu->test_mode = false;
 603 }
 604
 605 static void init_hw_ep(struct mtu3 *mtu, struct mtu3_ep *mep,
 606                 u32 epnum, u32 is_in)
 607 {
 608         mep->epnum = epnum;
 609         mep->mtu = mtu;
 610         mep->is_in = is_in;
 611
 612         INIT_LIST_HEAD(&mep->req_list);
 613
 614         sprintf(mep->name, "ep%d%s", epnum,
 615                 !epnum ? "" : (is_in ? "in" : "out"));
 616
 617         mep->ep.name = mep->name;
 618         INIT_LIST_HEAD(&mep->ep.ep_list);
 619
 620         /* initialize maxpacket as SS */
 621         if (!epnum) {
 622                 usb_ep_set_maxpacket_limit(&mep->ep, 512);
 623                 mep->ep.caps.type_control = true;
 624                 mep->ep.ops = &mtu3_ep0_ops;
 625                 mtu->g.ep0 = &mep->ep;
 626         } else {
 627                 usb_ep_set_maxpacket_limit(&mep->ep, 1024);
 628                 mep->ep.caps.type_iso = true;
 629                 mep->ep.caps.type_bulk = true;
 630                 mep->ep.caps.type_int = true;
 631                 mep->ep.ops = &mtu3_ep_ops;
 632                 list_add_tail(&mep->ep.ep_list, &mtu->g.ep_list);
 633         }
 634
 635         dev_dbg(mtu->dev, "%s, name=%s, maxp=%d\n", __func__, mep->ep.name,
 636                  mep->ep.maxpacket);
 637
 638         if (!epnum) {
 639                 mep->ep.caps.dir_in = true;
 640                 mep->ep.caps.dir_out = true;
 641         } else if (is_in) {
 642                 mep->ep.caps.dir_in = true;
 643         } else {
 644                 mep->ep.caps.dir_out = true;
 645         }
 646 }
 647
 648 static void mtu3_gadget_init_eps(struct mtu3 *mtu)
 649 {
 650         u8 epnum;
 651
 652         /* initialize endpoint list just once */
 653         INIT_LIST_HEAD(&(mtu->g.ep_list));
 654
 655         dev_dbg(mtu->dev, "%s num_eps(1 for a pair of tx&rx ep)=%d\n",
 656                 __func__, mtu->num_eps);
 657
 658         init_hw_ep(mtu, mtu->ep0, 0, 0);
 659         for (epnum = 1; epnum < mtu->num_eps; epnum++) {
 660                 init_hw_ep(mtu, mtu->in_eps + epnum, epnum, 1);
 661                 init_hw_ep(mtu, mtu->out_eps + epnum, epnum, 0);
 662         }
 663 }
 664
 665 int mtu3_gadget_setup(struct mtu3 *mtu)
 666 {
 667         int ret;
 668
 669         mtu->g.ops = &mtu3_gadget_ops;
 670         mtu->g.max_speed = mtu->max_speed;
 671         mtu->g.speed = USB_SPEED_UNKNOWN;
 672         mtu->g.sg_supported = 0;
 673         mtu->g.name = MTU3_DRIVER_NAME;
 674         mtu->is_active = 0;
 675         mtu->delayed_status = false;
 676
 677         mtu3_gadget_init_eps(mtu);
 678
 679         ret = usb_add_gadget_udc(mtu->dev, &mtu->g);
 680         if (ret)
 681                 dev_err(mtu->dev, "failed to register udc\n");
 682
 683         return ret;
 684 }
 685
 686 void mtu3_gadget_cleanup(struct mtu3 *mtu)
 687 {
 688         usb_del_gadget_udc(&mtu->g);
 689 }
 690
 691 void mtu3_gadget_resume(struct mtu3 *mtu)
 692 {
 693         dev_dbg(mtu->dev, "gadget RESUME\n");
 694         if (mtu->gadget_driver && mtu->gadget_driver->resume) {
 695                 spin_unlock(&mtu->lock);
 696                 mtu->gadget_driver->resume(&mtu->g);
 697                 spin_lock(&mtu->lock);
 698         }
 699 }
 700
 701 /* called when SOF packets stop for 3+ msec or enters U3 */
 702 void mtu3_gadget_suspend(struct mtu3 *mtu)
 703 {
 704         dev_dbg(mtu->dev, "gadget SUSPEND\n");
 705         if (mtu->gadget_driver && mtu->gadget_driver->suspend) {
 706                 spin_unlock(&mtu->lock);
 707                 mtu->gadget_driver->suspend(&mtu->g);
 708                 spin_lock(&mtu->lock);
 709         }
 710 }
 711
 712 /* called when VBUS drops below session threshold, and in other cases */
 713 void mtu3_gadget_disconnect(struct mtu3 *mtu)
 714 {
 715         dev_dbg(mtu->dev, "gadget DISCONNECT\n");
 716         if (mtu->gadget_driver && mtu->gadget_driver->disconnect) {
 717                 spin_unlock(&mtu->lock);
 718                 mtu->gadget_driver->disconnect(&mtu->g);
 719                 spin_lock(&mtu->lock);
 720         }
 721
 722         mtu3_state_reset(mtu);
 723         usb_gadget_set_state(&mtu->g, USB_STATE_NOTATTACHED);
 724 }
 725
 726 void mtu3_gadget_reset(struct mtu3 *mtu)
 727 {
 728         dev_dbg(mtu->dev, "gadget RESET\n");
 729
 730         /* report disconnect, if we didn't flush EP state */
 731         if (mtu->g.speed != USB_SPEED_UNKNOWN)
 732                 mtu3_gadget_disconnect(mtu);
 733         else
 734                 mtu3_state_reset(mtu);
 735 }