GNU Linux-libre 4.4.284-gnu1
[releases.git] / drivers / usb / core / urb.c
1 #include <linux/module.h>
2 #include <linux/string.h>
3 #include <linux/bitops.h>
4 #include <linux/slab.h>
5 #include <linux/log2.h>
6 #include <linux/usb.h>
7 #include <linux/wait.h>
8 #include <linux/usb/hcd.h>
9 #include <linux/scatterlist.h>
10
11 #define to_urb(d) container_of(d, struct urb, kref)
12
13
14 static void urb_destroy(struct kref *kref)
15 {
16         struct urb *urb = to_urb(kref);
17
18         if (urb->transfer_flags & URB_FREE_BUFFER)
19                 kfree(urb->transfer_buffer);
20
21         kfree(urb);
22 }
23
24 /**
25  * usb_init_urb - initializes a urb so that it can be used by a USB driver
26  * @urb: pointer to the urb to initialize
27  *
28  * Initializes a urb so that the USB subsystem can use it properly.
29  *
30  * If a urb is created with a call to usb_alloc_urb() it is not
31  * necessary to call this function.  Only use this if you allocate the
32  * space for a struct urb on your own.  If you call this function, be
33  * careful when freeing the memory for your urb that it is no longer in
34  * use by the USB core.
35  *
36  * Only use this function if you _really_ understand what you are doing.
37  */
38 void usb_init_urb(struct urb *urb)
39 {
40         if (urb) {
41                 memset(urb, 0, sizeof(*urb));
42                 kref_init(&urb->kref);
43                 INIT_LIST_HEAD(&urb->urb_list);
44                 INIT_LIST_HEAD(&urb->anchor_list);
45         }
46 }
47 EXPORT_SYMBOL_GPL(usb_init_urb);
48
49 /**
50  * usb_alloc_urb - creates a new urb for a USB driver to use
51  * @iso_packets: number of iso packets for this urb
52  * @mem_flags: the type of memory to allocate, see kmalloc() for a list of
53  *      valid options for this.
54  *
55  * Creates an urb for the USB driver to use, initializes a few internal
56  * structures, increments the usage counter, and returns a pointer to it.
57  *
58  * If the driver want to use this urb for interrupt, control, or bulk
59  * endpoints, pass '0' as the number of iso packets.
60  *
61  * The driver must call usb_free_urb() when it is finished with the urb.
62  *
63  * Return: A pointer to the new urb, or %NULL if no memory is available.
64  */
65 struct urb *usb_alloc_urb(int iso_packets, gfp_t mem_flags)
66 {
67         struct urb *urb;
68
69         urb = kmalloc(sizeof(struct urb) +
70                 iso_packets * sizeof(struct usb_iso_packet_descriptor),
71                 mem_flags);
72         if (!urb) {
73                 printk(KERN_ERR "alloc_urb: kmalloc failed\n");
74                 return NULL;
75         }
76         usb_init_urb(urb);
77         return urb;
78 }
79 EXPORT_SYMBOL_GPL(usb_alloc_urb);
80
81 /**
82  * usb_free_urb - frees the memory used by a urb when all users of it are finished
83  * @urb: pointer to the urb to free, may be NULL
84  *
85  * Must be called when a user of a urb is finished with it.  When the last user
86  * of the urb calls this function, the memory of the urb is freed.
87  *
88  * Note: The transfer buffer associated with the urb is not freed unless the
89  * URB_FREE_BUFFER transfer flag is set.
90  */
91 void usb_free_urb(struct urb *urb)
92 {
93         if (urb)
94                 kref_put(&urb->kref, urb_destroy);
95 }
96 EXPORT_SYMBOL_GPL(usb_free_urb);
97
98 /**
99  * usb_get_urb - increments the reference count of the urb
100  * @urb: pointer to the urb to modify, may be NULL
101  *
102  * This must be  called whenever a urb is transferred from a device driver to a
103  * host controller driver.  This allows proper reference counting to happen
104  * for urbs.
105  *
106  * Return: A pointer to the urb with the incremented reference counter.
107  */
108 struct urb *usb_get_urb(struct urb *urb)
109 {
110         if (urb)
111                 kref_get(&urb->kref);
112         return urb;
113 }
114 EXPORT_SYMBOL_GPL(usb_get_urb);
115
116 /**
117  * usb_anchor_urb - anchors an URB while it is processed
118  * @urb: pointer to the urb to anchor
119  * @anchor: pointer to the anchor
120  *
121  * This can be called to have access to URBs which are to be executed
122  * without bothering to track them
123  */
124 void usb_anchor_urb(struct urb *urb, struct usb_anchor *anchor)
125 {
126         unsigned long flags;
127
128         spin_lock_irqsave(&anchor->lock, flags);
129         usb_get_urb(urb);
130         list_add_tail(&urb->anchor_list, &anchor->urb_list);
131         urb->anchor = anchor;
132
133         if (unlikely(anchor->poisoned))
134                 atomic_inc(&urb->reject);
135
136         spin_unlock_irqrestore(&anchor->lock, flags);
137 }
138 EXPORT_SYMBOL_GPL(usb_anchor_urb);
139
140 static int usb_anchor_check_wakeup(struct usb_anchor *anchor)
141 {
142         return atomic_read(&anchor->suspend_wakeups) == 0 &&
143                 list_empty(&anchor->urb_list);
144 }
145
146 /* Callers must hold anchor->lock */
147 static void __usb_unanchor_urb(struct urb *urb, struct usb_anchor *anchor)
148 {
149         urb->anchor = NULL;
150         list_del(&urb->anchor_list);
151         usb_put_urb(urb);
152         if (usb_anchor_check_wakeup(anchor))
153                 wake_up(&anchor->wait);
154 }
155
156 /**
157  * usb_unanchor_urb - unanchors an URB
158  * @urb: pointer to the urb to anchor
159  *
160  * Call this to stop the system keeping track of this URB
161  */
162 void usb_unanchor_urb(struct urb *urb)
163 {
164         unsigned long flags;
165         struct usb_anchor *anchor;
166
167         if (!urb)
168                 return;
169
170         anchor = urb->anchor;
171         if (!anchor)
172                 return;
173
174         spin_lock_irqsave(&anchor->lock, flags);
175         /*
176          * At this point, we could be competing with another thread which
177          * has the same intention. To protect the urb from being unanchored
178          * twice, only the winner of the race gets the job.
179          */
180         if (likely(anchor == urb->anchor))
181                 __usb_unanchor_urb(urb, anchor);
182         spin_unlock_irqrestore(&anchor->lock, flags);
183 }
184 EXPORT_SYMBOL_GPL(usb_unanchor_urb);
185
186 /*-------------------------------------------------------------------*/
187
188 static const int pipetypes[4] = {
189         PIPE_CONTROL, PIPE_ISOCHRONOUS, PIPE_BULK, PIPE_INTERRUPT
190 };
191
192 /**
193  * usb_urb_ep_type_check - sanity check of endpoint in the given urb
194  * @urb: urb to be checked
195  *
196  * This performs a light-weight sanity check for the endpoint in the
197  * given urb.  It returns 0 if the urb contains a valid endpoint, otherwise
198  * a negative error code.
199  */
200 int usb_urb_ep_type_check(const struct urb *urb)
201 {
202         const struct usb_host_endpoint *ep;
203
204         ep = usb_pipe_endpoint(urb->dev, urb->pipe);
205         if (!ep)
206                 return -EINVAL;
207         if (usb_pipetype(urb->pipe) != pipetypes[usb_endpoint_type(&ep->desc)])
208                 return -EINVAL;
209         return 0;
210 }
211 EXPORT_SYMBOL_GPL(usb_urb_ep_type_check);
212
213 /**
214  * usb_submit_urb - issue an asynchronous transfer request for an endpoint
215  * @urb: pointer to the urb describing the request
216  * @mem_flags: the type of memory to allocate, see kmalloc() for a list
217  *      of valid options for this.
218  *
219  * This submits a transfer request, and transfers control of the URB
220  * describing that request to the USB subsystem.  Request completion will
221  * be indicated later, asynchronously, by calling the completion handler.
222  * The three types of completion are success, error, and unlink
223  * (a software-induced fault, also called "request cancellation").
224  *
225  * URBs may be submitted in interrupt context.
226  *
227  * The caller must have correctly initialized the URB before submitting
228  * it.  Functions such as usb_fill_bulk_urb() and usb_fill_control_urb() are
229  * available to ensure that most fields are correctly initialized, for
230  * the particular kind of transfer, although they will not initialize
231  * any transfer flags.
232  *
233  * If the submission is successful, the complete() callback from the URB
234  * will be called exactly once, when the USB core and Host Controller Driver
235  * (HCD) are finished with the URB.  When the completion function is called,
236  * control of the URB is returned to the device driver which issued the
237  * request.  The completion handler may then immediately free or reuse that
238  * URB.
239  *
240  * With few exceptions, USB device drivers should never access URB fields
241  * provided by usbcore or the HCD until its complete() is called.
242  * The exceptions relate to periodic transfer scheduling.  For both
243  * interrupt and isochronous urbs, as part of successful URB submission
244  * urb->interval is modified to reflect the actual transfer period used
245  * (normally some power of two units).  And for isochronous urbs,
246  * urb->start_frame is modified to reflect when the URB's transfers were
247  * scheduled to start.
248  *
249  * Not all isochronous transfer scheduling policies will work, but most
250  * host controller drivers should easily handle ISO queues going from now
251  * until 10-200 msec into the future.  Drivers should try to keep at
252  * least one or two msec of data in the queue; many controllers require
253  * that new transfers start at least 1 msec in the future when they are
254  * added.  If the driver is unable to keep up and the queue empties out,
255  * the behavior for new submissions is governed by the URB_ISO_ASAP flag.
256  * If the flag is set, or if the queue is idle, then the URB is always
257  * assigned to the first available (and not yet expired) slot in the
258  * endpoint's schedule.  If the flag is not set and the queue is active
259  * then the URB is always assigned to the next slot in the schedule
260  * following the end of the endpoint's previous URB, even if that slot is
261  * in the past.  When a packet is assigned in this way to a slot that has
262  * already expired, the packet is not transmitted and the corresponding
263  * usb_iso_packet_descriptor's status field will return -EXDEV.  If this
264  * would happen to all the packets in the URB, submission fails with a
265  * -EXDEV error code.
266  *
267  * For control endpoints, the synchronous usb_control_msg() call is
268  * often used (in non-interrupt context) instead of this call.
269  * That is often used through convenience wrappers, for the requests
270  * that are standardized in the USB 2.0 specification.  For bulk
271  * endpoints, a synchronous usb_bulk_msg() call is available.
272  *
273  * Return:
274  * 0 on successful submissions. A negative error number otherwise.
275  *
276  * Request Queuing:
277  *
278  * URBs may be submitted to endpoints before previous ones complete, to
279  * minimize the impact of interrupt latencies and system overhead on data
280  * throughput.  With that queuing policy, an endpoint's queue would never
281  * be empty.  This is required for continuous isochronous data streams,
282  * and may also be required for some kinds of interrupt transfers. Such
283  * queuing also maximizes bandwidth utilization by letting USB controllers
284  * start work on later requests before driver software has finished the
285  * completion processing for earlier (successful) requests.
286  *
287  * As of Linux 2.6, all USB endpoint transfer queues support depths greater
288  * than one.  This was previously a HCD-specific behavior, except for ISO
289  * transfers.  Non-isochronous endpoint queues are inactive during cleanup
290  * after faults (transfer errors or cancellation).
291  *
292  * Reserved Bandwidth Transfers:
293  *
294  * Periodic transfers (interrupt or isochronous) are performed repeatedly,
295  * using the interval specified in the urb.  Submitting the first urb to
296  * the endpoint reserves the bandwidth necessary to make those transfers.
297  * If the USB subsystem can't allocate sufficient bandwidth to perform
298  * the periodic request, submitting such a periodic request should fail.
299  *
300  * For devices under xHCI, the bandwidth is reserved at configuration time, or
301  * when the alt setting is selected.  If there is not enough bus bandwidth, the
302  * configuration/alt setting request will fail.  Therefore, submissions to
303  * periodic endpoints on devices under xHCI should never fail due to bandwidth
304  * constraints.
305  *
306  * Device drivers must explicitly request that repetition, by ensuring that
307  * some URB is always on the endpoint's queue (except possibly for short
308  * periods during completion callbacks).  When there is no longer an urb
309  * queued, the endpoint's bandwidth reservation is canceled.  This means
310  * drivers can use their completion handlers to ensure they keep bandwidth
311  * they need, by reinitializing and resubmitting the just-completed urb
312  * until the driver longer needs that periodic bandwidth.
313  *
314  * Memory Flags:
315  *
316  * The general rules for how to decide which mem_flags to use
317  * are the same as for kmalloc.  There are four
318  * different possible values; GFP_KERNEL, GFP_NOFS, GFP_NOIO and
319  * GFP_ATOMIC.
320  *
321  * GFP_NOFS is not ever used, as it has not been implemented yet.
322  *
323  * GFP_ATOMIC is used when
324  *   (a) you are inside a completion handler, an interrupt, bottom half,
325  *       tasklet or timer, or
326  *   (b) you are holding a spinlock or rwlock (does not apply to
327  *       semaphores), or
328  *   (c) current->state != TASK_RUNNING, this is the case only after
329  *       you've changed it.
330  *
331  * GFP_NOIO is used in the block io path and error handling of storage
332  * devices.
333  *
334  * All other situations use GFP_KERNEL.
335  *
336  * Some more specific rules for mem_flags can be inferred, such as
337  *  (1) start_xmit, timeout, and receive methods of network drivers must
338  *      use GFP_ATOMIC (they are called with a spinlock held);
339  *  (2) queuecommand methods of scsi drivers must use GFP_ATOMIC (also
340  *      called with a spinlock held);
341  *  (3) If you use a kernel thread with a network driver you must use
342  *      GFP_NOIO, unless (b) or (c) apply;
343  *  (4) after you have done a down() you can use GFP_KERNEL, unless (b) or (c)
344  *      apply or your are in a storage driver's block io path;
345  *  (5) USB probe and disconnect can use GFP_KERNEL unless (b) or (c) apply; and
346  *  (6) changing firmware on a running storage or net device uses
347  *      GFP_NOIO, unless b) or c) apply
348  *
349  */
350 int usb_submit_urb(struct urb *urb, gfp_t mem_flags)
351 {
352         int                             xfertype, max;
353         struct usb_device               *dev;
354         struct usb_host_endpoint        *ep;
355         int                             is_out;
356         unsigned int                    allowed;
357
358         if (!urb || !urb->complete)
359                 return -EINVAL;
360         if (urb->hcpriv) {
361                 WARN_ONCE(1, "URB %pK submitted while active\n", urb);
362                 return -EBUSY;
363         }
364
365         dev = urb->dev;
366         if ((!dev) || (dev->state < USB_STATE_UNAUTHENTICATED))
367                 return -ENODEV;
368
369         /* For now, get the endpoint from the pipe.  Eventually drivers
370          * will be required to set urb->ep directly and we will eliminate
371          * urb->pipe.
372          */
373         ep = usb_pipe_endpoint(dev, urb->pipe);
374         if (!ep)
375                 return -ENOENT;
376
377         urb->ep = ep;
378         urb->status = -EINPROGRESS;
379         urb->actual_length = 0;
380
381         /* Lots of sanity checks, so HCDs can rely on clean data
382          * and don't need to duplicate tests
383          */
384         xfertype = usb_endpoint_type(&ep->desc);
385         if (xfertype == USB_ENDPOINT_XFER_CONTROL) {
386                 struct usb_ctrlrequest *setup =
387                                 (struct usb_ctrlrequest *) urb->setup_packet;
388
389                 if (!setup)
390                         return -ENOEXEC;
391                 is_out = !(setup->bRequestType & USB_DIR_IN) ||
392                                 !setup->wLength;
393         } else {
394                 is_out = usb_endpoint_dir_out(&ep->desc);
395         }
396
397         /* Clear the internal flags and cache the direction for later use */
398         urb->transfer_flags &= ~(URB_DIR_MASK | URB_DMA_MAP_SINGLE |
399                         URB_DMA_MAP_PAGE | URB_DMA_MAP_SG | URB_MAP_LOCAL |
400                         URB_SETUP_MAP_SINGLE | URB_SETUP_MAP_LOCAL |
401                         URB_DMA_SG_COMBINED);
402         urb->transfer_flags |= (is_out ? URB_DIR_OUT : URB_DIR_IN);
403
404         if (xfertype != USB_ENDPOINT_XFER_CONTROL &&
405                         dev->state < USB_STATE_CONFIGURED)
406                 return -ENODEV;
407
408         max = usb_endpoint_maxp(&ep->desc);
409         if (max <= 0) {
410                 dev_dbg(&dev->dev,
411                         "bogus endpoint ep%d%s in %s (bad maxpacket %d)\n",
412                         usb_endpoint_num(&ep->desc), is_out ? "out" : "in",
413                         __func__, max);
414                 return -EMSGSIZE;
415         }
416
417         /* periodic transfers limit size per frame/uframe,
418          * but drivers only control those sizes for ISO.
419          * while we're checking, initialize return status.
420          */
421         if (xfertype == USB_ENDPOINT_XFER_ISOC) {
422                 int     n, len;
423
424                 /* SuperSpeed isoc endpoints have up to 16 bursts of up to
425                  * 3 packets each
426                  */
427                 if (dev->speed >= USB_SPEED_SUPER) {
428                         int     burst = 1 + ep->ss_ep_comp.bMaxBurst;
429                         int     mult = USB_SS_MULT(ep->ss_ep_comp.bmAttributes);
430                         max *= burst;
431                         max *= mult;
432                 }
433
434                 /* "high bandwidth" mode, 1-3 packets/uframe? */
435                 if (dev->speed == USB_SPEED_HIGH) {
436                         int     mult = 1 + ((max >> 11) & 0x03);
437                         max &= 0x07ff;
438                         max *= mult;
439                 }
440
441                 if (urb->number_of_packets <= 0)
442                         return -EINVAL;
443                 for (n = 0; n < urb->number_of_packets; n++) {
444                         len = urb->iso_frame_desc[n].length;
445                         if (len < 0 || len > max)
446                                 return -EMSGSIZE;
447                         urb->iso_frame_desc[n].status = -EXDEV;
448                         urb->iso_frame_desc[n].actual_length = 0;
449                 }
450         } else if (urb->num_sgs && !urb->dev->bus->no_sg_constraint &&
451                         dev->speed != USB_SPEED_WIRELESS) {
452                 struct scatterlist *sg;
453                 int i;
454
455                 for_each_sg(urb->sg, sg, urb->num_sgs - 1, i)
456                         if (sg->length % max)
457                                 return -EINVAL;
458         }
459
460         /* the I/O buffer must be mapped/unmapped, except when length=0 */
461         if (urb->transfer_buffer_length > INT_MAX)
462                 return -EMSGSIZE;
463
464         /*
465          * stuff that drivers shouldn't do, but which shouldn't
466          * cause problems in HCDs if they get it wrong.
467          */
468
469         /* Check that the pipe's type matches the endpoint's type */
470         if (usb_urb_ep_type_check(urb))
471                 dev_WARN(&dev->dev, "BOGUS urb xfer, pipe %x != type %x\n",
472                         usb_pipetype(urb->pipe), pipetypes[xfertype]);
473
474         /* Check against a simple/standard policy */
475         allowed = (URB_NO_TRANSFER_DMA_MAP | URB_NO_INTERRUPT | URB_DIR_MASK |
476                         URB_FREE_BUFFER);
477         switch (xfertype) {
478         case USB_ENDPOINT_XFER_BULK:
479         case USB_ENDPOINT_XFER_INT:
480                 if (is_out)
481                         allowed |= URB_ZERO_PACKET;
482                 /* FALLTHROUGH */
483         case USB_ENDPOINT_XFER_CONTROL:
484                 allowed |= URB_NO_FSBR; /* only affects UHCI */
485                 /* FALLTHROUGH */
486         default:                        /* all non-iso endpoints */
487                 if (!is_out)
488                         allowed |= URB_SHORT_NOT_OK;
489                 break;
490         case USB_ENDPOINT_XFER_ISOC:
491                 allowed |= URB_ISO_ASAP;
492                 break;
493         }
494         allowed &= urb->transfer_flags;
495
496         /* warn if submitter gave bogus flags */
497         if (allowed != urb->transfer_flags)
498                 dev_WARN(&dev->dev, "BOGUS urb flags, %x --> %x\n",
499                         urb->transfer_flags, allowed);
500
501         /*
502          * Force periodic transfer intervals to be legal values that are
503          * a power of two (so HCDs don't need to).
504          *
505          * FIXME want bus->{intr,iso}_sched_horizon values here.  Each HC
506          * supports different values... this uses EHCI/UHCI defaults (and
507          * EHCI can use smaller non-default values).
508          */
509         switch (xfertype) {
510         case USB_ENDPOINT_XFER_ISOC:
511         case USB_ENDPOINT_XFER_INT:
512                 /* too small? */
513                 switch (dev->speed) {
514                 case USB_SPEED_WIRELESS:
515                         if ((urb->interval < 6)
516                                 && (xfertype == USB_ENDPOINT_XFER_INT))
517                                 return -EINVAL;
518                 default:
519                         if (urb->interval <= 0)
520                                 return -EINVAL;
521                         break;
522                 }
523                 /* too big? */
524                 switch (dev->speed) {
525                 case USB_SPEED_SUPER_PLUS:
526                 case USB_SPEED_SUPER:   /* units are 125us */
527                         /* Handle up to 2^(16-1) microframes */
528                         if (urb->interval > (1 << 15))
529                                 return -EINVAL;
530                         max = 1 << 15;
531                         break;
532                 case USB_SPEED_WIRELESS:
533                         if (urb->interval > 16)
534                                 return -EINVAL;
535                         break;
536                 case USB_SPEED_HIGH:    /* units are microframes */
537                         /* NOTE usb handles 2^15 */
538                         if (urb->interval > (1024 * 8))
539                                 urb->interval = 1024 * 8;
540                         max = 1024 * 8;
541                         break;
542                 case USB_SPEED_FULL:    /* units are frames/msec */
543                 case USB_SPEED_LOW:
544                         if (xfertype == USB_ENDPOINT_XFER_INT) {
545                                 if (urb->interval > 255)
546                                         return -EINVAL;
547                                 /* NOTE ohci only handles up to 32 */
548                                 max = 128;
549                         } else {
550                                 if (urb->interval > 1024)
551                                         urb->interval = 1024;
552                                 /* NOTE usb and ohci handle up to 2^15 */
553                                 max = 1024;
554                         }
555                         break;
556                 default:
557                         return -EINVAL;
558                 }
559                 if (dev->speed != USB_SPEED_WIRELESS) {
560                         /* Round down to a power of 2, no more than max */
561                         urb->interval = min(max, 1 << ilog2(urb->interval));
562                 }
563         }
564
565         return usb_hcd_submit_urb(urb, mem_flags);
566 }
567 EXPORT_SYMBOL_GPL(usb_submit_urb);
568
569 /*-------------------------------------------------------------------*/
570
571 /**
572  * usb_unlink_urb - abort/cancel a transfer request for an endpoint
573  * @urb: pointer to urb describing a previously submitted request,
574  *      may be NULL
575  *
576  * This routine cancels an in-progress request.  URBs complete only once
577  * per submission, and may be canceled only once per submission.
578  * Successful cancellation means termination of @urb will be expedited
579  * and the completion handler will be called with a status code
580  * indicating that the request has been canceled (rather than any other
581  * code).
582  *
583  * Drivers should not call this routine or related routines, such as
584  * usb_kill_urb() or usb_unlink_anchored_urbs(), after their disconnect
585  * method has returned.  The disconnect function should synchronize with
586  * a driver's I/O routines to insure that all URB-related activity has
587  * completed before it returns.
588  *
589  * This request is asynchronous, however the HCD might call the ->complete()
590  * callback during unlink. Therefore when drivers call usb_unlink_urb(), they
591  * must not hold any locks that may be taken by the completion function.
592  * Success is indicated by returning -EINPROGRESS, at which time the URB will
593  * probably not yet have been given back to the device driver. When it is
594  * eventually called, the completion function will see @urb->status ==
595  * -ECONNRESET.
596  * Failure is indicated by usb_unlink_urb() returning any other value.
597  * Unlinking will fail when @urb is not currently "linked" (i.e., it was
598  * never submitted, or it was unlinked before, or the hardware is already
599  * finished with it), even if the completion handler has not yet run.
600  *
601  * The URB must not be deallocated while this routine is running.  In
602  * particular, when a driver calls this routine, it must insure that the
603  * completion handler cannot deallocate the URB.
604  *
605  * Return: -EINPROGRESS on success. See description for other values on
606  * failure.
607  *
608  * Unlinking and Endpoint Queues:
609  *
610  * [The behaviors and guarantees described below do not apply to virtual
611  * root hubs but only to endpoint queues for physical USB devices.]
612  *
613  * Host Controller Drivers (HCDs) place all the URBs for a particular
614  * endpoint in a queue.  Normally the queue advances as the controller
615  * hardware processes each request.  But when an URB terminates with an
616  * error its queue generally stops (see below), at least until that URB's
617  * completion routine returns.  It is guaranteed that a stopped queue
618  * will not restart until all its unlinked URBs have been fully retired,
619  * with their completion routines run, even if that's not until some time
620  * after the original completion handler returns.  The same behavior and
621  * guarantee apply when an URB terminates because it was unlinked.
622  *
623  * Bulk and interrupt endpoint queues are guaranteed to stop whenever an
624  * URB terminates with any sort of error, including -ECONNRESET, -ENOENT,
625  * and -EREMOTEIO.  Control endpoint queues behave the same way except
626  * that they are not guaranteed to stop for -EREMOTEIO errors.  Queues
627  * for isochronous endpoints are treated differently, because they must
628  * advance at fixed rates.  Such queues do not stop when an URB
629  * encounters an error or is unlinked.  An unlinked isochronous URB may
630  * leave a gap in the stream of packets; it is undefined whether such
631  * gaps can be filled in.
632  *
633  * Note that early termination of an URB because a short packet was
634  * received will generate a -EREMOTEIO error if and only if the
635  * URB_SHORT_NOT_OK flag is set.  By setting this flag, USB device
636  * drivers can build deep queues for large or complex bulk transfers
637  * and clean them up reliably after any sort of aborted transfer by
638  * unlinking all pending URBs at the first fault.
639  *
640  * When a control URB terminates with an error other than -EREMOTEIO, it
641  * is quite likely that the status stage of the transfer will not take
642  * place.
643  */
644 int usb_unlink_urb(struct urb *urb)
645 {
646         if (!urb)
647                 return -EINVAL;
648         if (!urb->dev)
649                 return -ENODEV;
650         if (!urb->ep)
651                 return -EIDRM;
652         return usb_hcd_unlink_urb(urb, -ECONNRESET);
653 }
654 EXPORT_SYMBOL_GPL(usb_unlink_urb);
655
656 /**
657  * usb_kill_urb - cancel a transfer request and wait for it to finish
658  * @urb: pointer to URB describing a previously submitted request,
659  *      may be NULL
660  *
661  * This routine cancels an in-progress request.  It is guaranteed that
662  * upon return all completion handlers will have finished and the URB
663  * will be totally idle and available for reuse.  These features make
664  * this an ideal way to stop I/O in a disconnect() callback or close()
665  * function.  If the request has not already finished or been unlinked
666  * the completion handler will see urb->status == -ENOENT.
667  *
668  * While the routine is running, attempts to resubmit the URB will fail
669  * with error -EPERM.  Thus even if the URB's completion handler always
670  * tries to resubmit, it will not succeed and the URB will become idle.
671  *
672  * The URB must not be deallocated while this routine is running.  In
673  * particular, when a driver calls this routine, it must insure that the
674  * completion handler cannot deallocate the URB.
675  *
676  * This routine may not be used in an interrupt context (such as a bottom
677  * half or a completion handler), or when holding a spinlock, or in other
678  * situations where the caller can't schedule().
679  *
680  * This routine should not be called by a driver after its disconnect
681  * method has returned.
682  */
683 void usb_kill_urb(struct urb *urb)
684 {
685         might_sleep();
686         if (!(urb && urb->dev && urb->ep))
687                 return;
688         atomic_inc(&urb->reject);
689
690         usb_hcd_unlink_urb(urb, -ENOENT);
691         wait_event(usb_kill_urb_queue, atomic_read(&urb->use_count) == 0);
692
693         atomic_dec(&urb->reject);
694 }
695 EXPORT_SYMBOL_GPL(usb_kill_urb);
696
697 /**
698  * usb_poison_urb - reliably kill a transfer and prevent further use of an URB
699  * @urb: pointer to URB describing a previously submitted request,
700  *      may be NULL
701  *
702  * This routine cancels an in-progress request.  It is guaranteed that
703  * upon return all completion handlers will have finished and the URB
704  * will be totally idle and cannot be reused.  These features make
705  * this an ideal way to stop I/O in a disconnect() callback.
706  * If the request has not already finished or been unlinked
707  * the completion handler will see urb->status == -ENOENT.
708  *
709  * After and while the routine runs, attempts to resubmit the URB will fail
710  * with error -EPERM.  Thus even if the URB's completion handler always
711  * tries to resubmit, it will not succeed and the URB will become idle.
712  *
713  * The URB must not be deallocated while this routine is running.  In
714  * particular, when a driver calls this routine, it must insure that the
715  * completion handler cannot deallocate the URB.
716  *
717  * This routine may not be used in an interrupt context (such as a bottom
718  * half or a completion handler), or when holding a spinlock, or in other
719  * situations where the caller can't schedule().
720  *
721  * This routine should not be called by a driver after its disconnect
722  * method has returned.
723  */
724 void usb_poison_urb(struct urb *urb)
725 {
726         might_sleep();
727         if (!urb)
728                 return;
729         atomic_inc(&urb->reject);
730
731         if (!urb->dev || !urb->ep)
732                 return;
733
734         usb_hcd_unlink_urb(urb, -ENOENT);
735         wait_event(usb_kill_urb_queue, atomic_read(&urb->use_count) == 0);
736 }
737 EXPORT_SYMBOL_GPL(usb_poison_urb);
738
739 void usb_unpoison_urb(struct urb *urb)
740 {
741         if (!urb)
742                 return;
743
744         atomic_dec(&urb->reject);
745 }
746 EXPORT_SYMBOL_GPL(usb_unpoison_urb);
747
748 /**
749  * usb_block_urb - reliably prevent further use of an URB
750  * @urb: pointer to URB to be blocked, may be NULL
751  *
752  * After the routine has run, attempts to resubmit the URB will fail
753  * with error -EPERM.  Thus even if the URB's completion handler always
754  * tries to resubmit, it will not succeed and the URB will become idle.
755  *
756  * The URB must not be deallocated while this routine is running.  In
757  * particular, when a driver calls this routine, it must insure that the
758  * completion handler cannot deallocate the URB.
759  */
760 void usb_block_urb(struct urb *urb)
761 {
762         if (!urb)
763                 return;
764
765         atomic_inc(&urb->reject);
766 }
767 EXPORT_SYMBOL_GPL(usb_block_urb);
768
769 /**
770  * usb_kill_anchored_urbs - kill all URBs associated with an anchor
771  * @anchor: anchor the requests are bound to
772  *
773  * This kills all outstanding URBs starting from the back of the queue,
774  * with guarantee that no completer callbacks will take place from the
775  * anchor after this function returns.
776  *
777  * This routine should not be called by a driver after its disconnect
778  * method has returned.
779  */
780 void usb_kill_anchored_urbs(struct usb_anchor *anchor)
781 {
782         struct urb *victim;
783         int surely_empty;
784
785         do {
786                 spin_lock_irq(&anchor->lock);
787                 while (!list_empty(&anchor->urb_list)) {
788                         victim = list_entry(anchor->urb_list.prev,
789                                             struct urb, anchor_list);
790                         /* make sure the URB isn't freed before we kill it */
791                         usb_get_urb(victim);
792                         spin_unlock_irq(&anchor->lock);
793                         /* this will unanchor the URB */
794                         usb_kill_urb(victim);
795                         usb_put_urb(victim);
796                         spin_lock_irq(&anchor->lock);
797                 }
798                 surely_empty = usb_anchor_check_wakeup(anchor);
799
800                 spin_unlock_irq(&anchor->lock);
801                 cpu_relax();
802         } while (!surely_empty);
803 }
804 EXPORT_SYMBOL_GPL(usb_kill_anchored_urbs);
805
806
807 /**
808  * usb_poison_anchored_urbs - cease all traffic from an anchor
809  * @anchor: anchor the requests are bound to
810  *
811  * this allows all outstanding URBs to be poisoned starting
812  * from the back of the queue. Newly added URBs will also be
813  * poisoned
814  *
815  * This routine should not be called by a driver after its disconnect
816  * method has returned.
817  */
818 void usb_poison_anchored_urbs(struct usb_anchor *anchor)
819 {
820         struct urb *victim;
821         int surely_empty;
822
823         do {
824                 spin_lock_irq(&anchor->lock);
825                 anchor->poisoned = 1;
826                 while (!list_empty(&anchor->urb_list)) {
827                         victim = list_entry(anchor->urb_list.prev,
828                                             struct urb, anchor_list);
829                         /* make sure the URB isn't freed before we kill it */
830                         usb_get_urb(victim);
831                         spin_unlock_irq(&anchor->lock);
832                         /* this will unanchor the URB */
833                         usb_poison_urb(victim);
834                         usb_put_urb(victim);
835                         spin_lock_irq(&anchor->lock);
836                 }
837                 surely_empty = usb_anchor_check_wakeup(anchor);
838
839                 spin_unlock_irq(&anchor->lock);
840                 cpu_relax();
841         } while (!surely_empty);
842 }
843 EXPORT_SYMBOL_GPL(usb_poison_anchored_urbs);
844
845 /**
846  * usb_unpoison_anchored_urbs - let an anchor be used successfully again
847  * @anchor: anchor the requests are bound to
848  *
849  * Reverses the effect of usb_poison_anchored_urbs
850  * the anchor can be used normally after it returns
851  */
852 void usb_unpoison_anchored_urbs(struct usb_anchor *anchor)
853 {
854         unsigned long flags;
855         struct urb *lazarus;
856
857         spin_lock_irqsave(&anchor->lock, flags);
858         list_for_each_entry(lazarus, &anchor->urb_list, anchor_list) {
859                 usb_unpoison_urb(lazarus);
860         }
861         anchor->poisoned = 0;
862         spin_unlock_irqrestore(&anchor->lock, flags);
863 }
864 EXPORT_SYMBOL_GPL(usb_unpoison_anchored_urbs);
865 /**
866  * usb_unlink_anchored_urbs - asynchronously cancel transfer requests en masse
867  * @anchor: anchor the requests are bound to
868  *
869  * this allows all outstanding URBs to be unlinked starting
870  * from the back of the queue. This function is asynchronous.
871  * The unlinking is just triggered. It may happen after this
872  * function has returned.
873  *
874  * This routine should not be called by a driver after its disconnect
875  * method has returned.
876  */
877 void usb_unlink_anchored_urbs(struct usb_anchor *anchor)
878 {
879         struct urb *victim;
880
881         while ((victim = usb_get_from_anchor(anchor)) != NULL) {
882                 usb_unlink_urb(victim);
883                 usb_put_urb(victim);
884         }
885 }
886 EXPORT_SYMBOL_GPL(usb_unlink_anchored_urbs);
887
888 /**
889  * usb_anchor_suspend_wakeups
890  * @anchor: the anchor you want to suspend wakeups on
891  *
892  * Call this to stop the last urb being unanchored from waking up any
893  * usb_wait_anchor_empty_timeout waiters. This is used in the hcd urb give-
894  * back path to delay waking up until after the completion handler has run.
895  */
896 void usb_anchor_suspend_wakeups(struct usb_anchor *anchor)
897 {
898         if (anchor)
899                 atomic_inc(&anchor->suspend_wakeups);
900 }
901 EXPORT_SYMBOL_GPL(usb_anchor_suspend_wakeups);
902
903 /**
904  * usb_anchor_resume_wakeups
905  * @anchor: the anchor you want to resume wakeups on
906  *
907  * Allow usb_wait_anchor_empty_timeout waiters to be woken up again, and
908  * wake up any current waiters if the anchor is empty.
909  */
910 void usb_anchor_resume_wakeups(struct usb_anchor *anchor)
911 {
912         if (!anchor)
913                 return;
914
915         atomic_dec(&anchor->suspend_wakeups);
916         if (usb_anchor_check_wakeup(anchor))
917                 wake_up(&anchor->wait);
918 }
919 EXPORT_SYMBOL_GPL(usb_anchor_resume_wakeups);
920
921 /**
922  * usb_wait_anchor_empty_timeout - wait for an anchor to be unused
923  * @anchor: the anchor you want to become unused
924  * @timeout: how long you are willing to wait in milliseconds
925  *
926  * Call this is you want to be sure all an anchor's
927  * URBs have finished
928  *
929  * Return: Non-zero if the anchor became unused. Zero on timeout.
930  */
931 int usb_wait_anchor_empty_timeout(struct usb_anchor *anchor,
932                                   unsigned int timeout)
933 {
934         return wait_event_timeout(anchor->wait,
935                                   usb_anchor_check_wakeup(anchor),
936                                   msecs_to_jiffies(timeout));
937 }
938 EXPORT_SYMBOL_GPL(usb_wait_anchor_empty_timeout);
939
940 /**
941  * usb_get_from_anchor - get an anchor's oldest urb
942  * @anchor: the anchor whose urb you want
943  *
944  * This will take the oldest urb from an anchor,
945  * unanchor and return it
946  *
947  * Return: The oldest urb from @anchor, or %NULL if @anchor has no
948  * urbs associated with it.
949  */
950 struct urb *usb_get_from_anchor(struct usb_anchor *anchor)
951 {
952         struct urb *victim;
953         unsigned long flags;
954
955         spin_lock_irqsave(&anchor->lock, flags);
956         if (!list_empty(&anchor->urb_list)) {
957                 victim = list_entry(anchor->urb_list.next, struct urb,
958                                     anchor_list);
959                 usb_get_urb(victim);
960                 __usb_unanchor_urb(victim, anchor);
961         } else {
962                 victim = NULL;
963         }
964         spin_unlock_irqrestore(&anchor->lock, flags);
965
966         return victim;
967 }
968
969 EXPORT_SYMBOL_GPL(usb_get_from_anchor);
970
971 /**
972  * usb_scuttle_anchored_urbs - unanchor all an anchor's urbs
973  * @anchor: the anchor whose urbs you want to unanchor
974  *
975  * use this to get rid of all an anchor's urbs
976  */
977 void usb_scuttle_anchored_urbs(struct usb_anchor *anchor)
978 {
979         struct urb *victim;
980         unsigned long flags;
981         int surely_empty;
982
983         do {
984                 spin_lock_irqsave(&anchor->lock, flags);
985                 while (!list_empty(&anchor->urb_list)) {
986                         victim = list_entry(anchor->urb_list.prev,
987                                             struct urb, anchor_list);
988                         __usb_unanchor_urb(victim, anchor);
989                 }
990                 surely_empty = usb_anchor_check_wakeup(anchor);
991
992                 spin_unlock_irqrestore(&anchor->lock, flags);
993                 cpu_relax();
994         } while (!surely_empty);
995 }
996
997 EXPORT_SYMBOL_GPL(usb_scuttle_anchored_urbs);
998
999 /**
1000  * usb_anchor_empty - is an anchor empty
1001  * @anchor: the anchor you want to query
1002  *
1003  * Return: 1 if the anchor has no urbs associated with it.
1004  */
1005 int usb_anchor_empty(struct usb_anchor *anchor)
1006 {
1007         return list_empty(&anchor->urb_list);
1008 }
1009
1010 EXPORT_SYMBOL_GPL(usb_anchor_empty);
1011