arch/powerpc/kernel/pci_dn.c

   1 /*
   2  * pci_dn.c
   3  *
   4  * Copyright (C) 2001 Todd Inglett, IBM Corporation
   5  *
   6  * PCI manipulation via device_nodes.
   7  *
   8  * This program is free software; you can redistribute it and/or modify
   9  * it under the terms of the GNU General Public License as published by
  10  * the Free Software Foundation; either version 2 of the License, or
  11  * (at your option) any later version.
  12  *
  13  * This program is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16  * GNU General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU General Public License
  19  * along with this program; if not, write to the Free Software
  20  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307 USA
  21  */
  22 #include <linux/kernel.h>
  23 #include <linux/pci.h>
  24 #include <linux/string.h>
  25 #include <linux/export.h>
  26 #include <linux/init.h>
  27 #include <linux/gfp.h>
  28
  29 #include <asm/io.h>
  30 #include <asm/prom.h>
  31 #include <asm/pci-bridge.h>
  32 #include <asm/ppc-pci.h>
  33 #include <asm/firmware.h>
  34 #include <asm/eeh.h>
  35
  36 /*
  37  * The function is used to find the firmware data of one
  38  * specific PCI device, which is attached to the indicated
  39  * PCI bus. For VFs, their firmware data is linked to that
  40  * one of PF's bridge. For other devices, their firmware
  41  * data is linked to that of their bridge.
  42  */
  43 static struct pci_dn *pci_bus_to_pdn(struct pci_bus *bus)
  44 {
  45         struct pci_bus *pbus;
  46         struct device_node *dn;
  47         struct pci_dn *pdn;
  48
  49         /*
  50          * We probably have virtual bus which doesn't
  51          * have associated bridge.
  52          */
  53         pbus = bus;
  54         while (pbus) {
  55                 if (pci_is_root_bus(pbus) || pbus->self)
  56                         break;
  57
  58                 pbus = pbus->parent;
  59         }
  60
  61         /*
  62          * Except virtual bus, all PCI buses should
  63          * have device nodes.
  64          */
  65         dn = pci_bus_to_OF_node(pbus);
  66         pdn = dn ? PCI_DN(dn) : NULL;
  67
  68         return pdn;
  69 }
  70
  71 struct pci_dn *pci_get_pdn_by_devfn(struct pci_bus *bus,
  72                                     int devfn)
  73 {
  74         struct device_node *dn = NULL;
  75         struct pci_dn *parent, *pdn;
  76         struct pci_dev *pdev = NULL;
  77
  78         /* Fast path: fetch from PCI device */
  79         list_for_each_entry(pdev, &bus->devices, bus_list) {
  80                 if (pdev->devfn == devfn) {
  81                         if (pdev->dev.archdata.pci_data)
  82                                 return pdev->dev.archdata.pci_data;
  83
  84                         dn = pci_device_to_OF_node(pdev);
  85                         break;
  86                 }
  87         }
  88
  89         /* Fast path: fetch from device node */
  90         pdn = dn ? PCI_DN(dn) : NULL;
  91         if (pdn)
  92                 return pdn;
  93
  94         /* Slow path: fetch from firmware data hierarchy */
  95         parent = pci_bus_to_pdn(bus);
  96         if (!parent)
  97                 return NULL;
  98
  99         list_for_each_entry(pdn, &parent->child_list, list) {
 100                 if (pdn->busno == bus->number &&
 101                     pdn->devfn == devfn)
 102                         return pdn;
 103         }
 104
 105         return NULL;
 106 }
 107
 108 struct pci_dn *pci_get_pdn(struct pci_dev *pdev)
 109 {
 110         struct device_node *dn;
 111         struct pci_dn *parent, *pdn;
 112
 113         /* Search device directly */
 114         if (pdev->dev.archdata.pci_data)
 115                 return pdev->dev.archdata.pci_data;
 116
 117         /* Check device node */
 118         dn = pci_device_to_OF_node(pdev);
 119         pdn = dn ? PCI_DN(dn) : NULL;
 120         if (pdn)
 121                 return pdn;
 122
 123         /*
 124          * VFs don't have device nodes. We hook their
 125          * firmware data to PF's bridge.
 126          */
 127         parent = pci_bus_to_pdn(pdev->bus);
 128         if (!parent)
 129                 return NULL;
 130
 131         list_for_each_entry(pdn, &parent->child_list, list) {
 132                 if (pdn->busno == pdev->bus->number &&
 133                     pdn->devfn == pdev->devfn)
 134                         return pdn;
 135         }
 136
 137         return NULL;
 138 }
 139
 140 #ifdef CONFIG_PCI_IOV
 141 static struct pci_dn *add_one_dev_pci_data(struct pci_dn *parent,
 142                                            struct pci_dev *pdev,
 143                                            int vf_index,
 144                                            int busno, int devfn)
 145 {
 146         struct pci_dn *pdn;
 147
 148         /* Except PHB, we always have the parent */
 149         if (!parent)
 150                 return NULL;
 151
 152         pdn = kzalloc(sizeof(*pdn), GFP_KERNEL);
 153         if (!pdn) {
 154                 dev_warn(&pdev->dev, "%s: Out of memory!\n", __func__);
 155                 return NULL;
 156         }
 157
 158         pdn->phb = parent->phb;
 159         pdn->parent = parent;
 160         pdn->busno = busno;
 161         pdn->devfn = devfn;
 162 #ifdef CONFIG_PPC_POWERNV
 163         pdn->vf_index = vf_index;
 164         pdn->pe_number = IODA_INVALID_PE;
 165 #endif
 166         INIT_LIST_HEAD(&pdn->child_list);
 167         INIT_LIST_HEAD(&pdn->list);
 168         list_add_tail(&pdn->list, &parent->child_list);
 169
 170         /*
 171          * If we already have PCI device instance, lets
 172          * bind them.
 173          */
 174         if (pdev)
 175                 pdev->dev.archdata.pci_data = pdn;
 176
 177         return pdn;
 178 }
 179 #endif
 180
 181 struct pci_dn *add_dev_pci_data(struct pci_dev *pdev)
 182 {
 183 #ifdef CONFIG_PCI_IOV
 184         struct pci_dn *parent, *pdn;
 185         int i;
 186
 187         /* Only support IOV for now */
 188         if (!pdev->is_physfn)
 189                 return pci_get_pdn(pdev);
 190
 191         /* Check if VFs have been populated */
 192         pdn = pci_get_pdn(pdev);
 193         if (!pdn || (pdn->flags & PCI_DN_FLAG_IOV_VF))
 194                 return NULL;
 195
 196         pdn->flags |= PCI_DN_FLAG_IOV_VF;
 197         parent = pci_bus_to_pdn(pdev->bus);
 198         if (!parent)
 199                 return NULL;
 200
 201         for (i = 0; i < pci_sriov_get_totalvfs(pdev); i++) {
 202                 struct eeh_dev *edev __maybe_unused;
 203
 204                 pdn = add_one_dev_pci_data(parent, NULL, i,
 205                                            pci_iov_virtfn_bus(pdev, i),
 206                                            pci_iov_virtfn_devfn(pdev, i));
 207                 if (!pdn) {
 208                         dev_warn(&pdev->dev, "%s: Cannot create firmware data for VF#%d\n",
 209                                  __func__, i);
 210                         return NULL;
 211                 }
 212
 213 #ifdef CONFIG_EEH
 214                 /* Create the EEH device for the VF */
 215                 edev = eeh_dev_init(pdn);
 216                 BUG_ON(!edev);
 217                 edev->physfn = pdev;
 218 #endif /* CONFIG_EEH */
 219         }
 220 #endif /* CONFIG_PCI_IOV */
 221
 222         return pci_get_pdn(pdev);
 223 }
 224
 225 void remove_dev_pci_data(struct pci_dev *pdev)
 226 {
 227 #ifdef CONFIG_PCI_IOV
 228         struct pci_dn *parent;
 229         struct pci_dn *pdn, *tmp;
 230         int i;
 231
 232         /*
 233          * VF and VF PE are created/released dynamically, so we need to
 234          * bind/unbind them.  Otherwise the VF and VF PE would be mismatched
 235          * when re-enabling SR-IOV.
 236          */
 237         if (pdev->is_virtfn) {
 238                 pdn = pci_get_pdn(pdev);
 239 #ifdef CONFIG_PPC_POWERNV
 240                 pdn->pe_number = IODA_INVALID_PE;
 241 #endif
 242                 return;
 243         }
 244
 245         /* Only support IOV PF for now */
 246         if (!pdev->is_physfn)
 247                 return;
 248
 249         /* Check if VFs have been populated */
 250         pdn = pci_get_pdn(pdev);
 251         if (!pdn || !(pdn->flags & PCI_DN_FLAG_IOV_VF))
 252                 return;
 253
 254         pdn->flags &= ~PCI_DN_FLAG_IOV_VF;
 255         parent = pci_bus_to_pdn(pdev->bus);
 256         if (!parent)
 257                 return;
 258
 259         /*
 260          * We might introduce flag to pci_dn in future
 261          * so that we can release VF's firmware data in
 262          * a batch mode.
 263          */
 264         for (i = 0; i < pci_sriov_get_totalvfs(pdev); i++) {
 265                 struct eeh_dev *edev __maybe_unused;
 266
 267                 list_for_each_entry_safe(pdn, tmp,
 268                         &parent->child_list, list) {
 269                         if (pdn->busno != pci_iov_virtfn_bus(pdev, i) ||
 270                             pdn->devfn != pci_iov_virtfn_devfn(pdev, i))
 271                                 continue;
 272
 273 #ifdef CONFIG_EEH
 274                         /*
 275                          * Release EEH state for this VF. The PCI core
 276                          * has already torn down the pci_dev for this VF, but
 277                          * we're responsible to removing the eeh_dev since it
 278                          * has the same lifetime as the pci_dn that spawned it.
 279                          */
 280                         edev = pdn_to_eeh_dev(pdn);
 281                         if (edev) {
 282                                 /*
 283                                  * We allocate pci_dn's for the totalvfs count,
 284                                  * but only only the vfs that were activated
 285                                  * have a configured PE.
 286                                  */
 287                                 if (edev->pe)
 288                                         eeh_rmv_from_parent_pe(edev);
 289
 290                                 pdn->edev = NULL;
 291                                 kfree(edev);
 292                         }
 293 #endif /* CONFIG_EEH */
 294
 295                         if (!list_empty(&pdn->list))
 296                                 list_del(&pdn->list);
 297
 298                         kfree(pdn);
 299                 }
 300         }
 301 #endif /* CONFIG_PCI_IOV */
 302 }
 303
 304 struct pci_dn *pci_add_device_node_info(struct pci_controller *hose,
 305                                         struct device_node *dn)
 306 {
 307         const __be32 *type = of_get_property(dn, "ibm,pci-config-space-type", NULL);
 308         const __be32 *regs;
 309         struct device_node *parent;
 310         struct pci_dn *pdn;
 311 #ifdef CONFIG_EEH
 312         struct eeh_dev *edev;
 313 #endif
 314
 315         pdn = kzalloc(sizeof(*pdn), GFP_KERNEL);
 316         if (pdn == NULL)
 317                 return NULL;
 318         dn->data = pdn;
 319         pdn->node = dn;
 320         pdn->phb = hose;
 321 #ifdef CONFIG_PPC_POWERNV
 322         pdn->pe_number = IODA_INVALID_PE;
 323 #endif
 324         regs = of_get_property(dn, "reg", NULL);
 325         if (regs) {
 326                 u32 addr = of_read_number(regs, 1);
 327
 328                 /* First register entry is addr (00BBSS00)  */
 329                 pdn->busno = (addr >> 16) & 0xff;
 330                 pdn->devfn = (addr >> 8) & 0xff;
 331         }
 332
 333         /* vendor/device IDs and class code */
 334         regs = of_get_property(dn, "vendor-id", NULL);
 335         pdn->vendor_id = regs ? of_read_number(regs, 1) : 0;
 336         regs = of_get_property(dn, "device-id", NULL);
 337         pdn->device_id = regs ? of_read_number(regs, 1) : 0;
 338         regs = of_get_property(dn, "class-code", NULL);
 339         pdn->class_code = regs ? of_read_number(regs, 1) : 0;
 340
 341         /* Extended config space */
 342         pdn->pci_ext_config_space = (type && of_read_number(type, 1) == 1);
 343
 344         /* Create EEH device */
 345 #ifdef CONFIG_EEH
 346         edev = eeh_dev_init(pdn);
 347         if (!edev) {
 348                 kfree(pdn);
 349                 return NULL;
 350         }
 351 #endif
 352
 353         /* Attach to parent node */
 354         INIT_LIST_HEAD(&pdn->child_list);
 355         INIT_LIST_HEAD(&pdn->list);
 356         parent = of_get_parent(dn);
 357         pdn->parent = parent ? PCI_DN(parent) : NULL;
 358         of_node_put(parent);
 359         if (pdn->parent)
 360                 list_add_tail(&pdn->list, &pdn->parent->child_list);
 361
 362         return pdn;
 363 }
 364 EXPORT_SYMBOL_GPL(pci_add_device_node_info);
 365
 366 void pci_remove_device_node_info(struct device_node *dn)
 367 {
 368         struct pci_dn *pdn = dn ? PCI_DN(dn) : NULL;
 369 #ifdef CONFIG_EEH
 370         struct eeh_dev *edev = pdn_to_eeh_dev(pdn);
 371
 372         if (edev)
 373                 edev->pdn = NULL;
 374 #endif
 375
 376         if (!pdn)
 377                 return;
 378
 379         WARN_ON(!list_empty(&pdn->child_list));
 380         list_del(&pdn->list);
 381         if (pdn->parent)
 382                 of_node_put(pdn->parent->node);
 383
 384         dn->data = NULL;
 385         kfree(pdn);
 386 }
 387 EXPORT_SYMBOL_GPL(pci_remove_device_node_info);
 388
 389 /*
 390  * Traverse a device tree stopping each PCI device in the tree.
 391  * This is done depth first.  As each node is processed, a "pre"
 392  * function is called and the children are processed recursively.
 393  *
 394  * The "pre" func returns a value.  If non-zero is returned from
 395  * the "pre" func, the traversal stops and this value is returned.
 396  * This return value is useful when using traverse as a method of
 397  * finding a device.
 398  *
 399  * NOTE: we do not run the func for devices that do not appear to
 400  * be PCI except for the start node which we assume (this is good
 401  * because the start node is often a phb which may be missing PCI
 402  * properties).
 403  * We use the class-code as an indicator. If we run into
 404  * one of these nodes we also assume its siblings are non-pci for
 405  * performance.
 406  */
 407 void *pci_traverse_device_nodes(struct device_node *start,
 408                                 void *(*fn)(struct device_node *, void *),
 409                                 void *data)
 410 {
 411         struct device_node *dn, *nextdn;
 412         void *ret;
 413
 414         /* We started with a phb, iterate all childs */
 415         for (dn = start->child; dn; dn = nextdn) {
 416                 const __be32 *classp;
 417                 u32 class = 0;
 418
 419                 nextdn = NULL;
 420                 classp = of_get_property(dn, "class-code", NULL);
 421                 if (classp)
 422                         class = of_read_number(classp, 1);
 423
 424                 if (fn) {
 425                         ret = fn(dn, data);
 426                         if (ret)
 427                                 return ret;
 428                 }
 429
 430                 /* If we are a PCI bridge, go down */
 431                 if (dn->child && ((class >> 8) == PCI_CLASS_BRIDGE_PCI ||
 432                                   (class >> 8) == PCI_CLASS_BRIDGE_CARDBUS))
 433                         /* Depth first...do children */
 434                         nextdn = dn->child;
 435                 else if (dn->sibling)
 436                         /* ok, try next sibling instead. */
 437                         nextdn = dn->sibling;
 438                 if (!nextdn) {
 439                         /* Walk up to next valid sibling. */
 440                         do {
 441                                 dn = dn->parent;
 442                                 if (dn == start)
 443                                         return NULL;
 444                         } while (dn->sibling == NULL);
 445                         nextdn = dn->sibling;
 446                 }
 447         }
 448         return NULL;
 449 }
 450 EXPORT_SYMBOL_GPL(pci_traverse_device_nodes);
 451
 452 static struct pci_dn *pci_dn_next_one(struct pci_dn *root,
 453                                       struct pci_dn *pdn)
 454 {
 455         struct list_head *next = pdn->child_list.next;
 456
 457         if (next != &pdn->child_list)
 458                 return list_entry(next, struct pci_dn, list);
 459
 460         while (1) {
 461                 if (pdn == root)
 462                         return NULL;
 463
 464                 next = pdn->list.next;
 465                 if (next != &pdn->parent->child_list)
 466                         break;
 467
 468                 pdn = pdn->parent;
 469         }
 470
 471         return list_entry(next, struct pci_dn, list);
 472 }
 473
 474 void *traverse_pci_dn(struct pci_dn *root,
 475                       void *(*fn)(struct pci_dn *, void *),
 476                       void *data)
 477 {
 478         struct pci_dn *pdn = root;
 479         void *ret;
 480
 481         /* Only scan the child nodes */
 482         for (pdn = pci_dn_next_one(root, pdn); pdn;
 483              pdn = pci_dn_next_one(root, pdn)) {
 484                 ret = fn(pdn, data);
 485                 if (ret)
 486                         return ret;
 487         }
 488
 489         return NULL;
 490 }
 491
 492 static void *add_pdn(struct device_node *dn, void *data)
 493 {
 494         struct pci_controller *hose = data;
 495         struct pci_dn *pdn;
 496
 497         pdn = pci_add_device_node_info(hose, dn);
 498         if (!pdn)
 499                 return ERR_PTR(-ENOMEM);
 500
 501         return NULL;
 502 }
 503
 504 /**
 505  * pci_devs_phb_init_dynamic - setup pci devices under this PHB
 506  * phb: pci-to-host bridge (top-level bridge connecting to cpu)
 507  *
 508  * This routine is called both during boot, (before the memory
 509  * subsystem is set up, before kmalloc is valid) and during the
 510  * dynamic lpar operation of adding a PHB to a running system.
 511  */
 512 void pci_devs_phb_init_dynamic(struct pci_controller *phb)
 513 {
 514         struct device_node *dn = phb->dn;
 515         struct pci_dn *pdn;
 516
 517         /* PHB nodes themselves must not match */
 518         pdn = pci_add_device_node_info(phb, dn);
 519         if (pdn) {
 520                 pdn->devfn = pdn->busno = -1;
 521                 pdn->vendor_id = pdn->device_id = pdn->class_code = 0;
 522                 pdn->phb = phb;
 523                 phb->pci_data = pdn;
 524         }
 525
 526         /* Update dn->phb ptrs for new phb and children devices */
 527         pci_traverse_device_nodes(dn, add_pdn, phb);
 528 }
 529
 530 /**
 531  * pci_devs_phb_init - Initialize phbs and pci devs under them.
 532  *
 533  * This routine walks over all phb's (pci-host bridges) on the
 534  * system, and sets up assorted pci-related structures
 535  * (including pci info in the device node structs) for each
 536  * pci device found underneath.  This routine runs once,
 537  * early in the boot sequence.
 538  */
 539 static int __init pci_devs_phb_init(void)
 540 {
 541         struct pci_controller *phb, *tmp;
 542
 543         /* This must be done first so the device nodes have valid pci info! */
 544         list_for_each_entry_safe(phb, tmp, &hose_list, list_node)
 545                 pci_devs_phb_init_dynamic(phb);
 546
 547         return 0;
 548 }
 549
 550 core_initcall(pci_devs_phb_init);
 551
 552 static void pci_dev_pdn_setup(struct pci_dev *pdev)
 553 {
 554         struct pci_dn *pdn;
 555
 556         if (pdev->dev.archdata.pci_data)
 557                 return;
 558
 559         /* Setup the fast path */
 560         pdn = pci_get_pdn(pdev);
 561         pdev->dev.archdata.pci_data = pdn;
 562 }
 563 DECLARE_PCI_FIXUP_EARLY(PCI_ANY_ID, PCI_ANY_ID, pci_dev_pdn_setup);