drivers/pci/dwc/pcie-kirin.c

   1 /*
   2  * PCIe host controller driver for Kirin Phone SoCs
   3  *
   4  * Copyright (C) 2017 Hilisicon Electronics Co., Ltd.
   5  *              http://www.huawei.com
   6  *
   7  * Author: Xiaowei Song <songxiaowei@huawei.com>
   8  *
   9  * This program is free software; you can redistribute it and/or modify
  10  * it under the terms of the GNU General Public License version 2 as
  11  * published by the Free Software Foundation.
  12  */
  13
  14 #include <asm/compiler.h>
  15 #include <linux/compiler.h>
  16 #include <linux/clk.h>
  17 #include <linux/delay.h>
  18 #include <linux/err.h>
  19 #include <linux/gpio.h>
  20 #include <linux/interrupt.h>
  21 #include <linux/mfd/syscon.h>
  22 #include <linux/of_address.h>
  23 #include <linux/of_gpio.h>
  24 #include <linux/of_pci.h>
  25 #include <linux/pci.h>
  26 #include <linux/pci_regs.h>
  27 #include <linux/platform_device.h>
  28 #include <linux/regmap.h>
  29 #include <linux/resource.h>
  30 #include <linux/types.h>
  31 #include "pcie-designware.h"
  32
  33 #define to_kirin_pcie(x) dev_get_drvdata((x)->dev)
  34
  35 #define REF_CLK_FREQ                    100000000
  36
  37 /* PCIe ELBI registers */
  38 #define SOC_PCIECTRL_CTRL0_ADDR         0x000
  39 #define SOC_PCIECTRL_CTRL1_ADDR         0x004
  40 #define SOC_PCIEPHY_CTRL2_ADDR          0x008
  41 #define SOC_PCIEPHY_CTRL3_ADDR          0x00c
  42 #define PCIE_ELBI_SLV_DBI_ENABLE        (0x1 << 21)
  43
  44 /* info located in APB */
  45 #define PCIE_APP_LTSSM_ENABLE   0x01c
  46 #define PCIE_APB_PHY_CTRL0      0x0
  47 #define PCIE_APB_PHY_CTRL1      0x4
  48 #define PCIE_APB_PHY_STATUS0    0x400
  49 #define PCIE_LINKUP_ENABLE      (0x8020)
  50 #define PCIE_LTSSM_ENABLE_BIT   (0x1 << 11)
  51 #define PIPE_CLK_STABLE         (0x1 << 19)
  52 #define PHY_REF_PAD_BIT         (0x1 << 8)
  53 #define PHY_PWR_DOWN_BIT        (0x1 << 22)
  54 #define PHY_RST_ACK_BIT         (0x1 << 16)
  55
  56 /* info located in sysctrl */
  57 #define SCTRL_PCIE_CMOS_OFFSET  0x60
  58 #define SCTRL_PCIE_CMOS_BIT     0x10
  59 #define SCTRL_PCIE_ISO_OFFSET   0x44
  60 #define SCTRL_PCIE_ISO_BIT      0x30
  61 #define SCTRL_PCIE_HPCLK_OFFSET 0x190
  62 #define SCTRL_PCIE_HPCLK_BIT    0x184000
  63 #define SCTRL_PCIE_OE_OFFSET    0x14a
  64 #define PCIE_DEBOUNCE_PARAM     0xF0F400
  65 #define PCIE_OE_BYPASS          (0x3 << 28)
  66
  67 /* peri_crg ctrl */
  68 #define CRGCTRL_PCIE_ASSERT_OFFSET      0x88
  69 #define CRGCTRL_PCIE_ASSERT_BIT         0x8c000000
  70
  71 /* Time for delay */
  72 #define REF_2_PERST_MIN         20000
  73 #define REF_2_PERST_MAX         25000
  74 #define PERST_2_ACCESS_MIN      10000
  75 #define PERST_2_ACCESS_MAX      12000
  76 #define LINK_WAIT_MIN           900
  77 #define LINK_WAIT_MAX           1000
  78 #define PIPE_CLK_WAIT_MIN       550
  79 #define PIPE_CLK_WAIT_MAX       600
  80 #define TIME_CMOS_MIN           100
  81 #define TIME_CMOS_MAX           105
  82 #define TIME_PHY_PD_MIN         10
  83 #define TIME_PHY_PD_MAX         11
  84
  85 struct kirin_pcie {
  86         struct dw_pcie  *pci;
  87         void __iomem    *apb_base;
  88         void __iomem    *phy_base;
  89         struct regmap   *crgctrl;
  90         struct regmap   *sysctrl;
  91         struct clk      *apb_sys_clk;
  92         struct clk      *apb_phy_clk;
  93         struct clk      *phy_ref_clk;
  94         struct clk      *pcie_aclk;
  95         struct clk      *pcie_aux_clk;
  96         int             gpio_id_reset;
  97 };
  98
  99 /* Registers in PCIeCTRL */
 100 static inline void kirin_apb_ctrl_writel(struct kirin_pcie *kirin_pcie,
 101                                          u32 val, u32 reg)
 102 {
 103         writel(val, kirin_pcie->apb_base + reg);
 104 }
 105
 106 static inline u32 kirin_apb_ctrl_readl(struct kirin_pcie *kirin_pcie, u32 reg)
 107 {
 108         return readl(kirin_pcie->apb_base + reg);
 109 }
 110
 111 /* Registers in PCIePHY */
 112 static inline void kirin_apb_phy_writel(struct kirin_pcie *kirin_pcie,
 113                                         u32 val, u32 reg)
 114 {
 115         writel(val, kirin_pcie->phy_base + reg);
 116 }
 117
 118 static inline u32 kirin_apb_phy_readl(struct kirin_pcie *kirin_pcie, u32 reg)
 119 {
 120         return readl(kirin_pcie->phy_base + reg);
 121 }
 122
 123 static long kirin_pcie_get_clk(struct kirin_pcie *kirin_pcie,
 124                                struct platform_device *pdev)
 125 {
 126         struct device *dev = &pdev->dev;
 127
 128         kirin_pcie->phy_ref_clk = devm_clk_get(dev, "pcie_phy_ref");
 129         if (IS_ERR(kirin_pcie->phy_ref_clk))
 130                 return PTR_ERR(kirin_pcie->phy_ref_clk);
 131
 132         kirin_pcie->pcie_aux_clk = devm_clk_get(dev, "pcie_aux");
 133         if (IS_ERR(kirin_pcie->pcie_aux_clk))
 134                 return PTR_ERR(kirin_pcie->pcie_aux_clk);
 135
 136         kirin_pcie->apb_phy_clk = devm_clk_get(dev, "pcie_apb_phy");
 137         if (IS_ERR(kirin_pcie->apb_phy_clk))
 138                 return PTR_ERR(kirin_pcie->apb_phy_clk);
 139
 140         kirin_pcie->apb_sys_clk = devm_clk_get(dev, "pcie_apb_sys");
 141         if (IS_ERR(kirin_pcie->apb_sys_clk))
 142                 return PTR_ERR(kirin_pcie->apb_sys_clk);
 143
 144         kirin_pcie->pcie_aclk = devm_clk_get(dev, "pcie_aclk");
 145         if (IS_ERR(kirin_pcie->pcie_aclk))
 146                 return PTR_ERR(kirin_pcie->pcie_aclk);
 147
 148         return 0;
 149 }
 150
 151 static long kirin_pcie_get_resource(struct kirin_pcie *kirin_pcie,
 152                                     struct platform_device *pdev)
 153 {
 154         struct device *dev = &pdev->dev;
 155         struct resource *apb;
 156         struct resource *phy;
 157         struct resource *dbi;
 158
 159         apb = platform_get_resource_byname(pdev, IORESOURCE_MEM, "apb");
 160         kirin_pcie->apb_base = devm_ioremap_resource(dev, apb);
 161         if (IS_ERR(kirin_pcie->apb_base))
 162                 return PTR_ERR(kirin_pcie->apb_base);
 163
 164         phy = platform_get_resource_byname(pdev, IORESOURCE_MEM, "phy");
 165         kirin_pcie->phy_base = devm_ioremap_resource(dev, phy);
 166         if (IS_ERR(kirin_pcie->phy_base))
 167                 return PTR_ERR(kirin_pcie->phy_base);
 168
 169         dbi = platform_get_resource_byname(pdev, IORESOURCE_MEM, "dbi");
 170         kirin_pcie->pci->dbi_base = devm_ioremap_resource(dev, dbi);
 171         if (IS_ERR(kirin_pcie->pci->dbi_base))
 172                 return PTR_ERR(kirin_pcie->pci->dbi_base);
 173
 174         kirin_pcie->crgctrl =
 175                 syscon_regmap_lookup_by_compatible("hisilicon,hi3660-crgctrl");
 176         if (IS_ERR(kirin_pcie->crgctrl))
 177                 return PTR_ERR(kirin_pcie->crgctrl);
 178
 179         kirin_pcie->sysctrl =
 180                 syscon_regmap_lookup_by_compatible("hisilicon,hi3660-sctrl");
 181         if (IS_ERR(kirin_pcie->sysctrl))
 182                 return PTR_ERR(kirin_pcie->sysctrl);
 183
 184         return 0;
 185 }
 186
 187 static int kirin_pcie_phy_init(struct kirin_pcie *kirin_pcie)
 188 {
 189         struct device *dev = kirin_pcie->pci->dev;
 190         u32 reg_val;
 191
 192         reg_val = kirin_apb_phy_readl(kirin_pcie, PCIE_APB_PHY_CTRL1);
 193         reg_val &= ~PHY_REF_PAD_BIT;
 194         kirin_apb_phy_writel(kirin_pcie, reg_val, PCIE_APB_PHY_CTRL1);
 195
 196         reg_val = kirin_apb_phy_readl(kirin_pcie, PCIE_APB_PHY_CTRL0);
 197         reg_val &= ~PHY_PWR_DOWN_BIT;
 198         kirin_apb_phy_writel(kirin_pcie, reg_val, PCIE_APB_PHY_CTRL0);
 199         usleep_range(TIME_PHY_PD_MIN, TIME_PHY_PD_MAX);
 200
 201         reg_val = kirin_apb_phy_readl(kirin_pcie, PCIE_APB_PHY_CTRL1);
 202         reg_val &= ~PHY_RST_ACK_BIT;
 203         kirin_apb_phy_writel(kirin_pcie, reg_val, PCIE_APB_PHY_CTRL1);
 204
 205         usleep_range(PIPE_CLK_WAIT_MIN, PIPE_CLK_WAIT_MAX);
 206         reg_val = kirin_apb_phy_readl(kirin_pcie, PCIE_APB_PHY_STATUS0);
 207         if (reg_val & PIPE_CLK_STABLE) {
 208                 dev_err(dev, "PIPE clk is not stable\n");
 209                 return -EINVAL;
 210         }
 211
 212         return 0;
 213 }
 214
 215 static void kirin_pcie_oe_enable(struct kirin_pcie *kirin_pcie)
 216 {
 217         u32 val;
 218
 219         regmap_read(kirin_pcie->sysctrl, SCTRL_PCIE_OE_OFFSET, &val);
 220         val |= PCIE_DEBOUNCE_PARAM;
 221         val &= ~PCIE_OE_BYPASS;
 222         regmap_write(kirin_pcie->sysctrl, SCTRL_PCIE_OE_OFFSET, val);
 223 }
 224
 225 static int kirin_pcie_clk_ctrl(struct kirin_pcie *kirin_pcie, bool enable)
 226 {
 227         int ret = 0;
 228
 229         if (!enable)
 230                 goto close_clk;
 231
 232         ret = clk_set_rate(kirin_pcie->phy_ref_clk, REF_CLK_FREQ);
 233         if (ret)
 234                 return ret;
 235
 236         ret = clk_prepare_enable(kirin_pcie->phy_ref_clk);
 237         if (ret)
 238                 return ret;
 239
 240         ret = clk_prepare_enable(kirin_pcie->apb_sys_clk);
 241         if (ret)
 242                 goto apb_sys_fail;
 243
 244         ret = clk_prepare_enable(kirin_pcie->apb_phy_clk);
 245         if (ret)
 246                 goto apb_phy_fail;
 247
 248         ret = clk_prepare_enable(kirin_pcie->pcie_aclk);
 249         if (ret)
 250                 goto aclk_fail;
 251
 252         ret = clk_prepare_enable(kirin_pcie->pcie_aux_clk);
 253         if (ret)
 254                 goto aux_clk_fail;
 255
 256         return 0;
 257
 258 close_clk:
 259         clk_disable_unprepare(kirin_pcie->pcie_aux_clk);
 260 aux_clk_fail:
 261         clk_disable_unprepare(kirin_pcie->pcie_aclk);
 262 aclk_fail:
 263         clk_disable_unprepare(kirin_pcie->apb_phy_clk);
 264 apb_phy_fail:
 265         clk_disable_unprepare(kirin_pcie->apb_sys_clk);
 266 apb_sys_fail:
 267         clk_disable_unprepare(kirin_pcie->phy_ref_clk);
 268
 269         return ret;
 270 }
 271
 272 static int kirin_pcie_power_on(struct kirin_pcie *kirin_pcie)
 273 {
 274         int ret;
 275
 276         /* Power supply for Host */
 277         regmap_write(kirin_pcie->sysctrl,
 278                      SCTRL_PCIE_CMOS_OFFSET, SCTRL_PCIE_CMOS_BIT);
 279         usleep_range(TIME_CMOS_MIN, TIME_CMOS_MAX);
 280         kirin_pcie_oe_enable(kirin_pcie);
 281
 282         ret = kirin_pcie_clk_ctrl(kirin_pcie, true);
 283         if (ret)
 284                 return ret;
 285
 286         /* ISO disable, PCIeCtrl, PHY assert and clk gate clear */
 287         regmap_write(kirin_pcie->sysctrl,
 288                      SCTRL_PCIE_ISO_OFFSET, SCTRL_PCIE_ISO_BIT);
 289         regmap_write(kirin_pcie->crgctrl,
 290                      CRGCTRL_PCIE_ASSERT_OFFSET, CRGCTRL_PCIE_ASSERT_BIT);
 291         regmap_write(kirin_pcie->sysctrl,
 292                      SCTRL_PCIE_HPCLK_OFFSET, SCTRL_PCIE_HPCLK_BIT);
 293
 294         ret = kirin_pcie_phy_init(kirin_pcie);
 295         if (ret)
 296                 goto close_clk;
 297
 298         /* perst assert Endpoint */
 299         if (!gpio_request(kirin_pcie->gpio_id_reset, "pcie_perst")) {
 300                 usleep_range(REF_2_PERST_MIN, REF_2_PERST_MAX);
 301                 ret = gpio_direction_output(kirin_pcie->gpio_id_reset, 1);
 302                 if (ret)
 303                         goto close_clk;
 304                 usleep_range(PERST_2_ACCESS_MIN, PERST_2_ACCESS_MAX);
 305
 306                 return 0;
 307         }
 308
 309 close_clk:
 310         kirin_pcie_clk_ctrl(kirin_pcie, false);
 311         return ret;
 312 }
 313
 314 static void kirin_pcie_sideband_dbi_w_mode(struct kirin_pcie *kirin_pcie,
 315                                            bool on)
 316 {
 317         u32 val;
 318
 319         val = kirin_apb_ctrl_readl(kirin_pcie, SOC_PCIECTRL_CTRL0_ADDR);
 320         if (on)
 321                 val = val | PCIE_ELBI_SLV_DBI_ENABLE;
 322         else
 323                 val = val & ~PCIE_ELBI_SLV_DBI_ENABLE;
 324
 325         kirin_apb_ctrl_writel(kirin_pcie, val, SOC_PCIECTRL_CTRL0_ADDR);
 326 }
 327
 328 static void kirin_pcie_sideband_dbi_r_mode(struct kirin_pcie *kirin_pcie,
 329                                            bool on)
 330 {
 331         u32 val;
 332
 333         val = kirin_apb_ctrl_readl(kirin_pcie, SOC_PCIECTRL_CTRL1_ADDR);
 334         if (on)
 335                 val = val | PCIE_ELBI_SLV_DBI_ENABLE;
 336         else
 337                 val = val & ~PCIE_ELBI_SLV_DBI_ENABLE;
 338
 339         kirin_apb_ctrl_writel(kirin_pcie, val, SOC_PCIECTRL_CTRL1_ADDR);
 340 }
 341
 342 static int kirin_pcie_rd_own_conf(struct pcie_port *pp,
 343                                   int where, int size, u32 *val)
 344 {
 345         struct dw_pcie *pci = to_dw_pcie_from_pp(pp);
 346         struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
 347         int ret;
 348
 349         kirin_pcie_sideband_dbi_r_mode(kirin_pcie, true);
 350         ret = dw_pcie_read(pci->dbi_base + where, size, val);
 351         kirin_pcie_sideband_dbi_r_mode(kirin_pcie, false);
 352
 353         return ret;
 354 }
 355
 356 static int kirin_pcie_wr_own_conf(struct pcie_port *pp,
 357                                   int where, int size, u32 val)
 358 {
 359         struct dw_pcie *pci = to_dw_pcie_from_pp(pp);
 360         struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
 361         int ret;
 362
 363         kirin_pcie_sideband_dbi_w_mode(kirin_pcie, true);
 364         ret = dw_pcie_write(pci->dbi_base + where, size, val);
 365         kirin_pcie_sideband_dbi_w_mode(kirin_pcie, false);
 366
 367         return ret;
 368 }
 369
 370 static u32 kirin_pcie_read_dbi(struct dw_pcie *pci, void __iomem *base,
 371                                u32 reg, size_t size)
 372 {
 373         struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
 374         u32 ret;
 375
 376         kirin_pcie_sideband_dbi_r_mode(kirin_pcie, true);
 377         dw_pcie_read(base + reg, size, &ret);
 378         kirin_pcie_sideband_dbi_r_mode(kirin_pcie, false);
 379
 380         return ret;
 381 }
 382
 383 static void kirin_pcie_write_dbi(struct dw_pcie *pci, void __iomem *base,
 384                                  u32 reg, size_t size, u32 val)
 385 {
 386         struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
 387
 388         kirin_pcie_sideband_dbi_w_mode(kirin_pcie, true);
 389         dw_pcie_write(base + reg, size, val);
 390         kirin_pcie_sideband_dbi_w_mode(kirin_pcie, false);
 391 }
 392
 393 static int kirin_pcie_link_up(struct dw_pcie *pci)
 394 {
 395         struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
 396         u32 val = kirin_apb_ctrl_readl(kirin_pcie, PCIE_APB_PHY_STATUS0);
 397
 398         if ((val & PCIE_LINKUP_ENABLE) == PCIE_LINKUP_ENABLE)
 399                 return 1;
 400
 401         return 0;
 402 }
 403
 404 static int kirin_pcie_establish_link(struct pcie_port *pp)
 405 {
 406         struct dw_pcie *pci = to_dw_pcie_from_pp(pp);
 407         struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
 408         struct device *dev = kirin_pcie->pci->dev;
 409         int count = 0;
 410
 411         if (kirin_pcie_link_up(pci))
 412                 return 0;
 413
 414         dw_pcie_setup_rc(pp);
 415
 416         /* assert LTSSM enable */
 417         kirin_apb_ctrl_writel(kirin_pcie, PCIE_LTSSM_ENABLE_BIT,
 418                               PCIE_APP_LTSSM_ENABLE);
 419
 420         /* check if the link is up or not */
 421         while (!kirin_pcie_link_up(pci)) {
 422                 usleep_range(LINK_WAIT_MIN, LINK_WAIT_MAX);
 423                 count++;
 424                 if (count == 1000) {
 425                         dev_err(dev, "Link Fail\n");
 426                         return -EINVAL;
 427                 }
 428         }
 429
 430         return 0;
 431 }
 432
 433 static int kirin_pcie_host_init(struct pcie_port *pp)
 434 {
 435         kirin_pcie_establish_link(pp);
 436
 437         return 0;
 438 }
 439
 440 static struct dw_pcie_ops kirin_dw_pcie_ops = {
 441         .read_dbi = kirin_pcie_read_dbi,
 442         .write_dbi = kirin_pcie_write_dbi,
 443         .link_up = kirin_pcie_link_up,
 444 };
 445
 446 static const struct dw_pcie_host_ops kirin_pcie_host_ops = {
 447         .rd_own_conf = kirin_pcie_rd_own_conf,
 448         .wr_own_conf = kirin_pcie_wr_own_conf,
 449         .host_init = kirin_pcie_host_init,
 450 };
 451
 452 static int kirin_add_pcie_port(struct dw_pcie *pci,
 453                                struct platform_device *pdev)
 454 {
 455         pci->pp.ops = &kirin_pcie_host_ops;
 456
 457         return dw_pcie_host_init(&pci->pp);
 458 }
 459
 460 static int kirin_pcie_probe(struct platform_device *pdev)
 461 {
 462         struct device *dev = &pdev->dev;
 463         struct kirin_pcie *kirin_pcie;
 464         struct dw_pcie *pci;
 465         int ret;
 466
 467         if (!dev->of_node) {
 468                 dev_err(dev, "NULL node\n");
 469                 return -EINVAL;
 470         }
 471
 472         kirin_pcie = devm_kzalloc(dev, sizeof(struct kirin_pcie), GFP_KERNEL);
 473         if (!kirin_pcie)
 474                 return -ENOMEM;
 475
 476         pci = devm_kzalloc(dev, sizeof(*pci), GFP_KERNEL);
 477         if (!pci)
 478                 return -ENOMEM;
 479
 480         pci->dev = dev;
 481         pci->ops = &kirin_dw_pcie_ops;
 482         kirin_pcie->pci = pci;
 483
 484         ret = kirin_pcie_get_clk(kirin_pcie, pdev);
 485         if (ret)
 486                 return ret;
 487
 488         ret = kirin_pcie_get_resource(kirin_pcie, pdev);
 489         if (ret)
 490                 return ret;
 491
 492         kirin_pcie->gpio_id_reset = of_get_named_gpio(dev->of_node,
 493                                                       "reset-gpios", 0);
 494         if (kirin_pcie->gpio_id_reset < 0)
 495                 return -ENODEV;
 496
 497         ret = kirin_pcie_power_on(kirin_pcie);
 498         if (ret)
 499                 return ret;
 500
 501         platform_set_drvdata(pdev, kirin_pcie);
 502
 503         return kirin_add_pcie_port(pci, pdev);
 504 }
 505
 506 static const struct of_device_id kirin_pcie_match[] = {
 507         { .compatible = "hisilicon,kirin960-pcie" },
 508         {},
 509 };
 510
 511 struct platform_driver kirin_pcie_driver = {
 512         .probe                  = kirin_pcie_probe,
 513         .driver                 = {
 514                 .name                   = "kirin-pcie",
 515                 .of_match_table = kirin_pcie_match,
 516                 .suppress_bind_attrs = true,
 517         },
 518 };
 519 builtin_platform_driver(kirin_pcie_driver);