Loading...
1// SPDX-License-Identifier: GPL-2.0
2/*
3 * PCIe host controller driver for Kirin Phone SoCs
4 *
5 * Copyright (C) 2017 HiSilicon Electronics Co., Ltd.
6 * http://www.huawei.com
7 *
8 * Author: Xiaowei Song <songxiaowei@huawei.com>
9 */
10
11#include <linux/compiler.h>
12#include <linux/clk.h>
13#include <linux/delay.h>
14#include <linux/err.h>
15#include <linux/gpio.h>
16#include <linux/interrupt.h>
17#include <linux/mfd/syscon.h>
18#include <linux/of_address.h>
19#include <linux/of_gpio.h>
20#include <linux/of_pci.h>
21#include <linux/pci.h>
22#include <linux/pci_regs.h>
23#include <linux/platform_device.h>
24#include <linux/regmap.h>
25#include <linux/resource.h>
26#include <linux/types.h>
27#include "pcie-designware.h"
28
29#define to_kirin_pcie(x) dev_get_drvdata((x)->dev)
30
31#define REF_CLK_FREQ 100000000
32
33/* PCIe ELBI registers */
34#define SOC_PCIECTRL_CTRL0_ADDR 0x000
35#define SOC_PCIECTRL_CTRL1_ADDR 0x004
36#define SOC_PCIEPHY_CTRL2_ADDR 0x008
37#define SOC_PCIEPHY_CTRL3_ADDR 0x00c
38#define PCIE_ELBI_SLV_DBI_ENABLE (0x1 << 21)
39
40/* info located in APB */
41#define PCIE_APP_LTSSM_ENABLE 0x01c
42#define PCIE_APB_PHY_CTRL0 0x0
43#define PCIE_APB_PHY_CTRL1 0x4
44#define PCIE_APB_PHY_STATUS0 0x400
45#define PCIE_LINKUP_ENABLE (0x8020)
46#define PCIE_LTSSM_ENABLE_BIT (0x1 << 11)
47#define PIPE_CLK_STABLE (0x1 << 19)
48#define PHY_REF_PAD_BIT (0x1 << 8)
49#define PHY_PWR_DOWN_BIT (0x1 << 22)
50#define PHY_RST_ACK_BIT (0x1 << 16)
51
52/* info located in sysctrl */
53#define SCTRL_PCIE_CMOS_OFFSET 0x60
54#define SCTRL_PCIE_CMOS_BIT 0x10
55#define SCTRL_PCIE_ISO_OFFSET 0x44
56#define SCTRL_PCIE_ISO_BIT 0x30
57#define SCTRL_PCIE_HPCLK_OFFSET 0x190
58#define SCTRL_PCIE_HPCLK_BIT 0x184000
59#define SCTRL_PCIE_OE_OFFSET 0x14a
60#define PCIE_DEBOUNCE_PARAM 0xF0F400
61#define PCIE_OE_BYPASS (0x3 << 28)
62
63/* peri_crg ctrl */
64#define CRGCTRL_PCIE_ASSERT_OFFSET 0x88
65#define CRGCTRL_PCIE_ASSERT_BIT 0x8c000000
66
67/* Time for delay */
68#define REF_2_PERST_MIN 20000
69#define REF_2_PERST_MAX 25000
70#define PERST_2_ACCESS_MIN 10000
71#define PERST_2_ACCESS_MAX 12000
72#define LINK_WAIT_MIN 900
73#define LINK_WAIT_MAX 1000
74#define PIPE_CLK_WAIT_MIN 550
75#define PIPE_CLK_WAIT_MAX 600
76#define TIME_CMOS_MIN 100
77#define TIME_CMOS_MAX 105
78#define TIME_PHY_PD_MIN 10
79#define TIME_PHY_PD_MAX 11
80
81struct kirin_pcie {
82 struct dw_pcie *pci;
83 void __iomem *apb_base;
84 void __iomem *phy_base;
85 struct regmap *crgctrl;
86 struct regmap *sysctrl;
87 struct clk *apb_sys_clk;
88 struct clk *apb_phy_clk;
89 struct clk *phy_ref_clk;
90 struct clk *pcie_aclk;
91 struct clk *pcie_aux_clk;
92 int gpio_id_reset;
93};
94
95/* Registers in PCIeCTRL */
96static inline void kirin_apb_ctrl_writel(struct kirin_pcie *kirin_pcie,
97 u32 val, u32 reg)
98{
99 writel(val, kirin_pcie->apb_base + reg);
100}
101
102static inline u32 kirin_apb_ctrl_readl(struct kirin_pcie *kirin_pcie, u32 reg)
103{
104 return readl(kirin_pcie->apb_base + reg);
105}
106
107/* Registers in PCIePHY */
108static inline void kirin_apb_phy_writel(struct kirin_pcie *kirin_pcie,
109 u32 val, u32 reg)
110{
111 writel(val, kirin_pcie->phy_base + reg);
112}
113
114static inline u32 kirin_apb_phy_readl(struct kirin_pcie *kirin_pcie, u32 reg)
115{
116 return readl(kirin_pcie->phy_base + reg);
117}
118
119static long kirin_pcie_get_clk(struct kirin_pcie *kirin_pcie,
120 struct platform_device *pdev)
121{
122 struct device *dev = &pdev->dev;
123
124 kirin_pcie->phy_ref_clk = devm_clk_get(dev, "pcie_phy_ref");
125 if (IS_ERR(kirin_pcie->phy_ref_clk))
126 return PTR_ERR(kirin_pcie->phy_ref_clk);
127
128 kirin_pcie->pcie_aux_clk = devm_clk_get(dev, "pcie_aux");
129 if (IS_ERR(kirin_pcie->pcie_aux_clk))
130 return PTR_ERR(kirin_pcie->pcie_aux_clk);
131
132 kirin_pcie->apb_phy_clk = devm_clk_get(dev, "pcie_apb_phy");
133 if (IS_ERR(kirin_pcie->apb_phy_clk))
134 return PTR_ERR(kirin_pcie->apb_phy_clk);
135
136 kirin_pcie->apb_sys_clk = devm_clk_get(dev, "pcie_apb_sys");
137 if (IS_ERR(kirin_pcie->apb_sys_clk))
138 return PTR_ERR(kirin_pcie->apb_sys_clk);
139
140 kirin_pcie->pcie_aclk = devm_clk_get(dev, "pcie_aclk");
141 if (IS_ERR(kirin_pcie->pcie_aclk))
142 return PTR_ERR(kirin_pcie->pcie_aclk);
143
144 return 0;
145}
146
147static long kirin_pcie_get_resource(struct kirin_pcie *kirin_pcie,
148 struct platform_device *pdev)
149{
150 struct device *dev = &pdev->dev;
151 struct resource *apb;
152 struct resource *phy;
153 struct resource *dbi;
154
155 apb = platform_get_resource_byname(pdev, IORESOURCE_MEM, "apb");
156 kirin_pcie->apb_base = devm_ioremap_resource(dev, apb);
157 if (IS_ERR(kirin_pcie->apb_base))
158 return PTR_ERR(kirin_pcie->apb_base);
159
160 phy = platform_get_resource_byname(pdev, IORESOURCE_MEM, "phy");
161 kirin_pcie->phy_base = devm_ioremap_resource(dev, phy);
162 if (IS_ERR(kirin_pcie->phy_base))
163 return PTR_ERR(kirin_pcie->phy_base);
164
165 dbi = platform_get_resource_byname(pdev, IORESOURCE_MEM, "dbi");
166 kirin_pcie->pci->dbi_base = devm_ioremap_resource(dev, dbi);
167 if (IS_ERR(kirin_pcie->pci->dbi_base))
168 return PTR_ERR(kirin_pcie->pci->dbi_base);
169
170 kirin_pcie->crgctrl =
171 syscon_regmap_lookup_by_compatible("hisilicon,hi3660-crgctrl");
172 if (IS_ERR(kirin_pcie->crgctrl))
173 return PTR_ERR(kirin_pcie->crgctrl);
174
175 kirin_pcie->sysctrl =
176 syscon_regmap_lookup_by_compatible("hisilicon,hi3660-sctrl");
177 if (IS_ERR(kirin_pcie->sysctrl))
178 return PTR_ERR(kirin_pcie->sysctrl);
179
180 return 0;
181}
182
183static int kirin_pcie_phy_init(struct kirin_pcie *kirin_pcie)
184{
185 struct device *dev = kirin_pcie->pci->dev;
186 u32 reg_val;
187
188 reg_val = kirin_apb_phy_readl(kirin_pcie, PCIE_APB_PHY_CTRL1);
189 reg_val &= ~PHY_REF_PAD_BIT;
190 kirin_apb_phy_writel(kirin_pcie, reg_val, PCIE_APB_PHY_CTRL1);
191
192 reg_val = kirin_apb_phy_readl(kirin_pcie, PCIE_APB_PHY_CTRL0);
193 reg_val &= ~PHY_PWR_DOWN_BIT;
194 kirin_apb_phy_writel(kirin_pcie, reg_val, PCIE_APB_PHY_CTRL0);
195 usleep_range(TIME_PHY_PD_MIN, TIME_PHY_PD_MAX);
196
197 reg_val = kirin_apb_phy_readl(kirin_pcie, PCIE_APB_PHY_CTRL1);
198 reg_val &= ~PHY_RST_ACK_BIT;
199 kirin_apb_phy_writel(kirin_pcie, reg_val, PCIE_APB_PHY_CTRL1);
200
201 usleep_range(PIPE_CLK_WAIT_MIN, PIPE_CLK_WAIT_MAX);
202 reg_val = kirin_apb_phy_readl(kirin_pcie, PCIE_APB_PHY_STATUS0);
203 if (reg_val & PIPE_CLK_STABLE) {
204 dev_err(dev, "PIPE clk is not stable\n");
205 return -EINVAL;
206 }
207
208 return 0;
209}
210
211static void kirin_pcie_oe_enable(struct kirin_pcie *kirin_pcie)
212{
213 u32 val;
214
215 regmap_read(kirin_pcie->sysctrl, SCTRL_PCIE_OE_OFFSET, &val);
216 val |= PCIE_DEBOUNCE_PARAM;
217 val &= ~PCIE_OE_BYPASS;
218 regmap_write(kirin_pcie->sysctrl, SCTRL_PCIE_OE_OFFSET, val);
219}
220
221static int kirin_pcie_clk_ctrl(struct kirin_pcie *kirin_pcie, bool enable)
222{
223 int ret = 0;
224
225 if (!enable)
226 goto close_clk;
227
228 ret = clk_set_rate(kirin_pcie->phy_ref_clk, REF_CLK_FREQ);
229 if (ret)
230 return ret;
231
232 ret = clk_prepare_enable(kirin_pcie->phy_ref_clk);
233 if (ret)
234 return ret;
235
236 ret = clk_prepare_enable(kirin_pcie->apb_sys_clk);
237 if (ret)
238 goto apb_sys_fail;
239
240 ret = clk_prepare_enable(kirin_pcie->apb_phy_clk);
241 if (ret)
242 goto apb_phy_fail;
243
244 ret = clk_prepare_enable(kirin_pcie->pcie_aclk);
245 if (ret)
246 goto aclk_fail;
247
248 ret = clk_prepare_enable(kirin_pcie->pcie_aux_clk);
249 if (ret)
250 goto aux_clk_fail;
251
252 return 0;
253
254close_clk:
255 clk_disable_unprepare(kirin_pcie->pcie_aux_clk);
256aux_clk_fail:
257 clk_disable_unprepare(kirin_pcie->pcie_aclk);
258aclk_fail:
259 clk_disable_unprepare(kirin_pcie->apb_phy_clk);
260apb_phy_fail:
261 clk_disable_unprepare(kirin_pcie->apb_sys_clk);
262apb_sys_fail:
263 clk_disable_unprepare(kirin_pcie->phy_ref_clk);
264
265 return ret;
266}
267
268static int kirin_pcie_power_on(struct kirin_pcie *kirin_pcie)
269{
270 int ret;
271
272 /* Power supply for Host */
273 regmap_write(kirin_pcie->sysctrl,
274 SCTRL_PCIE_CMOS_OFFSET, SCTRL_PCIE_CMOS_BIT);
275 usleep_range(TIME_CMOS_MIN, TIME_CMOS_MAX);
276 kirin_pcie_oe_enable(kirin_pcie);
277
278 ret = kirin_pcie_clk_ctrl(kirin_pcie, true);
279 if (ret)
280 return ret;
281
282 /* ISO disable, PCIeCtrl, PHY assert and clk gate clear */
283 regmap_write(kirin_pcie->sysctrl,
284 SCTRL_PCIE_ISO_OFFSET, SCTRL_PCIE_ISO_BIT);
285 regmap_write(kirin_pcie->crgctrl,
286 CRGCTRL_PCIE_ASSERT_OFFSET, CRGCTRL_PCIE_ASSERT_BIT);
287 regmap_write(kirin_pcie->sysctrl,
288 SCTRL_PCIE_HPCLK_OFFSET, SCTRL_PCIE_HPCLK_BIT);
289
290 ret = kirin_pcie_phy_init(kirin_pcie);
291 if (ret)
292 goto close_clk;
293
294 /* perst assert Endpoint */
295 if (!gpio_request(kirin_pcie->gpio_id_reset, "pcie_perst")) {
296 usleep_range(REF_2_PERST_MIN, REF_2_PERST_MAX);
297 ret = gpio_direction_output(kirin_pcie->gpio_id_reset, 1);
298 if (ret)
299 goto close_clk;
300 usleep_range(PERST_2_ACCESS_MIN, PERST_2_ACCESS_MAX);
301
302 return 0;
303 }
304
305close_clk:
306 kirin_pcie_clk_ctrl(kirin_pcie, false);
307 return ret;
308}
309
310static void kirin_pcie_sideband_dbi_w_mode(struct kirin_pcie *kirin_pcie,
311 bool on)
312{
313 u32 val;
314
315 val = kirin_apb_ctrl_readl(kirin_pcie, SOC_PCIECTRL_CTRL0_ADDR);
316 if (on)
317 val = val | PCIE_ELBI_SLV_DBI_ENABLE;
318 else
319 val = val & ~PCIE_ELBI_SLV_DBI_ENABLE;
320
321 kirin_apb_ctrl_writel(kirin_pcie, val, SOC_PCIECTRL_CTRL0_ADDR);
322}
323
324static void kirin_pcie_sideband_dbi_r_mode(struct kirin_pcie *kirin_pcie,
325 bool on)
326{
327 u32 val;
328
329 val = kirin_apb_ctrl_readl(kirin_pcie, SOC_PCIECTRL_CTRL1_ADDR);
330 if (on)
331 val = val | PCIE_ELBI_SLV_DBI_ENABLE;
332 else
333 val = val & ~PCIE_ELBI_SLV_DBI_ENABLE;
334
335 kirin_apb_ctrl_writel(kirin_pcie, val, SOC_PCIECTRL_CTRL1_ADDR);
336}
337
338static int kirin_pcie_rd_own_conf(struct pcie_port *pp,
339 int where, int size, u32 *val)
340{
341 struct dw_pcie *pci = to_dw_pcie_from_pp(pp);
342 struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
343 int ret;
344
345 kirin_pcie_sideband_dbi_r_mode(kirin_pcie, true);
346 ret = dw_pcie_read(pci->dbi_base + where, size, val);
347 kirin_pcie_sideband_dbi_r_mode(kirin_pcie, false);
348
349 return ret;
350}
351
352static int kirin_pcie_wr_own_conf(struct pcie_port *pp,
353 int where, int size, u32 val)
354{
355 struct dw_pcie *pci = to_dw_pcie_from_pp(pp);
356 struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
357 int ret;
358
359 kirin_pcie_sideband_dbi_w_mode(kirin_pcie, true);
360 ret = dw_pcie_write(pci->dbi_base + where, size, val);
361 kirin_pcie_sideband_dbi_w_mode(kirin_pcie, false);
362
363 return ret;
364}
365
366static u32 kirin_pcie_read_dbi(struct dw_pcie *pci, void __iomem *base,
367 u32 reg, size_t size)
368{
369 struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
370 u32 ret;
371
372 kirin_pcie_sideband_dbi_r_mode(kirin_pcie, true);
373 dw_pcie_read(base + reg, size, &ret);
374 kirin_pcie_sideband_dbi_r_mode(kirin_pcie, false);
375
376 return ret;
377}
378
379static void kirin_pcie_write_dbi(struct dw_pcie *pci, void __iomem *base,
380 u32 reg, size_t size, u32 val)
381{
382 struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
383
384 kirin_pcie_sideband_dbi_w_mode(kirin_pcie, true);
385 dw_pcie_write(base + reg, size, val);
386 kirin_pcie_sideband_dbi_w_mode(kirin_pcie, false);
387}
388
389static int kirin_pcie_link_up(struct dw_pcie *pci)
390{
391 struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
392 u32 val = kirin_apb_ctrl_readl(kirin_pcie, PCIE_APB_PHY_STATUS0);
393
394 if ((val & PCIE_LINKUP_ENABLE) == PCIE_LINKUP_ENABLE)
395 return 1;
396
397 return 0;
398}
399
400static int kirin_pcie_establish_link(struct pcie_port *pp)
401{
402 struct dw_pcie *pci = to_dw_pcie_from_pp(pp);
403 struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
404 struct device *dev = kirin_pcie->pci->dev;
405 int count = 0;
406
407 if (kirin_pcie_link_up(pci))
408 return 0;
409
410 dw_pcie_setup_rc(pp);
411
412 /* assert LTSSM enable */
413 kirin_apb_ctrl_writel(kirin_pcie, PCIE_LTSSM_ENABLE_BIT,
414 PCIE_APP_LTSSM_ENABLE);
415
416 /* check if the link is up or not */
417 while (!kirin_pcie_link_up(pci)) {
418 usleep_range(LINK_WAIT_MIN, LINK_WAIT_MAX);
419 count++;
420 if (count == 1000) {
421 dev_err(dev, "Link Fail\n");
422 return -EINVAL;
423 }
424 }
425
426 return 0;
427}
428
429static int kirin_pcie_host_init(struct pcie_port *pp)
430{
431 kirin_pcie_establish_link(pp);
432
433 if (IS_ENABLED(CONFIG_PCI_MSI))
434 dw_pcie_msi_init(pp);
435
436 return 0;
437}
438
439static const struct dw_pcie_ops kirin_dw_pcie_ops = {
440 .read_dbi = kirin_pcie_read_dbi,
441 .write_dbi = kirin_pcie_write_dbi,
442 .link_up = kirin_pcie_link_up,
443};
444
445static const struct dw_pcie_host_ops kirin_pcie_host_ops = {
446 .rd_own_conf = kirin_pcie_rd_own_conf,
447 .wr_own_conf = kirin_pcie_wr_own_conf,
448 .host_init = kirin_pcie_host_init,
449};
450
451static int kirin_pcie_add_msi(struct dw_pcie *pci,
452 struct platform_device *pdev)
453{
454 int irq;
455
456 if (IS_ENABLED(CONFIG_PCI_MSI)) {
457 irq = platform_get_irq(pdev, 0);
458 if (irq < 0) {
459 dev_err(&pdev->dev,
460 "failed to get MSI IRQ (%d)\n", irq);
461 return irq;
462 }
463
464 pci->pp.msi_irq = irq;
465 }
466
467 return 0;
468}
469
470static int kirin_add_pcie_port(struct dw_pcie *pci,
471 struct platform_device *pdev)
472{
473 int ret;
474
475 ret = kirin_pcie_add_msi(pci, pdev);
476 if (ret)
477 return ret;
478
479 pci->pp.ops = &kirin_pcie_host_ops;
480
481 return dw_pcie_host_init(&pci->pp);
482}
483
484static int kirin_pcie_probe(struct platform_device *pdev)
485{
486 struct device *dev = &pdev->dev;
487 struct kirin_pcie *kirin_pcie;
488 struct dw_pcie *pci;
489 int ret;
490
491 if (!dev->of_node) {
492 dev_err(dev, "NULL node\n");
493 return -EINVAL;
494 }
495
496 kirin_pcie = devm_kzalloc(dev, sizeof(struct kirin_pcie), GFP_KERNEL);
497 if (!kirin_pcie)
498 return -ENOMEM;
499
500 pci = devm_kzalloc(dev, sizeof(*pci), GFP_KERNEL);
501 if (!pci)
502 return -ENOMEM;
503
504 pci->dev = dev;
505 pci->ops = &kirin_dw_pcie_ops;
506 kirin_pcie->pci = pci;
507
508 ret = kirin_pcie_get_clk(kirin_pcie, pdev);
509 if (ret)
510 return ret;
511
512 ret = kirin_pcie_get_resource(kirin_pcie, pdev);
513 if (ret)
514 return ret;
515
516 kirin_pcie->gpio_id_reset = of_get_named_gpio(dev->of_node,
517 "reset-gpios", 0);
518 if (kirin_pcie->gpio_id_reset < 0)
519 return -ENODEV;
520
521 ret = kirin_pcie_power_on(kirin_pcie);
522 if (ret)
523 return ret;
524
525 platform_set_drvdata(pdev, kirin_pcie);
526
527 return kirin_add_pcie_port(pci, pdev);
528}
529
530static const struct of_device_id kirin_pcie_match[] = {
531 { .compatible = "hisilicon,kirin960-pcie" },
532 {},
533};
534
535static struct platform_driver kirin_pcie_driver = {
536 .probe = kirin_pcie_probe,
537 .driver = {
538 .name = "kirin-pcie",
539 .of_match_table = kirin_pcie_match,
540 .suppress_bind_attrs = true,
541 },
542};
543builtin_platform_driver(kirin_pcie_driver);
1// SPDX-License-Identifier: GPL-2.0
2/*
3 * PCIe host controller driver for Kirin Phone SoCs
4 *
5 * Copyright (C) 2017 HiSilicon Electronics Co., Ltd.
6 * https://www.huawei.com
7 *
8 * Author: Xiaowei Song <songxiaowei@huawei.com>
9 */
10
11#include <linux/compiler.h>
12#include <linux/clk.h>
13#include <linux/delay.h>
14#include <linux/err.h>
15#include <linux/gpio.h>
16#include <linux/interrupt.h>
17#include <linux/mfd/syscon.h>
18#include <linux/of_address.h>
19#include <linux/of_gpio.h>
20#include <linux/of_pci.h>
21#include <linux/pci.h>
22#include <linux/pci_regs.h>
23#include <linux/platform_device.h>
24#include <linux/regmap.h>
25#include <linux/resource.h>
26#include <linux/types.h>
27#include "pcie-designware.h"
28
29#define to_kirin_pcie(x) dev_get_drvdata((x)->dev)
30
31#define REF_CLK_FREQ 100000000
32
33/* PCIe ELBI registers */
34#define SOC_PCIECTRL_CTRL0_ADDR 0x000
35#define SOC_PCIECTRL_CTRL1_ADDR 0x004
36#define SOC_PCIEPHY_CTRL2_ADDR 0x008
37#define SOC_PCIEPHY_CTRL3_ADDR 0x00c
38#define PCIE_ELBI_SLV_DBI_ENABLE (0x1 << 21)
39
40/* info located in APB */
41#define PCIE_APP_LTSSM_ENABLE 0x01c
42#define PCIE_APB_PHY_CTRL0 0x0
43#define PCIE_APB_PHY_CTRL1 0x4
44#define PCIE_APB_PHY_STATUS0 0x400
45#define PCIE_LINKUP_ENABLE (0x8020)
46#define PCIE_LTSSM_ENABLE_BIT (0x1 << 11)
47#define PIPE_CLK_STABLE (0x1 << 19)
48#define PHY_REF_PAD_BIT (0x1 << 8)
49#define PHY_PWR_DOWN_BIT (0x1 << 22)
50#define PHY_RST_ACK_BIT (0x1 << 16)
51
52/* info located in sysctrl */
53#define SCTRL_PCIE_CMOS_OFFSET 0x60
54#define SCTRL_PCIE_CMOS_BIT 0x10
55#define SCTRL_PCIE_ISO_OFFSET 0x44
56#define SCTRL_PCIE_ISO_BIT 0x30
57#define SCTRL_PCIE_HPCLK_OFFSET 0x190
58#define SCTRL_PCIE_HPCLK_BIT 0x184000
59#define SCTRL_PCIE_OE_OFFSET 0x14a
60#define PCIE_DEBOUNCE_PARAM 0xF0F400
61#define PCIE_OE_BYPASS (0x3 << 28)
62
63/* peri_crg ctrl */
64#define CRGCTRL_PCIE_ASSERT_OFFSET 0x88
65#define CRGCTRL_PCIE_ASSERT_BIT 0x8c000000
66
67/* Time for delay */
68#define REF_2_PERST_MIN 20000
69#define REF_2_PERST_MAX 25000
70#define PERST_2_ACCESS_MIN 10000
71#define PERST_2_ACCESS_MAX 12000
72#define LINK_WAIT_MIN 900
73#define LINK_WAIT_MAX 1000
74#define PIPE_CLK_WAIT_MIN 550
75#define PIPE_CLK_WAIT_MAX 600
76#define TIME_CMOS_MIN 100
77#define TIME_CMOS_MAX 105
78#define TIME_PHY_PD_MIN 10
79#define TIME_PHY_PD_MAX 11
80
81struct kirin_pcie {
82 struct dw_pcie *pci;
83 void __iomem *apb_base;
84 void __iomem *phy_base;
85 struct regmap *crgctrl;
86 struct regmap *sysctrl;
87 struct clk *apb_sys_clk;
88 struct clk *apb_phy_clk;
89 struct clk *phy_ref_clk;
90 struct clk *pcie_aclk;
91 struct clk *pcie_aux_clk;
92 int gpio_id_reset;
93};
94
95/* Registers in PCIeCTRL */
96static inline void kirin_apb_ctrl_writel(struct kirin_pcie *kirin_pcie,
97 u32 val, u32 reg)
98{
99 writel(val, kirin_pcie->apb_base + reg);
100}
101
102static inline u32 kirin_apb_ctrl_readl(struct kirin_pcie *kirin_pcie, u32 reg)
103{
104 return readl(kirin_pcie->apb_base + reg);
105}
106
107/* Registers in PCIePHY */
108static inline void kirin_apb_phy_writel(struct kirin_pcie *kirin_pcie,
109 u32 val, u32 reg)
110{
111 writel(val, kirin_pcie->phy_base + reg);
112}
113
114static inline u32 kirin_apb_phy_readl(struct kirin_pcie *kirin_pcie, u32 reg)
115{
116 return readl(kirin_pcie->phy_base + reg);
117}
118
119static long kirin_pcie_get_clk(struct kirin_pcie *kirin_pcie,
120 struct platform_device *pdev)
121{
122 struct device *dev = &pdev->dev;
123
124 kirin_pcie->phy_ref_clk = devm_clk_get(dev, "pcie_phy_ref");
125 if (IS_ERR(kirin_pcie->phy_ref_clk))
126 return PTR_ERR(kirin_pcie->phy_ref_clk);
127
128 kirin_pcie->pcie_aux_clk = devm_clk_get(dev, "pcie_aux");
129 if (IS_ERR(kirin_pcie->pcie_aux_clk))
130 return PTR_ERR(kirin_pcie->pcie_aux_clk);
131
132 kirin_pcie->apb_phy_clk = devm_clk_get(dev, "pcie_apb_phy");
133 if (IS_ERR(kirin_pcie->apb_phy_clk))
134 return PTR_ERR(kirin_pcie->apb_phy_clk);
135
136 kirin_pcie->apb_sys_clk = devm_clk_get(dev, "pcie_apb_sys");
137 if (IS_ERR(kirin_pcie->apb_sys_clk))
138 return PTR_ERR(kirin_pcie->apb_sys_clk);
139
140 kirin_pcie->pcie_aclk = devm_clk_get(dev, "pcie_aclk");
141 if (IS_ERR(kirin_pcie->pcie_aclk))
142 return PTR_ERR(kirin_pcie->pcie_aclk);
143
144 return 0;
145}
146
147static long kirin_pcie_get_resource(struct kirin_pcie *kirin_pcie,
148 struct platform_device *pdev)
149{
150 kirin_pcie->apb_base =
151 devm_platform_ioremap_resource_byname(pdev, "apb");
152 if (IS_ERR(kirin_pcie->apb_base))
153 return PTR_ERR(kirin_pcie->apb_base);
154
155 kirin_pcie->phy_base =
156 devm_platform_ioremap_resource_byname(pdev, "phy");
157 if (IS_ERR(kirin_pcie->phy_base))
158 return PTR_ERR(kirin_pcie->phy_base);
159
160 kirin_pcie->crgctrl =
161 syscon_regmap_lookup_by_compatible("hisilicon,hi3660-crgctrl");
162 if (IS_ERR(kirin_pcie->crgctrl))
163 return PTR_ERR(kirin_pcie->crgctrl);
164
165 kirin_pcie->sysctrl =
166 syscon_regmap_lookup_by_compatible("hisilicon,hi3660-sctrl");
167 if (IS_ERR(kirin_pcie->sysctrl))
168 return PTR_ERR(kirin_pcie->sysctrl);
169
170 return 0;
171}
172
173static int kirin_pcie_phy_init(struct kirin_pcie *kirin_pcie)
174{
175 struct device *dev = kirin_pcie->pci->dev;
176 u32 reg_val;
177
178 reg_val = kirin_apb_phy_readl(kirin_pcie, PCIE_APB_PHY_CTRL1);
179 reg_val &= ~PHY_REF_PAD_BIT;
180 kirin_apb_phy_writel(kirin_pcie, reg_val, PCIE_APB_PHY_CTRL1);
181
182 reg_val = kirin_apb_phy_readl(kirin_pcie, PCIE_APB_PHY_CTRL0);
183 reg_val &= ~PHY_PWR_DOWN_BIT;
184 kirin_apb_phy_writel(kirin_pcie, reg_val, PCIE_APB_PHY_CTRL0);
185 usleep_range(TIME_PHY_PD_MIN, TIME_PHY_PD_MAX);
186
187 reg_val = kirin_apb_phy_readl(kirin_pcie, PCIE_APB_PHY_CTRL1);
188 reg_val &= ~PHY_RST_ACK_BIT;
189 kirin_apb_phy_writel(kirin_pcie, reg_val, PCIE_APB_PHY_CTRL1);
190
191 usleep_range(PIPE_CLK_WAIT_MIN, PIPE_CLK_WAIT_MAX);
192 reg_val = kirin_apb_phy_readl(kirin_pcie, PCIE_APB_PHY_STATUS0);
193 if (reg_val & PIPE_CLK_STABLE) {
194 dev_err(dev, "PIPE clk is not stable\n");
195 return -EINVAL;
196 }
197
198 return 0;
199}
200
201static void kirin_pcie_oe_enable(struct kirin_pcie *kirin_pcie)
202{
203 u32 val;
204
205 regmap_read(kirin_pcie->sysctrl, SCTRL_PCIE_OE_OFFSET, &val);
206 val |= PCIE_DEBOUNCE_PARAM;
207 val &= ~PCIE_OE_BYPASS;
208 regmap_write(kirin_pcie->sysctrl, SCTRL_PCIE_OE_OFFSET, val);
209}
210
211static int kirin_pcie_clk_ctrl(struct kirin_pcie *kirin_pcie, bool enable)
212{
213 int ret = 0;
214
215 if (!enable)
216 goto close_clk;
217
218 ret = clk_set_rate(kirin_pcie->phy_ref_clk, REF_CLK_FREQ);
219 if (ret)
220 return ret;
221
222 ret = clk_prepare_enable(kirin_pcie->phy_ref_clk);
223 if (ret)
224 return ret;
225
226 ret = clk_prepare_enable(kirin_pcie->apb_sys_clk);
227 if (ret)
228 goto apb_sys_fail;
229
230 ret = clk_prepare_enable(kirin_pcie->apb_phy_clk);
231 if (ret)
232 goto apb_phy_fail;
233
234 ret = clk_prepare_enable(kirin_pcie->pcie_aclk);
235 if (ret)
236 goto aclk_fail;
237
238 ret = clk_prepare_enable(kirin_pcie->pcie_aux_clk);
239 if (ret)
240 goto aux_clk_fail;
241
242 return 0;
243
244close_clk:
245 clk_disable_unprepare(kirin_pcie->pcie_aux_clk);
246aux_clk_fail:
247 clk_disable_unprepare(kirin_pcie->pcie_aclk);
248aclk_fail:
249 clk_disable_unprepare(kirin_pcie->apb_phy_clk);
250apb_phy_fail:
251 clk_disable_unprepare(kirin_pcie->apb_sys_clk);
252apb_sys_fail:
253 clk_disable_unprepare(kirin_pcie->phy_ref_clk);
254
255 return ret;
256}
257
258static int kirin_pcie_power_on(struct kirin_pcie *kirin_pcie)
259{
260 int ret;
261
262 /* Power supply for Host */
263 regmap_write(kirin_pcie->sysctrl,
264 SCTRL_PCIE_CMOS_OFFSET, SCTRL_PCIE_CMOS_BIT);
265 usleep_range(TIME_CMOS_MIN, TIME_CMOS_MAX);
266 kirin_pcie_oe_enable(kirin_pcie);
267
268 ret = kirin_pcie_clk_ctrl(kirin_pcie, true);
269 if (ret)
270 return ret;
271
272 /* ISO disable, PCIeCtrl, PHY assert and clk gate clear */
273 regmap_write(kirin_pcie->sysctrl,
274 SCTRL_PCIE_ISO_OFFSET, SCTRL_PCIE_ISO_BIT);
275 regmap_write(kirin_pcie->crgctrl,
276 CRGCTRL_PCIE_ASSERT_OFFSET, CRGCTRL_PCIE_ASSERT_BIT);
277 regmap_write(kirin_pcie->sysctrl,
278 SCTRL_PCIE_HPCLK_OFFSET, SCTRL_PCIE_HPCLK_BIT);
279
280 ret = kirin_pcie_phy_init(kirin_pcie);
281 if (ret)
282 goto close_clk;
283
284 /* perst assert Endpoint */
285 if (!gpio_request(kirin_pcie->gpio_id_reset, "pcie_perst")) {
286 usleep_range(REF_2_PERST_MIN, REF_2_PERST_MAX);
287 ret = gpio_direction_output(kirin_pcie->gpio_id_reset, 1);
288 if (ret)
289 goto close_clk;
290 usleep_range(PERST_2_ACCESS_MIN, PERST_2_ACCESS_MAX);
291
292 return 0;
293 }
294
295close_clk:
296 kirin_pcie_clk_ctrl(kirin_pcie, false);
297 return ret;
298}
299
300static void kirin_pcie_sideband_dbi_w_mode(struct kirin_pcie *kirin_pcie,
301 bool on)
302{
303 u32 val;
304
305 val = kirin_apb_ctrl_readl(kirin_pcie, SOC_PCIECTRL_CTRL0_ADDR);
306 if (on)
307 val = val | PCIE_ELBI_SLV_DBI_ENABLE;
308 else
309 val = val & ~PCIE_ELBI_SLV_DBI_ENABLE;
310
311 kirin_apb_ctrl_writel(kirin_pcie, val, SOC_PCIECTRL_CTRL0_ADDR);
312}
313
314static void kirin_pcie_sideband_dbi_r_mode(struct kirin_pcie *kirin_pcie,
315 bool on)
316{
317 u32 val;
318
319 val = kirin_apb_ctrl_readl(kirin_pcie, SOC_PCIECTRL_CTRL1_ADDR);
320 if (on)
321 val = val | PCIE_ELBI_SLV_DBI_ENABLE;
322 else
323 val = val & ~PCIE_ELBI_SLV_DBI_ENABLE;
324
325 kirin_apb_ctrl_writel(kirin_pcie, val, SOC_PCIECTRL_CTRL1_ADDR);
326}
327
328static int kirin_pcie_rd_own_conf(struct pci_bus *bus, unsigned int devfn,
329 int where, int size, u32 *val)
330{
331 struct dw_pcie *pci = to_dw_pcie_from_pp(bus->sysdata);
332
333 if (PCI_SLOT(devfn)) {
334 *val = ~0;
335 return PCIBIOS_DEVICE_NOT_FOUND;
336 }
337
338 *val = dw_pcie_read_dbi(pci, where, size);
339 return PCIBIOS_SUCCESSFUL;
340}
341
342static int kirin_pcie_wr_own_conf(struct pci_bus *bus, unsigned int devfn,
343 int where, int size, u32 val)
344{
345 struct dw_pcie *pci = to_dw_pcie_from_pp(bus->sysdata);
346
347 if (PCI_SLOT(devfn))
348 return PCIBIOS_DEVICE_NOT_FOUND;
349
350 dw_pcie_write_dbi(pci, where, size, val);
351 return PCIBIOS_SUCCESSFUL;
352}
353
354static struct pci_ops kirin_pci_ops = {
355 .read = kirin_pcie_rd_own_conf,
356 .write = kirin_pcie_wr_own_conf,
357};
358
359static u32 kirin_pcie_read_dbi(struct dw_pcie *pci, void __iomem *base,
360 u32 reg, size_t size)
361{
362 struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
363 u32 ret;
364
365 kirin_pcie_sideband_dbi_r_mode(kirin_pcie, true);
366 dw_pcie_read(base + reg, size, &ret);
367 kirin_pcie_sideband_dbi_r_mode(kirin_pcie, false);
368
369 return ret;
370}
371
372static void kirin_pcie_write_dbi(struct dw_pcie *pci, void __iomem *base,
373 u32 reg, size_t size, u32 val)
374{
375 struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
376
377 kirin_pcie_sideband_dbi_w_mode(kirin_pcie, true);
378 dw_pcie_write(base + reg, size, val);
379 kirin_pcie_sideband_dbi_w_mode(kirin_pcie, false);
380}
381
382static int kirin_pcie_link_up(struct dw_pcie *pci)
383{
384 struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
385 u32 val = kirin_apb_ctrl_readl(kirin_pcie, PCIE_APB_PHY_STATUS0);
386
387 if ((val & PCIE_LINKUP_ENABLE) == PCIE_LINKUP_ENABLE)
388 return 1;
389
390 return 0;
391}
392
393static int kirin_pcie_start_link(struct dw_pcie *pci)
394{
395 struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
396
397 /* assert LTSSM enable */
398 kirin_apb_ctrl_writel(kirin_pcie, PCIE_LTSSM_ENABLE_BIT,
399 PCIE_APP_LTSSM_ENABLE);
400
401 return 0;
402}
403
404static int kirin_pcie_host_init(struct pcie_port *pp)
405{
406 pp->bridge->ops = &kirin_pci_ops;
407
408 return 0;
409}
410
411static const struct dw_pcie_ops kirin_dw_pcie_ops = {
412 .read_dbi = kirin_pcie_read_dbi,
413 .write_dbi = kirin_pcie_write_dbi,
414 .link_up = kirin_pcie_link_up,
415 .start_link = kirin_pcie_start_link,
416};
417
418static const struct dw_pcie_host_ops kirin_pcie_host_ops = {
419 .host_init = kirin_pcie_host_init,
420};
421
422static int kirin_pcie_probe(struct platform_device *pdev)
423{
424 struct device *dev = &pdev->dev;
425 struct kirin_pcie *kirin_pcie;
426 struct dw_pcie *pci;
427 int ret;
428
429 if (!dev->of_node) {
430 dev_err(dev, "NULL node\n");
431 return -EINVAL;
432 }
433
434 kirin_pcie = devm_kzalloc(dev, sizeof(struct kirin_pcie), GFP_KERNEL);
435 if (!kirin_pcie)
436 return -ENOMEM;
437
438 pci = devm_kzalloc(dev, sizeof(*pci), GFP_KERNEL);
439 if (!pci)
440 return -ENOMEM;
441
442 pci->dev = dev;
443 pci->ops = &kirin_dw_pcie_ops;
444 pci->pp.ops = &kirin_pcie_host_ops;
445 kirin_pcie->pci = pci;
446
447 ret = kirin_pcie_get_clk(kirin_pcie, pdev);
448 if (ret)
449 return ret;
450
451 ret = kirin_pcie_get_resource(kirin_pcie, pdev);
452 if (ret)
453 return ret;
454
455 kirin_pcie->gpio_id_reset = of_get_named_gpio(dev->of_node,
456 "reset-gpios", 0);
457 if (kirin_pcie->gpio_id_reset == -EPROBE_DEFER) {
458 return -EPROBE_DEFER;
459 } else if (!gpio_is_valid(kirin_pcie->gpio_id_reset)) {
460 dev_err(dev, "unable to get a valid gpio pin\n");
461 return -ENODEV;
462 }
463
464 ret = kirin_pcie_power_on(kirin_pcie);
465 if (ret)
466 return ret;
467
468 platform_set_drvdata(pdev, kirin_pcie);
469
470 return dw_pcie_host_init(&pci->pp);
471}
472
473static const struct of_device_id kirin_pcie_match[] = {
474 { .compatible = "hisilicon,kirin960-pcie" },
475 {},
476};
477
478static struct platform_driver kirin_pcie_driver = {
479 .probe = kirin_pcie_probe,
480 .driver = {
481 .name = "kirin-pcie",
482 .of_match_table = kirin_pcie_match,
483 .suppress_bind_attrs = true,
484 },
485};
486builtin_platform_driver(kirin_pcie_driver);