Loading...
1// SPDX-License-Identifier: GPL-2.0+
2/*
3 * PCIe host controller driver for Xilinx AXI PCIe Bridge
4 *
5 * Copyright (c) 2012 - 2014 Xilinx, Inc.
6 *
7 * Based on the Tegra PCIe driver
8 *
9 * Bits taken from Synopsys DesignWare Host controller driver and
10 * ARM PCI Host generic driver.
11 */
12
13#include <linux/interrupt.h>
14#include <linux/irq.h>
15#include <linux/irqdomain.h>
16#include <linux/kernel.h>
17#include <linux/init.h>
18#include <linux/msi.h>
19#include <linux/of_address.h>
20#include <linux/of_pci.h>
21#include <linux/of_platform.h>
22#include <linux/of_irq.h>
23#include <linux/pci.h>
24#include <linux/pci-ecam.h>
25#include <linux/platform_device.h>
26
27#include "../pci.h"
28
29/* Register definitions */
30#define XILINX_PCIE_REG_BIR 0x00000130
31#define XILINX_PCIE_REG_IDR 0x00000138
32#define XILINX_PCIE_REG_IMR 0x0000013c
33#define XILINX_PCIE_REG_PSCR 0x00000144
34#define XILINX_PCIE_REG_RPSC 0x00000148
35#define XILINX_PCIE_REG_MSIBASE1 0x0000014c
36#define XILINX_PCIE_REG_MSIBASE2 0x00000150
37#define XILINX_PCIE_REG_RPEFR 0x00000154
38#define XILINX_PCIE_REG_RPIFR1 0x00000158
39#define XILINX_PCIE_REG_RPIFR2 0x0000015c
40
41/* Interrupt registers definitions */
42#define XILINX_PCIE_INTR_LINK_DOWN BIT(0)
43#define XILINX_PCIE_INTR_ECRC_ERR BIT(1)
44#define XILINX_PCIE_INTR_STR_ERR BIT(2)
45#define XILINX_PCIE_INTR_HOT_RESET BIT(3)
46#define XILINX_PCIE_INTR_CFG_TIMEOUT BIT(8)
47#define XILINX_PCIE_INTR_CORRECTABLE BIT(9)
48#define XILINX_PCIE_INTR_NONFATAL BIT(10)
49#define XILINX_PCIE_INTR_FATAL BIT(11)
50#define XILINX_PCIE_INTR_INTX BIT(16)
51#define XILINX_PCIE_INTR_MSI BIT(17)
52#define XILINX_PCIE_INTR_SLV_UNSUPP BIT(20)
53#define XILINX_PCIE_INTR_SLV_UNEXP BIT(21)
54#define XILINX_PCIE_INTR_SLV_COMPL BIT(22)
55#define XILINX_PCIE_INTR_SLV_ERRP BIT(23)
56#define XILINX_PCIE_INTR_SLV_CMPABT BIT(24)
57#define XILINX_PCIE_INTR_SLV_ILLBUR BIT(25)
58#define XILINX_PCIE_INTR_MST_DECERR BIT(26)
59#define XILINX_PCIE_INTR_MST_SLVERR BIT(27)
60#define XILINX_PCIE_INTR_MST_ERRP BIT(28)
61#define XILINX_PCIE_IMR_ALL_MASK 0x1FF30FED
62#define XILINX_PCIE_IMR_ENABLE_MASK 0x1FF30F0D
63#define XILINX_PCIE_IDR_ALL_MASK 0xFFFFFFFF
64
65/* Root Port Error FIFO Read Register definitions */
66#define XILINX_PCIE_RPEFR_ERR_VALID BIT(18)
67#define XILINX_PCIE_RPEFR_REQ_ID GENMASK(15, 0)
68#define XILINX_PCIE_RPEFR_ALL_MASK 0xFFFFFFFF
69
70/* Root Port Interrupt FIFO Read Register 1 definitions */
71#define XILINX_PCIE_RPIFR1_INTR_VALID BIT(31)
72#define XILINX_PCIE_RPIFR1_MSI_INTR BIT(30)
73#define XILINX_PCIE_RPIFR1_INTR_MASK GENMASK(28, 27)
74#define XILINX_PCIE_RPIFR1_ALL_MASK 0xFFFFFFFF
75#define XILINX_PCIE_RPIFR1_INTR_SHIFT 27
76
77/* Bridge Info Register definitions */
78#define XILINX_PCIE_BIR_ECAM_SZ_MASK GENMASK(18, 16)
79#define XILINX_PCIE_BIR_ECAM_SZ_SHIFT 16
80
81/* Root Port Interrupt FIFO Read Register 2 definitions */
82#define XILINX_PCIE_RPIFR2_MSG_DATA GENMASK(15, 0)
83
84/* Root Port Status/control Register definitions */
85#define XILINX_PCIE_REG_RPSC_BEN BIT(0)
86
87/* Phy Status/Control Register definitions */
88#define XILINX_PCIE_REG_PSCR_LNKUP BIT(11)
89
90/* Number of MSI IRQs */
91#define XILINX_NUM_MSI_IRQS 128
92
93/**
94 * struct xilinx_pcie - PCIe port information
95 * @dev: Device pointer
96 * @reg_base: IO Mapped Register Base
97 * @msi_map: Bitmap of allocated MSIs
98 * @map_lock: Mutex protecting the MSI allocation
99 * @msi_domain: MSI IRQ domain pointer
100 * @leg_domain: Legacy IRQ domain pointer
101 * @resources: Bus Resources
102 */
103struct xilinx_pcie {
104 struct device *dev;
105 void __iomem *reg_base;
106 unsigned long msi_map[BITS_TO_LONGS(XILINX_NUM_MSI_IRQS)];
107 struct mutex map_lock;
108 struct irq_domain *msi_domain;
109 struct irq_domain *leg_domain;
110 struct list_head resources;
111};
112
113static inline u32 pcie_read(struct xilinx_pcie *pcie, u32 reg)
114{
115 return readl(pcie->reg_base + reg);
116}
117
118static inline void pcie_write(struct xilinx_pcie *pcie, u32 val, u32 reg)
119{
120 writel(val, pcie->reg_base + reg);
121}
122
123static inline bool xilinx_pcie_link_up(struct xilinx_pcie *pcie)
124{
125 return (pcie_read(pcie, XILINX_PCIE_REG_PSCR) &
126 XILINX_PCIE_REG_PSCR_LNKUP) ? 1 : 0;
127}
128
129/**
130 * xilinx_pcie_clear_err_interrupts - Clear Error Interrupts
131 * @pcie: PCIe port information
132 */
133static void xilinx_pcie_clear_err_interrupts(struct xilinx_pcie *pcie)
134{
135 struct device *dev = pcie->dev;
136 unsigned long val = pcie_read(pcie, XILINX_PCIE_REG_RPEFR);
137
138 if (val & XILINX_PCIE_RPEFR_ERR_VALID) {
139 dev_dbg(dev, "Requester ID %lu\n",
140 val & XILINX_PCIE_RPEFR_REQ_ID);
141 pcie_write(pcie, XILINX_PCIE_RPEFR_ALL_MASK,
142 XILINX_PCIE_REG_RPEFR);
143 }
144}
145
146/**
147 * xilinx_pcie_valid_device - Check if a valid device is present on bus
148 * @bus: PCI Bus structure
149 * @devfn: device/function
150 *
151 * Return: 'true' on success and 'false' if invalid device is found
152 */
153static bool xilinx_pcie_valid_device(struct pci_bus *bus, unsigned int devfn)
154{
155 struct xilinx_pcie *pcie = bus->sysdata;
156
157 /* Check if link is up when trying to access downstream pcie ports */
158 if (!pci_is_root_bus(bus)) {
159 if (!xilinx_pcie_link_up(pcie))
160 return false;
161 } else if (devfn > 0) {
162 /* Only one device down on each root port */
163 return false;
164 }
165 return true;
166}
167
168/**
169 * xilinx_pcie_map_bus - Get configuration base
170 * @bus: PCI Bus structure
171 * @devfn: Device/function
172 * @where: Offset from base
173 *
174 * Return: Base address of the configuration space needed to be
175 * accessed.
176 */
177static void __iomem *xilinx_pcie_map_bus(struct pci_bus *bus,
178 unsigned int devfn, int where)
179{
180 struct xilinx_pcie *pcie = bus->sysdata;
181
182 if (!xilinx_pcie_valid_device(bus, devfn))
183 return NULL;
184
185 return pcie->reg_base + PCIE_ECAM_OFFSET(bus->number, devfn, where);
186}
187
188/* PCIe operations */
189static struct pci_ops xilinx_pcie_ops = {
190 .map_bus = xilinx_pcie_map_bus,
191 .read = pci_generic_config_read,
192 .write = pci_generic_config_write,
193};
194
195/* MSI functions */
196
197static void xilinx_msi_top_irq_ack(struct irq_data *d)
198{
199 /*
200 * xilinx_pcie_intr_handler() will have performed the Ack.
201 * Eventually, this should be fixed and the Ack be moved in
202 * the respective callbacks for INTx and MSI.
203 */
204}
205
206static struct irq_chip xilinx_msi_top_chip = {
207 .name = "PCIe MSI",
208 .irq_ack = xilinx_msi_top_irq_ack,
209};
210
211static void xilinx_compose_msi_msg(struct irq_data *data, struct msi_msg *msg)
212{
213 struct xilinx_pcie *pcie = irq_data_get_irq_chip_data(data);
214 phys_addr_t pa = ALIGN_DOWN(virt_to_phys(pcie), SZ_4K);
215
216 msg->address_lo = lower_32_bits(pa);
217 msg->address_hi = upper_32_bits(pa);
218 msg->data = data->hwirq;
219}
220
221static struct irq_chip xilinx_msi_bottom_chip = {
222 .name = "Xilinx MSI",
223 .irq_compose_msi_msg = xilinx_compose_msi_msg,
224};
225
226static int xilinx_msi_domain_alloc(struct irq_domain *domain, unsigned int virq,
227 unsigned int nr_irqs, void *args)
228{
229 struct xilinx_pcie *pcie = domain->host_data;
230 int hwirq, i;
231
232 mutex_lock(&pcie->map_lock);
233
234 hwirq = bitmap_find_free_region(pcie->msi_map, XILINX_NUM_MSI_IRQS, order_base_2(nr_irqs));
235
236 mutex_unlock(&pcie->map_lock);
237
238 if (hwirq < 0)
239 return -ENOSPC;
240
241 for (i = 0; i < nr_irqs; i++)
242 irq_domain_set_info(domain, virq + i, hwirq + i,
243 &xilinx_msi_bottom_chip, domain->host_data,
244 handle_edge_irq, NULL, NULL);
245
246 return 0;
247}
248
249static void xilinx_msi_domain_free(struct irq_domain *domain, unsigned int virq,
250 unsigned int nr_irqs)
251{
252 struct irq_data *d = irq_domain_get_irq_data(domain, virq);
253 struct xilinx_pcie *pcie = domain->host_data;
254
255 mutex_lock(&pcie->map_lock);
256
257 bitmap_release_region(pcie->msi_map, d->hwirq, order_base_2(nr_irqs));
258
259 mutex_unlock(&pcie->map_lock);
260}
261
262static const struct irq_domain_ops xilinx_msi_domain_ops = {
263 .alloc = xilinx_msi_domain_alloc,
264 .free = xilinx_msi_domain_free,
265};
266
267static struct msi_domain_info xilinx_msi_info = {
268 .flags = MSI_FLAG_USE_DEF_DOM_OPS | MSI_FLAG_USE_DEF_CHIP_OPS |
269 MSI_FLAG_NO_AFFINITY,
270 .chip = &xilinx_msi_top_chip,
271};
272
273static int xilinx_allocate_msi_domains(struct xilinx_pcie *pcie)
274{
275 struct fwnode_handle *fwnode = dev_fwnode(pcie->dev);
276 struct irq_domain *parent;
277
278 parent = irq_domain_create_linear(fwnode, XILINX_NUM_MSI_IRQS,
279 &xilinx_msi_domain_ops, pcie);
280 if (!parent) {
281 dev_err(pcie->dev, "failed to create IRQ domain\n");
282 return -ENOMEM;
283 }
284 irq_domain_update_bus_token(parent, DOMAIN_BUS_NEXUS);
285
286 pcie->msi_domain = pci_msi_create_irq_domain(fwnode, &xilinx_msi_info, parent);
287 if (!pcie->msi_domain) {
288 dev_err(pcie->dev, "failed to create MSI domain\n");
289 irq_domain_remove(parent);
290 return -ENOMEM;
291 }
292
293 return 0;
294}
295
296static void xilinx_free_msi_domains(struct xilinx_pcie *pcie)
297{
298 struct irq_domain *parent = pcie->msi_domain->parent;
299
300 irq_domain_remove(pcie->msi_domain);
301 irq_domain_remove(parent);
302}
303
304/* INTx Functions */
305
306/**
307 * xilinx_pcie_intx_map - Set the handler for the INTx and mark IRQ as valid
308 * @domain: IRQ domain
309 * @irq: Virtual IRQ number
310 * @hwirq: HW interrupt number
311 *
312 * Return: Always returns 0.
313 */
314static int xilinx_pcie_intx_map(struct irq_domain *domain, unsigned int irq,
315 irq_hw_number_t hwirq)
316{
317 irq_set_chip_and_handler(irq, &dummy_irq_chip, handle_simple_irq);
318 irq_set_chip_data(irq, domain->host_data);
319
320 return 0;
321}
322
323/* INTx IRQ Domain operations */
324static const struct irq_domain_ops intx_domain_ops = {
325 .map = xilinx_pcie_intx_map,
326 .xlate = pci_irqd_intx_xlate,
327};
328
329/* PCIe HW Functions */
330
331/**
332 * xilinx_pcie_intr_handler - Interrupt Service Handler
333 * @irq: IRQ number
334 * @data: PCIe port information
335 *
336 * Return: IRQ_HANDLED on success and IRQ_NONE on failure
337 */
338static irqreturn_t xilinx_pcie_intr_handler(int irq, void *data)
339{
340 struct xilinx_pcie *pcie = (struct xilinx_pcie *)data;
341 struct device *dev = pcie->dev;
342 u32 val, mask, status;
343
344 /* Read interrupt decode and mask registers */
345 val = pcie_read(pcie, XILINX_PCIE_REG_IDR);
346 mask = pcie_read(pcie, XILINX_PCIE_REG_IMR);
347
348 status = val & mask;
349 if (!status)
350 return IRQ_NONE;
351
352 if (status & XILINX_PCIE_INTR_LINK_DOWN)
353 dev_warn(dev, "Link Down\n");
354
355 if (status & XILINX_PCIE_INTR_ECRC_ERR)
356 dev_warn(dev, "ECRC failed\n");
357
358 if (status & XILINX_PCIE_INTR_STR_ERR)
359 dev_warn(dev, "Streaming error\n");
360
361 if (status & XILINX_PCIE_INTR_HOT_RESET)
362 dev_info(dev, "Hot reset\n");
363
364 if (status & XILINX_PCIE_INTR_CFG_TIMEOUT)
365 dev_warn(dev, "ECAM access timeout\n");
366
367 if (status & XILINX_PCIE_INTR_CORRECTABLE) {
368 dev_warn(dev, "Correctable error message\n");
369 xilinx_pcie_clear_err_interrupts(pcie);
370 }
371
372 if (status & XILINX_PCIE_INTR_NONFATAL) {
373 dev_warn(dev, "Non fatal error message\n");
374 xilinx_pcie_clear_err_interrupts(pcie);
375 }
376
377 if (status & XILINX_PCIE_INTR_FATAL) {
378 dev_warn(dev, "Fatal error message\n");
379 xilinx_pcie_clear_err_interrupts(pcie);
380 }
381
382 if (status & (XILINX_PCIE_INTR_INTX | XILINX_PCIE_INTR_MSI)) {
383 struct irq_domain *domain;
384
385 val = pcie_read(pcie, XILINX_PCIE_REG_RPIFR1);
386
387 /* Check whether interrupt valid */
388 if (!(val & XILINX_PCIE_RPIFR1_INTR_VALID)) {
389 dev_warn(dev, "RP Intr FIFO1 read error\n");
390 goto error;
391 }
392
393 /* Decode the IRQ number */
394 if (val & XILINX_PCIE_RPIFR1_MSI_INTR) {
395 val = pcie_read(pcie, XILINX_PCIE_REG_RPIFR2) &
396 XILINX_PCIE_RPIFR2_MSG_DATA;
397 domain = pcie->msi_domain->parent;
398 } else {
399 val = (val & XILINX_PCIE_RPIFR1_INTR_MASK) >>
400 XILINX_PCIE_RPIFR1_INTR_SHIFT;
401 domain = pcie->leg_domain;
402 }
403
404 /* Clear interrupt FIFO register 1 */
405 pcie_write(pcie, XILINX_PCIE_RPIFR1_ALL_MASK,
406 XILINX_PCIE_REG_RPIFR1);
407
408 generic_handle_domain_irq(domain, val);
409 }
410
411 if (status & XILINX_PCIE_INTR_SLV_UNSUPP)
412 dev_warn(dev, "Slave unsupported request\n");
413
414 if (status & XILINX_PCIE_INTR_SLV_UNEXP)
415 dev_warn(dev, "Slave unexpected completion\n");
416
417 if (status & XILINX_PCIE_INTR_SLV_COMPL)
418 dev_warn(dev, "Slave completion timeout\n");
419
420 if (status & XILINX_PCIE_INTR_SLV_ERRP)
421 dev_warn(dev, "Slave Error Poison\n");
422
423 if (status & XILINX_PCIE_INTR_SLV_CMPABT)
424 dev_warn(dev, "Slave Completer Abort\n");
425
426 if (status & XILINX_PCIE_INTR_SLV_ILLBUR)
427 dev_warn(dev, "Slave Illegal Burst\n");
428
429 if (status & XILINX_PCIE_INTR_MST_DECERR)
430 dev_warn(dev, "Master decode error\n");
431
432 if (status & XILINX_PCIE_INTR_MST_SLVERR)
433 dev_warn(dev, "Master slave error\n");
434
435 if (status & XILINX_PCIE_INTR_MST_ERRP)
436 dev_warn(dev, "Master error poison\n");
437
438error:
439 /* Clear the Interrupt Decode register */
440 pcie_write(pcie, status, XILINX_PCIE_REG_IDR);
441
442 return IRQ_HANDLED;
443}
444
445/**
446 * xilinx_pcie_init_irq_domain - Initialize IRQ domain
447 * @pcie: PCIe port information
448 *
449 * Return: '0' on success and error value on failure
450 */
451static int xilinx_pcie_init_irq_domain(struct xilinx_pcie *pcie)
452{
453 struct device *dev = pcie->dev;
454 struct device_node *pcie_intc_node;
455 int ret;
456
457 /* Setup INTx */
458 pcie_intc_node = of_get_next_child(dev->of_node, NULL);
459 if (!pcie_intc_node) {
460 dev_err(dev, "No PCIe Intc node found\n");
461 return -ENODEV;
462 }
463
464 pcie->leg_domain = irq_domain_add_linear(pcie_intc_node, PCI_NUM_INTX,
465 &intx_domain_ops,
466 pcie);
467 of_node_put(pcie_intc_node);
468 if (!pcie->leg_domain) {
469 dev_err(dev, "Failed to get a INTx IRQ domain\n");
470 return -ENODEV;
471 }
472
473 /* Setup MSI */
474 if (IS_ENABLED(CONFIG_PCI_MSI)) {
475 phys_addr_t pa = ALIGN_DOWN(virt_to_phys(pcie), SZ_4K);
476
477 ret = xilinx_allocate_msi_domains(pcie);
478 if (ret)
479 return ret;
480
481 pcie_write(pcie, upper_32_bits(pa), XILINX_PCIE_REG_MSIBASE1);
482 pcie_write(pcie, lower_32_bits(pa), XILINX_PCIE_REG_MSIBASE2);
483 }
484
485 return 0;
486}
487
488/**
489 * xilinx_pcie_init_port - Initialize hardware
490 * @pcie: PCIe port information
491 */
492static void xilinx_pcie_init_port(struct xilinx_pcie *pcie)
493{
494 struct device *dev = pcie->dev;
495
496 if (xilinx_pcie_link_up(pcie))
497 dev_info(dev, "PCIe Link is UP\n");
498 else
499 dev_info(dev, "PCIe Link is DOWN\n");
500
501 /* Disable all interrupts */
502 pcie_write(pcie, ~XILINX_PCIE_IDR_ALL_MASK,
503 XILINX_PCIE_REG_IMR);
504
505 /* Clear pending interrupts */
506 pcie_write(pcie, pcie_read(pcie, XILINX_PCIE_REG_IDR) &
507 XILINX_PCIE_IMR_ALL_MASK,
508 XILINX_PCIE_REG_IDR);
509
510 /* Enable all interrupts we handle */
511 pcie_write(pcie, XILINX_PCIE_IMR_ENABLE_MASK, XILINX_PCIE_REG_IMR);
512
513 /* Enable the Bridge enable bit */
514 pcie_write(pcie, pcie_read(pcie, XILINX_PCIE_REG_RPSC) |
515 XILINX_PCIE_REG_RPSC_BEN,
516 XILINX_PCIE_REG_RPSC);
517}
518
519/**
520 * xilinx_pcie_parse_dt - Parse Device tree
521 * @pcie: PCIe port information
522 *
523 * Return: '0' on success and error value on failure
524 */
525static int xilinx_pcie_parse_dt(struct xilinx_pcie *pcie)
526{
527 struct device *dev = pcie->dev;
528 struct device_node *node = dev->of_node;
529 struct resource regs;
530 unsigned int irq;
531 int err;
532
533 err = of_address_to_resource(node, 0, ®s);
534 if (err) {
535 dev_err(dev, "missing \"reg\" property\n");
536 return err;
537 }
538
539 pcie->reg_base = devm_pci_remap_cfg_resource(dev, ®s);
540 if (IS_ERR(pcie->reg_base))
541 return PTR_ERR(pcie->reg_base);
542
543 irq = irq_of_parse_and_map(node, 0);
544 err = devm_request_irq(dev, irq, xilinx_pcie_intr_handler,
545 IRQF_SHARED | IRQF_NO_THREAD,
546 "xilinx-pcie", pcie);
547 if (err) {
548 dev_err(dev, "unable to request irq %d\n", irq);
549 return err;
550 }
551
552 return 0;
553}
554
555/**
556 * xilinx_pcie_probe - Probe function
557 * @pdev: Platform device pointer
558 *
559 * Return: '0' on success and error value on failure
560 */
561static int xilinx_pcie_probe(struct platform_device *pdev)
562{
563 struct device *dev = &pdev->dev;
564 struct xilinx_pcie *pcie;
565 struct pci_host_bridge *bridge;
566 int err;
567
568 if (!dev->of_node)
569 return -ENODEV;
570
571 bridge = devm_pci_alloc_host_bridge(dev, sizeof(*pcie));
572 if (!bridge)
573 return -ENODEV;
574
575 pcie = pci_host_bridge_priv(bridge);
576 mutex_init(&pcie->map_lock);
577 pcie->dev = dev;
578
579 err = xilinx_pcie_parse_dt(pcie);
580 if (err) {
581 dev_err(dev, "Parsing DT failed\n");
582 return err;
583 }
584
585 xilinx_pcie_init_port(pcie);
586
587 err = xilinx_pcie_init_irq_domain(pcie);
588 if (err) {
589 dev_err(dev, "Failed creating IRQ Domain\n");
590 return err;
591 }
592
593 bridge->sysdata = pcie;
594 bridge->ops = &xilinx_pcie_ops;
595
596 err = pci_host_probe(bridge);
597 if (err)
598 xilinx_free_msi_domains(pcie);
599
600 return err;
601}
602
603static const struct of_device_id xilinx_pcie_of_match[] = {
604 { .compatible = "xlnx,axi-pcie-host-1.00.a", },
605 {}
606};
607
608static struct platform_driver xilinx_pcie_driver = {
609 .driver = {
610 .name = "xilinx-pcie",
611 .of_match_table = xilinx_pcie_of_match,
612 .suppress_bind_attrs = true,
613 },
614 .probe = xilinx_pcie_probe,
615};
616builtin_platform_driver(xilinx_pcie_driver);
1// SPDX-License-Identifier: GPL-2.0+
2/*
3 * PCIe host controller driver for Xilinx AXI PCIe Bridge
4 *
5 * Copyright (c) 2012 - 2014 Xilinx, Inc.
6 *
7 * Based on the Tegra PCIe driver
8 *
9 * Bits taken from Synopsys DesignWare Host controller driver and
10 * ARM PCI Host generic driver.
11 */
12
13#include <linux/interrupt.h>
14#include <linux/irq.h>
15#include <linux/irqdomain.h>
16#include <linux/kernel.h>
17#include <linux/init.h>
18#include <linux/msi.h>
19#include <linux/of_address.h>
20#include <linux/of_pci.h>
21#include <linux/of_platform.h>
22#include <linux/of_irq.h>
23#include <linux/pci.h>
24#include <linux/platform_device.h>
25
26#include "../pci.h"
27
28/* Register definitions */
29#define XILINX_PCIE_REG_BIR 0x00000130
30#define XILINX_PCIE_REG_IDR 0x00000138
31#define XILINX_PCIE_REG_IMR 0x0000013c
32#define XILINX_PCIE_REG_PSCR 0x00000144
33#define XILINX_PCIE_REG_RPSC 0x00000148
34#define XILINX_PCIE_REG_MSIBASE1 0x0000014c
35#define XILINX_PCIE_REG_MSIBASE2 0x00000150
36#define XILINX_PCIE_REG_RPEFR 0x00000154
37#define XILINX_PCIE_REG_RPIFR1 0x00000158
38#define XILINX_PCIE_REG_RPIFR2 0x0000015c
39
40/* Interrupt registers definitions */
41#define XILINX_PCIE_INTR_LINK_DOWN BIT(0)
42#define XILINX_PCIE_INTR_ECRC_ERR BIT(1)
43#define XILINX_PCIE_INTR_STR_ERR BIT(2)
44#define XILINX_PCIE_INTR_HOT_RESET BIT(3)
45#define XILINX_PCIE_INTR_CFG_TIMEOUT BIT(8)
46#define XILINX_PCIE_INTR_CORRECTABLE BIT(9)
47#define XILINX_PCIE_INTR_NONFATAL BIT(10)
48#define XILINX_PCIE_INTR_FATAL BIT(11)
49#define XILINX_PCIE_INTR_INTX BIT(16)
50#define XILINX_PCIE_INTR_MSI BIT(17)
51#define XILINX_PCIE_INTR_SLV_UNSUPP BIT(20)
52#define XILINX_PCIE_INTR_SLV_UNEXP BIT(21)
53#define XILINX_PCIE_INTR_SLV_COMPL BIT(22)
54#define XILINX_PCIE_INTR_SLV_ERRP BIT(23)
55#define XILINX_PCIE_INTR_SLV_CMPABT BIT(24)
56#define XILINX_PCIE_INTR_SLV_ILLBUR BIT(25)
57#define XILINX_PCIE_INTR_MST_DECERR BIT(26)
58#define XILINX_PCIE_INTR_MST_SLVERR BIT(27)
59#define XILINX_PCIE_INTR_MST_ERRP BIT(28)
60#define XILINX_PCIE_IMR_ALL_MASK 0x1FF30FED
61#define XILINX_PCIE_IMR_ENABLE_MASK 0x1FF30F0D
62#define XILINX_PCIE_IDR_ALL_MASK 0xFFFFFFFF
63
64/* Root Port Error FIFO Read Register definitions */
65#define XILINX_PCIE_RPEFR_ERR_VALID BIT(18)
66#define XILINX_PCIE_RPEFR_REQ_ID GENMASK(15, 0)
67#define XILINX_PCIE_RPEFR_ALL_MASK 0xFFFFFFFF
68
69/* Root Port Interrupt FIFO Read Register 1 definitions */
70#define XILINX_PCIE_RPIFR1_INTR_VALID BIT(31)
71#define XILINX_PCIE_RPIFR1_MSI_INTR BIT(30)
72#define XILINX_PCIE_RPIFR1_INTR_MASK GENMASK(28, 27)
73#define XILINX_PCIE_RPIFR1_ALL_MASK 0xFFFFFFFF
74#define XILINX_PCIE_RPIFR1_INTR_SHIFT 27
75
76/* Bridge Info Register definitions */
77#define XILINX_PCIE_BIR_ECAM_SZ_MASK GENMASK(18, 16)
78#define XILINX_PCIE_BIR_ECAM_SZ_SHIFT 16
79
80/* Root Port Interrupt FIFO Read Register 2 definitions */
81#define XILINX_PCIE_RPIFR2_MSG_DATA GENMASK(15, 0)
82
83/* Root Port Status/control Register definitions */
84#define XILINX_PCIE_REG_RPSC_BEN BIT(0)
85
86/* Phy Status/Control Register definitions */
87#define XILINX_PCIE_REG_PSCR_LNKUP BIT(11)
88
89/* ECAM definitions */
90#define ECAM_BUS_NUM_SHIFT 20
91#define ECAM_DEV_NUM_SHIFT 12
92
93/* Number of MSI IRQs */
94#define XILINX_NUM_MSI_IRQS 128
95
96/**
97 * struct xilinx_pcie_port - PCIe port information
98 * @reg_base: IO Mapped Register Base
99 * @irq: Interrupt number
100 * @msi_pages: MSI pages
101 * @dev: Device pointer
102 * @msi_domain: MSI IRQ domain pointer
103 * @leg_domain: Legacy IRQ domain pointer
104 * @resources: Bus Resources
105 */
106struct xilinx_pcie_port {
107 void __iomem *reg_base;
108 u32 irq;
109 unsigned long msi_pages;
110 struct device *dev;
111 struct irq_domain *msi_domain;
112 struct irq_domain *leg_domain;
113 struct list_head resources;
114};
115
116static DECLARE_BITMAP(msi_irq_in_use, XILINX_NUM_MSI_IRQS);
117
118static inline u32 pcie_read(struct xilinx_pcie_port *port, u32 reg)
119{
120 return readl(port->reg_base + reg);
121}
122
123static inline void pcie_write(struct xilinx_pcie_port *port, u32 val, u32 reg)
124{
125 writel(val, port->reg_base + reg);
126}
127
128static inline bool xilinx_pcie_link_up(struct xilinx_pcie_port *port)
129{
130 return (pcie_read(port, XILINX_PCIE_REG_PSCR) &
131 XILINX_PCIE_REG_PSCR_LNKUP) ? 1 : 0;
132}
133
134/**
135 * xilinx_pcie_clear_err_interrupts - Clear Error Interrupts
136 * @port: PCIe port information
137 */
138static void xilinx_pcie_clear_err_interrupts(struct xilinx_pcie_port *port)
139{
140 struct device *dev = port->dev;
141 unsigned long val = pcie_read(port, XILINX_PCIE_REG_RPEFR);
142
143 if (val & XILINX_PCIE_RPEFR_ERR_VALID) {
144 dev_dbg(dev, "Requester ID %lu\n",
145 val & XILINX_PCIE_RPEFR_REQ_ID);
146 pcie_write(port, XILINX_PCIE_RPEFR_ALL_MASK,
147 XILINX_PCIE_REG_RPEFR);
148 }
149}
150
151/**
152 * xilinx_pcie_valid_device - Check if a valid device is present on bus
153 * @bus: PCI Bus structure
154 * @devfn: device/function
155 *
156 * Return: 'true' on success and 'false' if invalid device is found
157 */
158static bool xilinx_pcie_valid_device(struct pci_bus *bus, unsigned int devfn)
159{
160 struct xilinx_pcie_port *port = bus->sysdata;
161
162 /* Check if link is up when trying to access downstream ports */
163 if (!pci_is_root_bus(bus)) {
164 if (!xilinx_pcie_link_up(port))
165 return false;
166 } else if (devfn > 0) {
167 /* Only one device down on each root port */
168 return false;
169 }
170 return true;
171}
172
173/**
174 * xilinx_pcie_map_bus - Get configuration base
175 * @bus: PCI Bus structure
176 * @devfn: Device/function
177 * @where: Offset from base
178 *
179 * Return: Base address of the configuration space needed to be
180 * accessed.
181 */
182static void __iomem *xilinx_pcie_map_bus(struct pci_bus *bus,
183 unsigned int devfn, int where)
184{
185 struct xilinx_pcie_port *port = bus->sysdata;
186 int relbus;
187
188 if (!xilinx_pcie_valid_device(bus, devfn))
189 return NULL;
190
191 relbus = (bus->number << ECAM_BUS_NUM_SHIFT) |
192 (devfn << ECAM_DEV_NUM_SHIFT);
193
194 return port->reg_base + relbus + where;
195}
196
197/* PCIe operations */
198static struct pci_ops xilinx_pcie_ops = {
199 .map_bus = xilinx_pcie_map_bus,
200 .read = pci_generic_config_read,
201 .write = pci_generic_config_write,
202};
203
204/* MSI functions */
205
206/**
207 * xilinx_pcie_destroy_msi - Free MSI number
208 * @irq: IRQ to be freed
209 */
210static void xilinx_pcie_destroy_msi(unsigned int irq)
211{
212 struct msi_desc *msi;
213 struct xilinx_pcie_port *port;
214 struct irq_data *d = irq_get_irq_data(irq);
215 irq_hw_number_t hwirq = irqd_to_hwirq(d);
216
217 if (!test_bit(hwirq, msi_irq_in_use)) {
218 msi = irq_get_msi_desc(irq);
219 port = msi_desc_to_pci_sysdata(msi);
220 dev_err(port->dev, "Trying to free unused MSI#%d\n", irq);
221 } else {
222 clear_bit(hwirq, msi_irq_in_use);
223 }
224}
225
226/**
227 * xilinx_pcie_assign_msi - Allocate MSI number
228 *
229 * Return: A valid IRQ on success and error value on failure.
230 */
231static int xilinx_pcie_assign_msi(void)
232{
233 int pos;
234
235 pos = find_first_zero_bit(msi_irq_in_use, XILINX_NUM_MSI_IRQS);
236 if (pos < XILINX_NUM_MSI_IRQS)
237 set_bit(pos, msi_irq_in_use);
238 else
239 return -ENOSPC;
240
241 return pos;
242}
243
244/**
245 * xilinx_msi_teardown_irq - Destroy the MSI
246 * @chip: MSI Chip descriptor
247 * @irq: MSI IRQ to destroy
248 */
249static void xilinx_msi_teardown_irq(struct msi_controller *chip,
250 unsigned int irq)
251{
252 xilinx_pcie_destroy_msi(irq);
253 irq_dispose_mapping(irq);
254}
255
256/**
257 * xilinx_pcie_msi_setup_irq - Setup MSI request
258 * @chip: MSI chip pointer
259 * @pdev: PCIe device pointer
260 * @desc: MSI descriptor pointer
261 *
262 * Return: '0' on success and error value on failure
263 */
264static int xilinx_pcie_msi_setup_irq(struct msi_controller *chip,
265 struct pci_dev *pdev,
266 struct msi_desc *desc)
267{
268 struct xilinx_pcie_port *port = pdev->bus->sysdata;
269 unsigned int irq;
270 int hwirq;
271 struct msi_msg msg;
272 phys_addr_t msg_addr;
273
274 hwirq = xilinx_pcie_assign_msi();
275 if (hwirq < 0)
276 return hwirq;
277
278 irq = irq_create_mapping(port->msi_domain, hwirq);
279 if (!irq)
280 return -EINVAL;
281
282 irq_set_msi_desc(irq, desc);
283
284 msg_addr = virt_to_phys((void *)port->msi_pages);
285
286 msg.address_hi = 0;
287 msg.address_lo = msg_addr;
288 msg.data = irq;
289
290 pci_write_msi_msg(irq, &msg);
291
292 return 0;
293}
294
295/* MSI Chip Descriptor */
296static struct msi_controller xilinx_pcie_msi_chip = {
297 .setup_irq = xilinx_pcie_msi_setup_irq,
298 .teardown_irq = xilinx_msi_teardown_irq,
299};
300
301/* HW Interrupt Chip Descriptor */
302static struct irq_chip xilinx_msi_irq_chip = {
303 .name = "Xilinx PCIe MSI",
304 .irq_enable = pci_msi_unmask_irq,
305 .irq_disable = pci_msi_mask_irq,
306 .irq_mask = pci_msi_mask_irq,
307 .irq_unmask = pci_msi_unmask_irq,
308};
309
310/**
311 * xilinx_pcie_msi_map - Set the handler for the MSI and mark IRQ as valid
312 * @domain: IRQ domain
313 * @irq: Virtual IRQ number
314 * @hwirq: HW interrupt number
315 *
316 * Return: Always returns 0.
317 */
318static int xilinx_pcie_msi_map(struct irq_domain *domain, unsigned int irq,
319 irq_hw_number_t hwirq)
320{
321 irq_set_chip_and_handler(irq, &xilinx_msi_irq_chip, handle_simple_irq);
322 irq_set_chip_data(irq, domain->host_data);
323
324 return 0;
325}
326
327/* IRQ Domain operations */
328static const struct irq_domain_ops msi_domain_ops = {
329 .map = xilinx_pcie_msi_map,
330};
331
332/**
333 * xilinx_pcie_enable_msi - Enable MSI support
334 * @port: PCIe port information
335 */
336static int xilinx_pcie_enable_msi(struct xilinx_pcie_port *port)
337{
338 phys_addr_t msg_addr;
339
340 port->msi_pages = __get_free_pages(GFP_KERNEL, 0);
341 if (!port->msi_pages)
342 return -ENOMEM;
343
344 msg_addr = virt_to_phys((void *)port->msi_pages);
345 pcie_write(port, 0x0, XILINX_PCIE_REG_MSIBASE1);
346 pcie_write(port, msg_addr, XILINX_PCIE_REG_MSIBASE2);
347
348 return 0;
349}
350
351/* INTx Functions */
352
353/**
354 * xilinx_pcie_intx_map - Set the handler for the INTx and mark IRQ as valid
355 * @domain: IRQ domain
356 * @irq: Virtual IRQ number
357 * @hwirq: HW interrupt number
358 *
359 * Return: Always returns 0.
360 */
361static int xilinx_pcie_intx_map(struct irq_domain *domain, unsigned int irq,
362 irq_hw_number_t hwirq)
363{
364 irq_set_chip_and_handler(irq, &dummy_irq_chip, handle_simple_irq);
365 irq_set_chip_data(irq, domain->host_data);
366
367 return 0;
368}
369
370/* INTx IRQ Domain operations */
371static const struct irq_domain_ops intx_domain_ops = {
372 .map = xilinx_pcie_intx_map,
373 .xlate = pci_irqd_intx_xlate,
374};
375
376/* PCIe HW Functions */
377
378/**
379 * xilinx_pcie_intr_handler - Interrupt Service Handler
380 * @irq: IRQ number
381 * @data: PCIe port information
382 *
383 * Return: IRQ_HANDLED on success and IRQ_NONE on failure
384 */
385static irqreturn_t xilinx_pcie_intr_handler(int irq, void *data)
386{
387 struct xilinx_pcie_port *port = (struct xilinx_pcie_port *)data;
388 struct device *dev = port->dev;
389 u32 val, mask, status;
390
391 /* Read interrupt decode and mask registers */
392 val = pcie_read(port, XILINX_PCIE_REG_IDR);
393 mask = pcie_read(port, XILINX_PCIE_REG_IMR);
394
395 status = val & mask;
396 if (!status)
397 return IRQ_NONE;
398
399 if (status & XILINX_PCIE_INTR_LINK_DOWN)
400 dev_warn(dev, "Link Down\n");
401
402 if (status & XILINX_PCIE_INTR_ECRC_ERR)
403 dev_warn(dev, "ECRC failed\n");
404
405 if (status & XILINX_PCIE_INTR_STR_ERR)
406 dev_warn(dev, "Streaming error\n");
407
408 if (status & XILINX_PCIE_INTR_HOT_RESET)
409 dev_info(dev, "Hot reset\n");
410
411 if (status & XILINX_PCIE_INTR_CFG_TIMEOUT)
412 dev_warn(dev, "ECAM access timeout\n");
413
414 if (status & XILINX_PCIE_INTR_CORRECTABLE) {
415 dev_warn(dev, "Correctable error message\n");
416 xilinx_pcie_clear_err_interrupts(port);
417 }
418
419 if (status & XILINX_PCIE_INTR_NONFATAL) {
420 dev_warn(dev, "Non fatal error message\n");
421 xilinx_pcie_clear_err_interrupts(port);
422 }
423
424 if (status & XILINX_PCIE_INTR_FATAL) {
425 dev_warn(dev, "Fatal error message\n");
426 xilinx_pcie_clear_err_interrupts(port);
427 }
428
429 if (status & (XILINX_PCIE_INTR_INTX | XILINX_PCIE_INTR_MSI)) {
430 val = pcie_read(port, XILINX_PCIE_REG_RPIFR1);
431
432 /* Check whether interrupt valid */
433 if (!(val & XILINX_PCIE_RPIFR1_INTR_VALID)) {
434 dev_warn(dev, "RP Intr FIFO1 read error\n");
435 goto error;
436 }
437
438 /* Decode the IRQ number */
439 if (val & XILINX_PCIE_RPIFR1_MSI_INTR) {
440 val = pcie_read(port, XILINX_PCIE_REG_RPIFR2) &
441 XILINX_PCIE_RPIFR2_MSG_DATA;
442 } else {
443 val = (val & XILINX_PCIE_RPIFR1_INTR_MASK) >>
444 XILINX_PCIE_RPIFR1_INTR_SHIFT;
445 val = irq_find_mapping(port->leg_domain, val);
446 }
447
448 /* Clear interrupt FIFO register 1 */
449 pcie_write(port, XILINX_PCIE_RPIFR1_ALL_MASK,
450 XILINX_PCIE_REG_RPIFR1);
451
452 /* Handle the interrupt */
453 if (IS_ENABLED(CONFIG_PCI_MSI) ||
454 !(val & XILINX_PCIE_RPIFR1_MSI_INTR))
455 generic_handle_irq(val);
456 }
457
458 if (status & XILINX_PCIE_INTR_SLV_UNSUPP)
459 dev_warn(dev, "Slave unsupported request\n");
460
461 if (status & XILINX_PCIE_INTR_SLV_UNEXP)
462 dev_warn(dev, "Slave unexpected completion\n");
463
464 if (status & XILINX_PCIE_INTR_SLV_COMPL)
465 dev_warn(dev, "Slave completion timeout\n");
466
467 if (status & XILINX_PCIE_INTR_SLV_ERRP)
468 dev_warn(dev, "Slave Error Poison\n");
469
470 if (status & XILINX_PCIE_INTR_SLV_CMPABT)
471 dev_warn(dev, "Slave Completer Abort\n");
472
473 if (status & XILINX_PCIE_INTR_SLV_ILLBUR)
474 dev_warn(dev, "Slave Illegal Burst\n");
475
476 if (status & XILINX_PCIE_INTR_MST_DECERR)
477 dev_warn(dev, "Master decode error\n");
478
479 if (status & XILINX_PCIE_INTR_MST_SLVERR)
480 dev_warn(dev, "Master slave error\n");
481
482 if (status & XILINX_PCIE_INTR_MST_ERRP)
483 dev_warn(dev, "Master error poison\n");
484
485error:
486 /* Clear the Interrupt Decode register */
487 pcie_write(port, status, XILINX_PCIE_REG_IDR);
488
489 return IRQ_HANDLED;
490}
491
492/**
493 * xilinx_pcie_init_irq_domain - Initialize IRQ domain
494 * @port: PCIe port information
495 *
496 * Return: '0' on success and error value on failure
497 */
498static int xilinx_pcie_init_irq_domain(struct xilinx_pcie_port *port)
499{
500 struct device *dev = port->dev;
501 struct device_node *node = dev->of_node;
502 struct device_node *pcie_intc_node;
503 int ret;
504
505 /* Setup INTx */
506 pcie_intc_node = of_get_next_child(node, NULL);
507 if (!pcie_intc_node) {
508 dev_err(dev, "No PCIe Intc node found\n");
509 return -ENODEV;
510 }
511
512 port->leg_domain = irq_domain_add_linear(pcie_intc_node, PCI_NUM_INTX,
513 &intx_domain_ops,
514 port);
515 of_node_put(pcie_intc_node);
516 if (!port->leg_domain) {
517 dev_err(dev, "Failed to get a INTx IRQ domain\n");
518 return -ENODEV;
519 }
520
521 /* Setup MSI */
522 if (IS_ENABLED(CONFIG_PCI_MSI)) {
523 port->msi_domain = irq_domain_add_linear(node,
524 XILINX_NUM_MSI_IRQS,
525 &msi_domain_ops,
526 &xilinx_pcie_msi_chip);
527 if (!port->msi_domain) {
528 dev_err(dev, "Failed to get a MSI IRQ domain\n");
529 return -ENODEV;
530 }
531
532 ret = xilinx_pcie_enable_msi(port);
533 if (ret)
534 return ret;
535 }
536
537 return 0;
538}
539
540/**
541 * xilinx_pcie_init_port - Initialize hardware
542 * @port: PCIe port information
543 */
544static void xilinx_pcie_init_port(struct xilinx_pcie_port *port)
545{
546 struct device *dev = port->dev;
547
548 if (xilinx_pcie_link_up(port))
549 dev_info(dev, "PCIe Link is UP\n");
550 else
551 dev_info(dev, "PCIe Link is DOWN\n");
552
553 /* Disable all interrupts */
554 pcie_write(port, ~XILINX_PCIE_IDR_ALL_MASK,
555 XILINX_PCIE_REG_IMR);
556
557 /* Clear pending interrupts */
558 pcie_write(port, pcie_read(port, XILINX_PCIE_REG_IDR) &
559 XILINX_PCIE_IMR_ALL_MASK,
560 XILINX_PCIE_REG_IDR);
561
562 /* Enable all interrupts we handle */
563 pcie_write(port, XILINX_PCIE_IMR_ENABLE_MASK, XILINX_PCIE_REG_IMR);
564
565 /* Enable the Bridge enable bit */
566 pcie_write(port, pcie_read(port, XILINX_PCIE_REG_RPSC) |
567 XILINX_PCIE_REG_RPSC_BEN,
568 XILINX_PCIE_REG_RPSC);
569}
570
571/**
572 * xilinx_pcie_parse_dt - Parse Device tree
573 * @port: PCIe port information
574 *
575 * Return: '0' on success and error value on failure
576 */
577static int xilinx_pcie_parse_dt(struct xilinx_pcie_port *port)
578{
579 struct device *dev = port->dev;
580 struct device_node *node = dev->of_node;
581 struct resource regs;
582 int err;
583
584 err = of_address_to_resource(node, 0, ®s);
585 if (err) {
586 dev_err(dev, "missing \"reg\" property\n");
587 return err;
588 }
589
590 port->reg_base = devm_pci_remap_cfg_resource(dev, ®s);
591 if (IS_ERR(port->reg_base))
592 return PTR_ERR(port->reg_base);
593
594 port->irq = irq_of_parse_and_map(node, 0);
595 err = devm_request_irq(dev, port->irq, xilinx_pcie_intr_handler,
596 IRQF_SHARED | IRQF_NO_THREAD,
597 "xilinx-pcie", port);
598 if (err) {
599 dev_err(dev, "unable to request irq %d\n", port->irq);
600 return err;
601 }
602
603 return 0;
604}
605
606/**
607 * xilinx_pcie_probe - Probe function
608 * @pdev: Platform device pointer
609 *
610 * Return: '0' on success and error value on failure
611 */
612static int xilinx_pcie_probe(struct platform_device *pdev)
613{
614 struct device *dev = &pdev->dev;
615 struct xilinx_pcie_port *port;
616 struct pci_host_bridge *bridge;
617 int err;
618
619 if (!dev->of_node)
620 return -ENODEV;
621
622 bridge = devm_pci_alloc_host_bridge(dev, sizeof(*port));
623 if (!bridge)
624 return -ENODEV;
625
626 port = pci_host_bridge_priv(bridge);
627
628 port->dev = dev;
629
630 err = xilinx_pcie_parse_dt(port);
631 if (err) {
632 dev_err(dev, "Parsing DT failed\n");
633 return err;
634 }
635
636 xilinx_pcie_init_port(port);
637
638 err = xilinx_pcie_init_irq_domain(port);
639 if (err) {
640 dev_err(dev, "Failed creating IRQ Domain\n");
641 return err;
642 }
643
644 bridge->sysdata = port;
645 bridge->ops = &xilinx_pcie_ops;
646
647#ifdef CONFIG_PCI_MSI
648 xilinx_pcie_msi_chip.dev = dev;
649 bridge->msi = &xilinx_pcie_msi_chip;
650#endif
651 return pci_host_probe(bridge);
652}
653
654static const struct of_device_id xilinx_pcie_of_match[] = {
655 { .compatible = "xlnx,axi-pcie-host-1.00.a", },
656 {}
657};
658
659static struct platform_driver xilinx_pcie_driver = {
660 .driver = {
661 .name = "xilinx-pcie",
662 .of_match_table = xilinx_pcie_of_match,
663 .suppress_bind_attrs = true,
664 },
665 .probe = xilinx_pcie_probe,
666};
667builtin_platform_driver(xilinx_pcie_driver);