drivers/net/ethernet/altera/altera_tse_main.c

   1 /* Altera Triple-Speed Ethernet MAC driver
   2  * Copyright (C) 2008-2014 Altera Corporation. All rights reserved
   3  *
   4  * Contributors:
   5  *   Dalon Westergreen
   6  *   Thomas Chou
   7  *   Ian Abbott
   8  *   Yuriy Kozlov
   9  *   Tobias Klauser
  10  *   Andriy Smolskyy
  11  *   Roman Bulgakov
  12  *   Dmytro Mytarchuk
  13  *   Matthew Gerlach
  14  *
  15  * Original driver contributed by SLS.
  16  * Major updates contributed by GlobalLogic
  17  *
  18  * This program is free software; you can redistribute it and/or modify it
  19  * under the terms and conditions of the GNU General Public License,
  20  * version 2, as published by the Free Software Foundation.
  21  *
  22  * This program is distributed in the hope it will be useful, but WITHOUT
  23  * ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or
  24  * FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License for
  25  * more details.
  26  *
  27  * You should have received a copy of the GNU General Public License along with
  28  * this program.  If not, see <http://www.gnu.org/licenses/>.
  29  */
  30
  31 #include <linux/atomic.h>
  32 #include <linux/delay.h>
  33 #include <linux/etherdevice.h>
  34 #include <linux/if_vlan.h>
  35 #include <linux/init.h>
  36 #include <linux/interrupt.h>
  37 #include <linux/io.h>
  38 #include <linux/kernel.h>
  39 #include <linux/module.h>
  40 #include <linux/netdevice.h>
  41 #include <linux/of_device.h>
  42 #include <linux/of_mdio.h>
  43 #include <linux/of_net.h>
  44 #include <linux/of_platform.h>
  45 #include <linux/phy.h>
  46 #include <linux/platform_device.h>
  47 #include <linux/skbuff.h>
  48 #include <asm/cacheflush.h>
  49
  50 #include "altera_utils.h"
  51 #include "altera_tse.h"
  52 #include "altera_sgdma.h"
  53 #include "altera_msgdma.h"
  54
  55 static atomic_t instance_count = ATOMIC_INIT(~0);
  56 /* Module parameters */
  57 static int debug = -1;
  58 module_param(debug, int, S_IRUGO | S_IWUSR);
  59 MODULE_PARM_DESC(debug, "Message Level (-1: default, 0: no output, 16: all)");
  60
  61 static const u32 default_msg_level = (NETIF_MSG_DRV | NETIF_MSG_PROBE |
  62                                         NETIF_MSG_LINK | NETIF_MSG_IFUP |
  63                                         NETIF_MSG_IFDOWN);
  64
  65 #define RX_DESCRIPTORS 64
  66 static int dma_rx_num = RX_DESCRIPTORS;
  67 module_param(dma_rx_num, int, S_IRUGO | S_IWUSR);
  68 MODULE_PARM_DESC(dma_rx_num, "Number of descriptors in the RX list");
  69
  70 #define TX_DESCRIPTORS 64
  71 static int dma_tx_num = TX_DESCRIPTORS;
  72 module_param(dma_tx_num, int, S_IRUGO | S_IWUSR);
  73 MODULE_PARM_DESC(dma_tx_num, "Number of descriptors in the TX list");
  74
  75
  76 #define POLL_PHY (-1)
  77
  78 /* Make sure DMA buffer size is larger than the max frame size
  79  * plus some alignment offset and a VLAN header. If the max frame size is
  80  * 1518, a VLAN header would be additional 4 bytes and additional
  81  * headroom for alignment is 2 bytes, 2048 is just fine.
  82  */
  83 #define ALTERA_RXDMABUFFER_SIZE 2048
  84
  85 /* Allow network stack to resume queueing packets after we've
  86  * finished transmitting at least 1/4 of the packets in the queue.
  87  */
  88 #define TSE_TX_THRESH(x)        (x->tx_ring_size / 4)
  89
  90 #define TXQUEUESTOP_THRESHHOLD  2
  91
  92 static const struct of_device_id altera_tse_ids[];
  93
  94 static inline u32 tse_tx_avail(struct altera_tse_private *priv)
  95 {
  96         return priv->tx_cons + priv->tx_ring_size - priv->tx_prod - 1;
  97 }
  98
  99 /* MDIO specific functions
 100  */
 101 static int altera_tse_mdio_read(struct mii_bus *bus, int mii_id, int regnum)
 102 {
 103         struct net_device *ndev = bus->priv;
 104         struct altera_tse_private *priv = netdev_priv(ndev);
 105
 106         /* set MDIO address */
 107         csrwr32((mii_id & 0x1f), priv->mac_dev,
 108                 tse_csroffs(mdio_phy1_addr));
 109
 110         /* get the data */
 111         return csrrd32(priv->mac_dev,
 112                        tse_csroffs(mdio_phy1) + regnum * 4) & 0xffff;
 113 }
 114
 115 static int altera_tse_mdio_write(struct mii_bus *bus, int mii_id, int regnum,
 116                                  u16 value)
 117 {
 118         struct net_device *ndev = bus->priv;
 119         struct altera_tse_private *priv = netdev_priv(ndev);
 120
 121         /* set MDIO address */
 122         csrwr32((mii_id & 0x1f), priv->mac_dev,
 123                 tse_csroffs(mdio_phy1_addr));
 124
 125         /* write the data */
 126         csrwr32(value, priv->mac_dev, tse_csroffs(mdio_phy1) + regnum * 4);
 127         return 0;
 128 }
 129
 130 static int altera_tse_mdio_create(struct net_device *dev, unsigned int id)
 131 {
 132         struct altera_tse_private *priv = netdev_priv(dev);
 133         int ret;
 134         int i;
 135         struct device_node *mdio_node = NULL;
 136         struct mii_bus *mdio = NULL;
 137         struct device_node *child_node = NULL;
 138
 139         for_each_child_of_node(priv->device->of_node, child_node) {
 140                 if (of_device_is_compatible(child_node, "altr,tse-mdio")) {
 141                         mdio_node = child_node;
 142                         break;
 143                 }
 144         }
 145
 146         if (mdio_node) {
 147                 netdev_dbg(dev, "FOUND MDIO subnode\n");
 148         } else {
 149                 netdev_dbg(dev, "NO MDIO subnode\n");
 150                 return 0;
 151         }
 152
 153         mdio = mdiobus_alloc();
 154         if (mdio == NULL) {
 155                 netdev_err(dev, "Error allocating MDIO bus\n");
 156                 return -ENOMEM;
 157         }
 158
 159         mdio->name = ALTERA_TSE_RESOURCE_NAME;
 160         mdio->read = &altera_tse_mdio_read;
 161         mdio->write = &altera_tse_mdio_write;
 162         snprintf(mdio->id, MII_BUS_ID_SIZE, "%s-%u", mdio->name, id);
 163
 164         mdio->irq = kcalloc(PHY_MAX_ADDR, sizeof(int), GFP_KERNEL);
 165         if (mdio->irq == NULL) {
 166                 ret = -ENOMEM;
 167                 goto out_free_mdio;
 168         }
 169         for (i = 0; i < PHY_MAX_ADDR; i++)
 170                 mdio->irq[i] = PHY_POLL;
 171
 172         mdio->priv = dev;
 173         mdio->parent = priv->device;
 174
 175         ret = of_mdiobus_register(mdio, mdio_node);
 176         if (ret != 0) {
 177                 netdev_err(dev, "Cannot register MDIO bus %s\n",
 178                            mdio->id);
 179                 goto out_free_mdio_irq;
 180         }
 181
 182         if (netif_msg_drv(priv))
 183                 netdev_info(dev, "MDIO bus %s: created\n", mdio->id);
 184
 185         priv->mdio = mdio;
 186         return 0;
 187 out_free_mdio_irq:
 188         kfree(mdio->irq);
 189 out_free_mdio:
 190         mdiobus_free(mdio);
 191         mdio = NULL;
 192         return ret;
 193 }
 194
 195 static void altera_tse_mdio_destroy(struct net_device *dev)
 196 {
 197         struct altera_tse_private *priv = netdev_priv(dev);
 198
 199         if (priv->mdio == NULL)
 200                 return;
 201
 202         if (netif_msg_drv(priv))
 203                 netdev_info(dev, "MDIO bus %s: removed\n",
 204                             priv->mdio->id);
 205
 206         mdiobus_unregister(priv->mdio);
 207         kfree(priv->mdio->irq);
 208         mdiobus_free(priv->mdio);
 209         priv->mdio = NULL;
 210 }
 211
 212 static int tse_init_rx_buffer(struct altera_tse_private *priv,
 213                               struct tse_buffer *rxbuffer, int len)
 214 {
 215         rxbuffer->skb = netdev_alloc_skb_ip_align(priv->dev, len);
 216         if (!rxbuffer->skb)
 217                 return -ENOMEM;
 218
 219         rxbuffer->dma_addr = dma_map_single(priv->device, rxbuffer->skb->data,
 220                                                 len,
 221                                                 DMA_FROM_DEVICE);
 222
 223         if (dma_mapping_error(priv->device, rxbuffer->dma_addr)) {
 224                 netdev_err(priv->dev, "%s: DMA mapping error\n", __func__);
 225                 dev_kfree_skb_any(rxbuffer->skb);
 226                 return -EINVAL;
 227         }
 228         rxbuffer->dma_addr &= (dma_addr_t)~3;
 229         rxbuffer->len = len;
 230         return 0;
 231 }
 232
 233 static void tse_free_rx_buffer(struct altera_tse_private *priv,
 234                                struct tse_buffer *rxbuffer)
 235 {
 236         struct sk_buff *skb = rxbuffer->skb;
 237         dma_addr_t dma_addr = rxbuffer->dma_addr;
 238
 239         if (skb != NULL) {
 240                 if (dma_addr)
 241                         dma_unmap_single(priv->device, dma_addr,
 242                                          rxbuffer->len,
 243                                          DMA_FROM_DEVICE);
 244                 dev_kfree_skb_any(skb);
 245                 rxbuffer->skb = NULL;
 246                 rxbuffer->dma_addr = 0;
 247         }
 248 }
 249
 250 /* Unmap and free Tx buffer resources
 251  */
 252 static void tse_free_tx_buffer(struct altera_tse_private *priv,
 253                                struct tse_buffer *buffer)
 254 {
 255         if (buffer->dma_addr) {
 256                 if (buffer->mapped_as_page)
 257                         dma_unmap_page(priv->device, buffer->dma_addr,
 258                                        buffer->len, DMA_TO_DEVICE);
 259                 else
 260                         dma_unmap_single(priv->device, buffer->dma_addr,
 261                                          buffer->len, DMA_TO_DEVICE);
 262                 buffer->dma_addr = 0;
 263         }
 264         if (buffer->skb) {
 265                 dev_kfree_skb_any(buffer->skb);
 266                 buffer->skb = NULL;
 267         }
 268 }
 269
 270 static int alloc_init_skbufs(struct altera_tse_private *priv)
 271 {
 272         unsigned int rx_descs = priv->rx_ring_size;
 273         unsigned int tx_descs = priv->tx_ring_size;
 274         int ret = -ENOMEM;
 275         int i;
 276
 277         /* Create Rx ring buffer */
 278         priv->rx_ring = kcalloc(rx_descs, sizeof(struct tse_buffer),
 279                                 GFP_KERNEL);
 280         if (!priv->rx_ring)
 281                 goto err_rx_ring;
 282
 283         /* Create Tx ring buffer */
 284         priv->tx_ring = kcalloc(tx_descs, sizeof(struct tse_buffer),
 285                                 GFP_KERNEL);
 286         if (!priv->tx_ring)
 287                 goto err_tx_ring;
 288
 289         priv->tx_cons = 0;
 290         priv->tx_prod = 0;
 291
 292         /* Init Rx ring */
 293         for (i = 0; i < rx_descs; i++) {
 294                 ret = tse_init_rx_buffer(priv, &priv->rx_ring[i],
 295                                          priv->rx_dma_buf_sz);
 296                 if (ret)
 297                         goto err_init_rx_buffers;
 298         }
 299
 300         priv->rx_cons = 0;
 301         priv->rx_prod = 0;
 302
 303         return 0;
 304 err_init_rx_buffers:
 305         while (--i >= 0)
 306                 tse_free_rx_buffer(priv, &priv->rx_ring[i]);
 307         kfree(priv->tx_ring);
 308 err_tx_ring:
 309         kfree(priv->rx_ring);
 310 err_rx_ring:
 311         return ret;
 312 }
 313
 314 static void free_skbufs(struct net_device *dev)
 315 {
 316         struct altera_tse_private *priv = netdev_priv(dev);
 317         unsigned int rx_descs = priv->rx_ring_size;
 318         unsigned int tx_descs = priv->tx_ring_size;
 319         int i;
 320
 321         /* Release the DMA TX/RX socket buffers */
 322         for (i = 0; i < rx_descs; i++)
 323                 tse_free_rx_buffer(priv, &priv->rx_ring[i]);
 324         for (i = 0; i < tx_descs; i++)
 325                 tse_free_tx_buffer(priv, &priv->tx_ring[i]);
 326
 327
 328         kfree(priv->tx_ring);
 329 }
 330
 331 /* Reallocate the skb for the reception process
 332  */
 333 static inline void tse_rx_refill(struct altera_tse_private *priv)
 334 {
 335         unsigned int rxsize = priv->rx_ring_size;
 336         unsigned int entry;
 337         int ret;
 338
 339         for (; priv->rx_cons - priv->rx_prod > 0;
 340                         priv->rx_prod++) {
 341                 entry = priv->rx_prod % rxsize;
 342                 if (likely(priv->rx_ring[entry].skb == NULL)) {
 343                         ret = tse_init_rx_buffer(priv, &priv->rx_ring[entry],
 344                                 priv->rx_dma_buf_sz);
 345                         if (unlikely(ret != 0))
 346                                 break;
 347                         priv->dmaops->add_rx_desc(priv, &priv->rx_ring[entry]);
 348                 }
 349         }
 350 }
 351
 352 /* Pull out the VLAN tag and fix up the packet
 353  */
 354 static inline void tse_rx_vlan(struct net_device *dev, struct sk_buff *skb)
 355 {
 356         struct ethhdr *eth_hdr;
 357         u16 vid;
 358         if ((dev->features & NETIF_F_HW_VLAN_CTAG_RX) &&
 359             !__vlan_get_tag(skb, &vid)) {
 360                 eth_hdr = (struct ethhdr *)skb->data;
 361                 memmove(skb->data + VLAN_HLEN, eth_hdr, ETH_ALEN * 2);
 362                 skb_pull(skb, VLAN_HLEN);
 363                 __vlan_hwaccel_put_tag(skb, htons(ETH_P_8021Q), vid);
 364         }
 365 }
 366
 367 /* Receive a packet: retrieve and pass over to upper levels
 368  */
 369 static int tse_rx(struct altera_tse_private *priv, int limit)
 370 {
 371         unsigned int count = 0;
 372         unsigned int next_entry;
 373         struct sk_buff *skb;
 374         unsigned int entry = priv->rx_cons % priv->rx_ring_size;
 375         u32 rxstatus;
 376         u16 pktlength;
 377         u16 pktstatus;
 378
 379         /* Check for count < limit first as get_rx_status is changing
 380         * the response-fifo so we must process the next packet
 381         * after calling get_rx_status if a response is pending.
 382         * (reading the last byte of the response pops the value from the fifo.)
 383         */
 384         while ((count < limit) &&
 385                ((rxstatus = priv->dmaops->get_rx_status(priv)) != 0)) {
 386                 pktstatus = rxstatus >> 16;
 387                 pktlength = rxstatus & 0xffff;
 388
 389                 if ((pktstatus & 0xFF) || (pktlength == 0))
 390                         netdev_err(priv->dev,
 391                                    "RCV pktstatus %08X pktlength %08X\n",
 392                                    pktstatus, pktlength);
 393
 394                 /* DMA trasfer from TSE starts with 2 aditional bytes for
 395                  * IP payload alignment. Status returned by get_rx_status()
 396                  * contains DMA transfer length. Packet is 2 bytes shorter.
 397                  */
 398                 pktlength -= 2;
 399
 400                 count++;
 401                 next_entry = (++priv->rx_cons) % priv->rx_ring_size;
 402
 403                 skb = priv->rx_ring[entry].skb;
 404                 if (unlikely(!skb)) {
 405                         netdev_err(priv->dev,
 406                                    "%s: Inconsistent Rx descriptor chain\n",
 407                                    __func__);
 408                         priv->dev->stats.rx_dropped++;
 409                         break;
 410                 }
 411                 priv->rx_ring[entry].skb = NULL;
 412
 413                 skb_put(skb, pktlength);
 414
 415                 /* make cache consistent with receive packet buffer */
 416                 dma_sync_single_for_cpu(priv->device,
 417                                         priv->rx_ring[entry].dma_addr,
 418                                         priv->rx_ring[entry].len,
 419                                         DMA_FROM_DEVICE);
 420
 421                 dma_unmap_single(priv->device, priv->rx_ring[entry].dma_addr,
 422                                  priv->rx_ring[entry].len, DMA_FROM_DEVICE);
 423
 424                 if (netif_msg_pktdata(priv)) {
 425                         netdev_info(priv->dev, "frame received %d bytes\n",
 426                                     pktlength);
 427                         print_hex_dump(KERN_ERR, "data: ", DUMP_PREFIX_OFFSET,
 428                                        16, 1, skb->data, pktlength, true);
 429                 }
 430
 431                 tse_rx_vlan(priv->dev, skb);
 432
 433                 skb->protocol = eth_type_trans(skb, priv->dev);
 434                 skb_checksum_none_assert(skb);
 435
 436                 napi_gro_receive(&priv->napi, skb);
 437
 438                 priv->dev->stats.rx_packets++;
 439                 priv->dev->stats.rx_bytes += pktlength;
 440
 441                 entry = next_entry;
 442
 443                 tse_rx_refill(priv);
 444         }
 445
 446         return count;
 447 }
 448
 449 /* Reclaim resources after transmission completes
 450  */
 451 static int tse_tx_complete(struct altera_tse_private *priv)
 452 {
 453         unsigned int txsize = priv->tx_ring_size;
 454         u32 ready;
 455         unsigned int entry;
 456         struct tse_buffer *tx_buff;
 457         int txcomplete = 0;
 458
 459         spin_lock(&priv->tx_lock);
 460
 461         ready = priv->dmaops->tx_completions(priv);
 462
 463         /* Free sent buffers */
 464         while (ready && (priv->tx_cons != priv->tx_prod)) {
 465                 entry = priv->tx_cons % txsize;
 466                 tx_buff = &priv->tx_ring[entry];
 467
 468                 if (netif_msg_tx_done(priv))
 469                         netdev_dbg(priv->dev, "%s: curr %d, dirty %d\n",
 470                                    __func__, priv->tx_prod, priv->tx_cons);
 471
 472                 if (likely(tx_buff->skb))
 473                         priv->dev->stats.tx_packets++;
 474
 475                 tse_free_tx_buffer(priv, tx_buff);
 476                 priv->tx_cons++;
 477
 478                 txcomplete++;
 479                 ready--;
 480         }
 481
 482         if (unlikely(netif_queue_stopped(priv->dev) &&
 483                      tse_tx_avail(priv) > TSE_TX_THRESH(priv))) {
 484                 netif_tx_lock(priv->dev);
 485                 if (netif_queue_stopped(priv->dev) &&
 486                     tse_tx_avail(priv) > TSE_TX_THRESH(priv)) {
 487                         if (netif_msg_tx_done(priv))
 488                                 netdev_dbg(priv->dev, "%s: restart transmit\n",
 489                                            __func__);
 490                         netif_wake_queue(priv->dev);
 491                 }
 492                 netif_tx_unlock(priv->dev);
 493         }
 494
 495         spin_unlock(&priv->tx_lock);
 496         return txcomplete;
 497 }
 498
 499 /* NAPI polling function
 500  */
 501 static int tse_poll(struct napi_struct *napi, int budget)
 502 {
 503         struct altera_tse_private *priv =
 504                         container_of(napi, struct altera_tse_private, napi);
 505         int rxcomplete = 0;
 506         unsigned long int flags;
 507
 508         tse_tx_complete(priv);
 509
 510         rxcomplete = tse_rx(priv, budget);
 511
 512         if (rxcomplete < budget) {
 513
 514                 napi_complete(napi);
 515
 516                 netdev_dbg(priv->dev,
 517                            "NAPI Complete, did %d packets with budget %d\n",
 518                            rxcomplete, budget);
 519
 520                 spin_lock_irqsave(&priv->rxdma_irq_lock, flags);
 521                 priv->dmaops->enable_rxirq(priv);
 522                 priv->dmaops->enable_txirq(priv);
 523                 spin_unlock_irqrestore(&priv->rxdma_irq_lock, flags);
 524         }
 525         return rxcomplete;
 526 }
 527
 528 /* DMA TX & RX FIFO interrupt routing
 529  */
 530 static irqreturn_t altera_isr(int irq, void *dev_id)
 531 {
 532         struct net_device *dev = dev_id;
 533         struct altera_tse_private *priv;
 534
 535         if (unlikely(!dev)) {
 536                 pr_err("%s: invalid dev pointer\n", __func__);
 537                 return IRQ_NONE;
 538         }
 539         priv = netdev_priv(dev);
 540
 541         spin_lock(&priv->rxdma_irq_lock);
 542         /* reset IRQs */
 543         priv->dmaops->clear_rxirq(priv);
 544         priv->dmaops->clear_txirq(priv);
 545         spin_unlock(&priv->rxdma_irq_lock);
 546
 547         if (likely(napi_schedule_prep(&priv->napi))) {
 548                 spin_lock(&priv->rxdma_irq_lock);
 549                 priv->dmaops->disable_rxirq(priv);
 550                 priv->dmaops->disable_txirq(priv);
 551                 spin_unlock(&priv->rxdma_irq_lock);
 552                 __napi_schedule(&priv->napi);
 553         }
 554
 555
 556         return IRQ_HANDLED;
 557 }
 558
 559 /* Transmit a packet (called by the kernel). Dispatches
 560  * either the SGDMA method for transmitting or the
 561  * MSGDMA method, assumes no scatter/gather support,
 562  * implying an assumption that there's only one
 563  * physically contiguous fragment starting at
 564  * skb->data, for length of skb_headlen(skb).
 565  */
 566 static int tse_start_xmit(struct sk_buff *skb, struct net_device *dev)
 567 {
 568         struct altera_tse_private *priv = netdev_priv(dev);
 569         unsigned int txsize = priv->tx_ring_size;
 570         unsigned int entry;
 571         struct tse_buffer *buffer = NULL;
 572         int nfrags = skb_shinfo(skb)->nr_frags;
 573         unsigned int nopaged_len = skb_headlen(skb);
 574         enum netdev_tx ret = NETDEV_TX_OK;
 575         dma_addr_t dma_addr;
 576
 577         spin_lock_bh(&priv->tx_lock);
 578
 579         if (unlikely(tse_tx_avail(priv) < nfrags + 1)) {
 580                 if (!netif_queue_stopped(dev)) {
 581                         netif_stop_queue(dev);
 582                         /* This is a hard error, log it. */
 583                         netdev_err(priv->dev,
 584                                    "%s: Tx list full when queue awake\n",
 585                                    __func__);
 586                 }
 587                 ret = NETDEV_TX_BUSY;
 588                 goto out;
 589         }
 590
 591         /* Map the first skb fragment */
 592         entry = priv->tx_prod % txsize;
 593         buffer = &priv->tx_ring[entry];
 594
 595         dma_addr = dma_map_single(priv->device, skb->data, nopaged_len,
 596                                   DMA_TO_DEVICE);
 597         if (dma_mapping_error(priv->device, dma_addr)) {
 598                 netdev_err(priv->dev, "%s: DMA mapping error\n", __func__);
 599                 ret = NETDEV_TX_OK;
 600                 goto out;
 601         }
 602
 603         buffer->skb = skb;
 604         buffer->dma_addr = dma_addr;
 605         buffer->len = nopaged_len;
 606
 607         /* Push data out of the cache hierarchy into main memory */
 608         dma_sync_single_for_device(priv->device, buffer->dma_addr,
 609                                    buffer->len, DMA_TO_DEVICE);
 610
 611         priv->dmaops->tx_buffer(priv, buffer);
 612
 613         skb_tx_timestamp(skb);
 614
 615         priv->tx_prod++;
 616         dev->stats.tx_bytes += skb->len;
 617
 618         if (unlikely(tse_tx_avail(priv) <= TXQUEUESTOP_THRESHHOLD)) {
 619                 if (netif_msg_hw(priv))
 620                         netdev_dbg(priv->dev, "%s: stop transmitted packets\n",
 621                                    __func__);
 622                 netif_stop_queue(dev);
 623         }
 624
 625 out:
 626         spin_unlock_bh(&priv->tx_lock);
 627
 628         return ret;
 629 }
 630
 631 /* Called every time the controller might need to be made
 632  * aware of new link state.  The PHY code conveys this
 633  * information through variables in the phydev structure, and this
 634  * function converts those variables into the appropriate
 635  * register values, and can bring down the device if needed.
 636  */
 637 static void altera_tse_adjust_link(struct net_device *dev)
 638 {
 639         struct altera_tse_private *priv = netdev_priv(dev);
 640         struct phy_device *phydev = priv->phydev;
 641         int new_state = 0;
 642
 643         /* only change config if there is a link */
 644         spin_lock(&priv->mac_cfg_lock);
 645         if (phydev->link) {
 646                 /* Read old config */
 647                 u32 cfg_reg = ioread32(&priv->mac_dev->command_config);
 648
 649                 /* Check duplex */
 650                 if (phydev->duplex != priv->oldduplex) {
 651                         new_state = 1;
 652                         if (!(phydev->duplex))
 653                                 cfg_reg |= MAC_CMDCFG_HD_ENA;
 654                         else
 655                                 cfg_reg &= ~MAC_CMDCFG_HD_ENA;
 656
 657                         netdev_dbg(priv->dev, "%s: Link duplex = 0x%x\n",
 658                                    dev->name, phydev->duplex);
 659
 660                         priv->oldduplex = phydev->duplex;
 661                 }
 662
 663                 /* Check speed */
 664                 if (phydev->speed != priv->oldspeed) {
 665                         new_state = 1;
 666                         switch (phydev->speed) {
 667                         case 1000:
 668                                 cfg_reg |= MAC_CMDCFG_ETH_SPEED;
 669                                 cfg_reg &= ~MAC_CMDCFG_ENA_10;
 670                                 break;
 671                         case 100:
 672                                 cfg_reg &= ~MAC_CMDCFG_ETH_SPEED;
 673                                 cfg_reg &= ~MAC_CMDCFG_ENA_10;
 674                                 break;
 675                         case 10:
 676                                 cfg_reg &= ~MAC_CMDCFG_ETH_SPEED;
 677                                 cfg_reg |= MAC_CMDCFG_ENA_10;
 678                                 break;
 679                         default:
 680                                 if (netif_msg_link(priv))
 681                                         netdev_warn(dev, "Speed (%d) is not 10/100/1000!\n",
 682                                                     phydev->speed);
 683                                 break;
 684                         }
 685                         priv->oldspeed = phydev->speed;
 686                 }
 687                 iowrite32(cfg_reg, &priv->mac_dev->command_config);
 688
 689                 if (!priv->oldlink) {
 690                         new_state = 1;
 691                         priv->oldlink = 1;
 692                 }
 693         } else if (priv->oldlink) {
 694                 new_state = 1;
 695                 priv->oldlink = 0;
 696                 priv->oldspeed = 0;
 697                 priv->oldduplex = -1;
 698         }
 699
 700         if (new_state && netif_msg_link(priv))
 701                 phy_print_status(phydev);
 702
 703         spin_unlock(&priv->mac_cfg_lock);
 704 }
 705 static struct phy_device *connect_local_phy(struct net_device *dev)
 706 {
 707         struct altera_tse_private *priv = netdev_priv(dev);
 708         struct phy_device *phydev = NULL;
 709         char phy_id_fmt[MII_BUS_ID_SIZE + 3];
 710
 711         if (priv->phy_addr != POLL_PHY) {
 712                 snprintf(phy_id_fmt, MII_BUS_ID_SIZE + 3, PHY_ID_FMT,
 713                          priv->mdio->id, priv->phy_addr);
 714
 715                 netdev_dbg(dev, "trying to attach to %s\n", phy_id_fmt);
 716
 717                 phydev = phy_connect(dev, phy_id_fmt, &altera_tse_adjust_link,
 718                                      priv->phy_iface);
 719                 if (IS_ERR(phydev)) {
 720                         netdev_err(dev, "Could not attach to PHY\n");
 721                         phydev = NULL;
 722                 }
 723
 724         } else {
 725                 int ret;
 726                 phydev = phy_find_first(priv->mdio);
 727                 if (phydev == NULL) {
 728                         netdev_err(dev, "No PHY found\n");
 729                         return phydev;
 730                 }
 731
 732                 ret = phy_connect_direct(dev, phydev, &altera_tse_adjust_link,
 733                                 priv->phy_iface);
 734                 if (ret != 0) {
 735                         netdev_err(dev, "Could not attach to PHY\n");
 736                         phydev = NULL;
 737                 }
 738         }
 739         return phydev;
 740 }
 741
 742 static int altera_tse_phy_get_addr_mdio_create(struct net_device *dev)
 743 {
 744         struct altera_tse_private *priv = netdev_priv(dev);
 745         struct device_node *np = priv->device->of_node;
 746         int ret = 0;
 747
 748         priv->phy_iface = of_get_phy_mode(np);
 749
 750         /* Avoid get phy addr and create mdio if no phy is present */
 751         if (!priv->phy_iface)
 752                 return 0;
 753
 754         /* try to get PHY address from device tree, use PHY autodetection if
 755          * no valid address is given
 756          */
 757
 758         if (of_property_read_u32(priv->device->of_node, "phy-addr",
 759                          &priv->phy_addr)) {
 760                 priv->phy_addr = POLL_PHY;
 761         }
 762
 763         if (!((priv->phy_addr == POLL_PHY) ||
 764                   ((priv->phy_addr >= 0) && (priv->phy_addr < PHY_MAX_ADDR)))) {
 765                 netdev_err(dev, "invalid phy-addr specified %d\n",
 766                         priv->phy_addr);
 767                 return -ENODEV;
 768         }
 769
 770         /* Create/attach to MDIO bus */
 771         ret = altera_tse_mdio_create(dev,
 772                                          atomic_add_return(1, &instance_count));
 773
 774         if (ret)
 775                 return -ENODEV;
 776
 777         return 0;
 778 }
 779
 780 /* Initialize driver's PHY state, and attach to the PHY
 781  */
 782 static int init_phy(struct net_device *dev)
 783 {
 784         struct altera_tse_private *priv = netdev_priv(dev);
 785         struct phy_device *phydev;
 786         struct device_node *phynode;
 787         bool fixed_link = false;
 788         int rc = 0;
 789
 790         /* Avoid init phy in case of no phy present */
 791         if (!priv->phy_iface)
 792                 return 0;
 793
 794         priv->oldlink = 0;
 795         priv->oldspeed = 0;
 796         priv->oldduplex = -1;
 797
 798         phynode = of_parse_phandle(priv->device->of_node, "phy-handle", 0);
 799
 800         if (!phynode) {
 801                 /* check if a fixed-link is defined in device-tree */
 802                 if (of_phy_is_fixed_link(priv->device->of_node)) {
 803                         rc = of_phy_register_fixed_link(priv->device->of_node);
 804                         if (rc < 0) {
 805                                 netdev_err(dev, "cannot register fixed PHY\n");
 806                                 return rc;
 807                         }
 808
 809                         /* In the case of a fixed PHY, the DT node associated
 810                          * to the PHY is the Ethernet MAC DT node.
 811                          */
 812                         phynode = of_node_get(priv->device->of_node);
 813                         fixed_link = true;
 814
 815                         netdev_dbg(dev, "fixed-link detected\n");
 816                         phydev = of_phy_connect(dev, phynode,
 817                                                 &altera_tse_adjust_link,
 818                                                 0, priv->phy_iface);
 819                 } else {
 820                         netdev_dbg(dev, "no phy-handle found\n");
 821                         if (!priv->mdio) {
 822                                 netdev_err(dev, "No phy-handle nor local mdio specified\n");
 823                                 return -ENODEV;
 824                         }
 825                         phydev = connect_local_phy(dev);
 826                 }
 827         } else {
 828                 netdev_dbg(dev, "phy-handle found\n");
 829                 phydev = of_phy_connect(dev, phynode,
 830                         &altera_tse_adjust_link, 0, priv->phy_iface);
 831         }
 832
 833         if (!phydev) {
 834                 netdev_err(dev, "Could not find the PHY\n");
 835                 return -ENODEV;
 836         }
 837
 838         /* Stop Advertising 1000BASE Capability if interface is not GMII
 839          * Note: Checkpatch throws CHECKs for the camel case defines below,
 840          * it's ok to ignore.
 841          */
 842         if ((priv->phy_iface == PHY_INTERFACE_MODE_MII) ||
 843             (priv->phy_iface == PHY_INTERFACE_MODE_RMII))
 844                 phydev->advertising &= ~(SUPPORTED_1000baseT_Half |
 845                                          SUPPORTED_1000baseT_Full);
 846
 847         /* Broken HW is sometimes missing the pull-up resistor on the
 848          * MDIO line, which results in reads to non-existent devices returning
 849          * 0 rather than 0xffff. Catch this here and treat 0 as a non-existent
 850          * device as well. If a fixed-link is used the phy_id is always 0.
 851          * Note: phydev->phy_id is the result of reading the UID PHY registers.
 852          */
 853         if ((phydev->phy_id == 0) && !fixed_link) {
 854                 netdev_err(dev, "Bad PHY UID 0x%08x\n", phydev->phy_id);
 855                 phy_disconnect(phydev);
 856                 return -ENODEV;
 857         }
 858
 859         netdev_dbg(dev, "attached to PHY %d UID 0x%08x Link = %d\n",
 860                    phydev->addr, phydev->phy_id, phydev->link);
 861
 862         priv->phydev = phydev;
 863         return 0;
 864 }
 865
 866 static void tse_update_mac_addr(struct altera_tse_private *priv, u8 *addr)
 867 {
 868         u32 msb;
 869         u32 lsb;
 870
 871         msb = (addr[3] << 24) | (addr[2] << 16) | (addr[1] << 8) | addr[0];
 872         lsb = ((addr[5] << 8) | addr[4]) & 0xffff;
 873
 874         /* Set primary MAC address */
 875         csrwr32(msb, priv->mac_dev, tse_csroffs(mac_addr_0));
 876         csrwr32(lsb, priv->mac_dev, tse_csroffs(mac_addr_1));
 877 }
 878
 879 /* MAC software reset.
 880  * When reset is triggered, the MAC function completes the current
 881  * transmission or reception, and subsequently disables the transmit and
 882  * receive logic, flushes the receive FIFO buffer, and resets the statistics
 883  * counters.
 884  */
 885 static int reset_mac(struct altera_tse_private *priv)
 886 {
 887         int counter;
 888         u32 dat;
 889
 890         dat = csrrd32(priv->mac_dev, tse_csroffs(command_config));
 891         dat &= ~(MAC_CMDCFG_TX_ENA | MAC_CMDCFG_RX_ENA);
 892         dat |= MAC_CMDCFG_SW_RESET | MAC_CMDCFG_CNT_RESET;
 893         csrwr32(dat, priv->mac_dev, tse_csroffs(command_config));
 894
 895         counter = 0;
 896         while (counter++ < ALTERA_TSE_SW_RESET_WATCHDOG_CNTR) {
 897                 if (tse_bit_is_clear(priv->mac_dev, tse_csroffs(command_config),
 898                                      MAC_CMDCFG_SW_RESET))
 899                         break;
 900                 udelay(1);
 901         }
 902
 903         if (counter >= ALTERA_TSE_SW_RESET_WATCHDOG_CNTR) {
 904                 dat = csrrd32(priv->mac_dev, tse_csroffs(command_config));
 905                 dat &= ~MAC_CMDCFG_SW_RESET;
 906                 csrwr32(dat, priv->mac_dev, tse_csroffs(command_config));
 907                 return -1;
 908         }
 909         return 0;
 910 }
 911
 912 /* Initialize MAC core registers
 913 */
 914 static int init_mac(struct altera_tse_private *priv)
 915 {
 916         unsigned int cmd = 0;
 917         u32 frm_length;
 918
 919         /* Setup Rx FIFO */
 920         csrwr32(priv->rx_fifo_depth - ALTERA_TSE_RX_SECTION_EMPTY,
 921                 priv->mac_dev, tse_csroffs(rx_section_empty));
 922
 923         csrwr32(ALTERA_TSE_RX_SECTION_FULL, priv->mac_dev,
 924                 tse_csroffs(rx_section_full));
 925
 926         csrwr32(ALTERA_TSE_RX_ALMOST_EMPTY, priv->mac_dev,
 927                 tse_csroffs(rx_almost_empty));
 928
 929         csrwr32(ALTERA_TSE_RX_ALMOST_FULL, priv->mac_dev,
 930                 tse_csroffs(rx_almost_full));
 931
 932         /* Setup Tx FIFO */
 933         csrwr32(priv->tx_fifo_depth - ALTERA_TSE_TX_SECTION_EMPTY,
 934                 priv->mac_dev, tse_csroffs(tx_section_empty));
 935
 936         csrwr32(ALTERA_TSE_TX_SECTION_FULL, priv->mac_dev,
 937                 tse_csroffs(tx_section_full));
 938
 939         csrwr32(ALTERA_TSE_TX_ALMOST_EMPTY, priv->mac_dev,
 940                 tse_csroffs(tx_almost_empty));
 941
 942         csrwr32(ALTERA_TSE_TX_ALMOST_FULL, priv->mac_dev,
 943                 tse_csroffs(tx_almost_full));
 944
 945         /* MAC Address Configuration */
 946         tse_update_mac_addr(priv, priv->dev->dev_addr);
 947
 948         /* MAC Function Configuration */
 949         frm_length = ETH_HLEN + priv->dev->mtu + ETH_FCS_LEN;
 950         csrwr32(frm_length, priv->mac_dev, tse_csroffs(frm_length));
 951
 952         csrwr32(ALTERA_TSE_TX_IPG_LENGTH, priv->mac_dev,
 953                 tse_csroffs(tx_ipg_length));
 954
 955         /* Disable RX/TX shift 16 for alignment of all received frames on 16-bit
 956          * start address
 957          */
 958         tse_set_bit(priv->mac_dev, tse_csroffs(rx_cmd_stat),
 959                     ALTERA_TSE_RX_CMD_STAT_RX_SHIFT16);
 960
 961         tse_clear_bit(priv->mac_dev, tse_csroffs(tx_cmd_stat),
 962                       ALTERA_TSE_TX_CMD_STAT_TX_SHIFT16 |
 963                       ALTERA_TSE_TX_CMD_STAT_OMIT_CRC);
 964
 965         /* Set the MAC options */
 966         cmd = csrrd32(priv->mac_dev, tse_csroffs(command_config));
 967         cmd &= ~MAC_CMDCFG_PAD_EN;      /* No padding Removal on Receive */
 968         cmd &= ~MAC_CMDCFG_CRC_FWD;     /* CRC Removal */
 969         cmd |= MAC_CMDCFG_RX_ERR_DISC;  /* Automatically discard frames
 970                                          * with CRC errors
 971                                          */
 972         cmd |= MAC_CMDCFG_CNTL_FRM_ENA;
 973         cmd &= ~MAC_CMDCFG_TX_ENA;
 974         cmd &= ~MAC_CMDCFG_RX_ENA;
 975
 976         /* Default speed and duplex setting, full/100 */
 977         cmd &= ~MAC_CMDCFG_HD_ENA;
 978         cmd &= ~MAC_CMDCFG_ETH_SPEED;
 979         cmd &= ~MAC_CMDCFG_ENA_10;
 980
 981         csrwr32(cmd, priv->mac_dev, tse_csroffs(command_config));
 982
 983         csrwr32(ALTERA_TSE_PAUSE_QUANTA, priv->mac_dev,
 984                 tse_csroffs(pause_quanta));
 985
 986         if (netif_msg_hw(priv))
 987                 dev_dbg(priv->device,
 988                         "MAC post-initialization: CMD_CONFIG = 0x%08x\n", cmd);
 989
 990         return 0;
 991 }
 992
 993 /* Start/stop MAC transmission logic
 994  */
 995 static void tse_set_mac(struct altera_tse_private *priv, bool enable)
 996 {
 997         u32 value = csrrd32(priv->mac_dev, tse_csroffs(command_config));
 998
 999         if (enable)
1000                 value |= MAC_CMDCFG_TX_ENA | MAC_CMDCFG_RX_ENA;
1001         else
1002                 value &= ~(MAC_CMDCFG_TX_ENA | MAC_CMDCFG_RX_ENA);
1003
1004         csrwr32(value, priv->mac_dev, tse_csroffs(command_config));
1005 }
1006
1007 /* Change the MTU
1008  */
1009 static int tse_change_mtu(struct net_device *dev, int new_mtu)
1010 {
1011         struct altera_tse_private *priv = netdev_priv(dev);
1012         unsigned int max_mtu = priv->max_mtu;
1013         unsigned int min_mtu = ETH_ZLEN + ETH_FCS_LEN;
1014
1015         if (netif_running(dev)) {
1016                 netdev_err(dev, "must be stopped to change its MTU\n");
1017                 return -EBUSY;
1018         }
1019
1020         if ((new_mtu < min_mtu) || (new_mtu > max_mtu)) {
1021                 netdev_err(dev, "invalid MTU, max MTU is: %u\n", max_mtu);
1022                 return -EINVAL;
1023         }
1024
1025         dev->mtu = new_mtu;
1026         netdev_update_features(dev);
1027
1028         return 0;
1029 }
1030
1031 static void altera_tse_set_mcfilter(struct net_device *dev)
1032 {
1033         struct altera_tse_private *priv = netdev_priv(dev);
1034         int i;
1035         struct netdev_hw_addr *ha;
1036
1037         /* clear the hash filter */
1038         for (i = 0; i < 64; i++)
1039                 csrwr32(0, priv->mac_dev, tse_csroffs(hash_table) + i * 4);
1040
1041         netdev_for_each_mc_addr(ha, dev) {
1042                 unsigned int hash = 0;
1043                 int mac_octet;
1044
1045                 for (mac_octet = 5; mac_octet >= 0; mac_octet--) {
1046                         unsigned char xor_bit = 0;
1047                         unsigned char octet = ha->addr[mac_octet];
1048                         unsigned int bitshift;
1049
1050                         for (bitshift = 0; bitshift < 8; bitshift++)
1051                                 xor_bit ^= ((octet >> bitshift) & 0x01);
1052
1053                         hash = (hash << 1) | xor_bit;
1054                 }
1055                 csrwr32(1, priv->mac_dev, tse_csroffs(hash_table) + hash * 4);
1056         }
1057 }
1058
1059
1060 static void altera_tse_set_mcfilterall(struct net_device *dev)
1061 {
1062         struct altera_tse_private *priv = netdev_priv(dev);
1063         int i;
1064
1065         /* set the hash filter */
1066         for (i = 0; i < 64; i++)
1067                 csrwr32(1, priv->mac_dev, tse_csroffs(hash_table) + i * 4);
1068 }
1069
1070 /* Set or clear the multicast filter for this adaptor
1071  */
1072 static void tse_set_rx_mode_hashfilter(struct net_device *dev)
1073 {
1074         struct altera_tse_private *priv = netdev_priv(dev);
1075
1076         spin_lock(&priv->mac_cfg_lock);
1077
1078         if (dev->flags & IFF_PROMISC)
1079                 tse_set_bit(priv->mac_dev, tse_csroffs(command_config),
1080                             MAC_CMDCFG_PROMIS_EN);
1081
1082         if (dev->flags & IFF_ALLMULTI)
1083                 altera_tse_set_mcfilterall(dev);
1084         else
1085                 altera_tse_set_mcfilter(dev);
1086
1087         spin_unlock(&priv->mac_cfg_lock);
1088 }
1089
1090 /* Set or clear the multicast filter for this adaptor
1091  */
1092 static void tse_set_rx_mode(struct net_device *dev)
1093 {
1094         struct altera_tse_private *priv = netdev_priv(dev);
1095
1096         spin_lock(&priv->mac_cfg_lock);
1097
1098         if ((dev->flags & IFF_PROMISC) || (dev->flags & IFF_ALLMULTI) ||
1099             !netdev_mc_empty(dev) || !netdev_uc_empty(dev))
1100                 tse_set_bit(priv->mac_dev, tse_csroffs(command_config),
1101                             MAC_CMDCFG_PROMIS_EN);
1102         else
1103                 tse_clear_bit(priv->mac_dev, tse_csroffs(command_config),
1104                               MAC_CMDCFG_PROMIS_EN);
1105
1106         spin_unlock(&priv->mac_cfg_lock);
1107 }
1108
1109 /* Open and initialize the interface
1110  */
1111 static int tse_open(struct net_device *dev)
1112 {
1113         struct altera_tse_private *priv = netdev_priv(dev);
1114         int ret = 0;
1115         int i;
1116         unsigned long int flags;
1117
1118         /* Reset and configure TSE MAC and probe associated PHY */
1119         ret = priv->dmaops->init_dma(priv);
1120         if (ret != 0) {
1121                 netdev_err(dev, "Cannot initialize DMA\n");
1122                 goto phy_error;
1123         }
1124
1125         if (netif_msg_ifup(priv))
1126                 netdev_warn(dev, "device MAC address %pM\n",
1127                             dev->dev_addr);
1128
1129         if ((priv->revision < 0xd00) || (priv->revision > 0xe00))
1130                 netdev_warn(dev, "TSE revision %x\n", priv->revision);
1131
1132         spin_lock(&priv->mac_cfg_lock);
1133         ret = reset_mac(priv);
1134         /* Note that reset_mac will fail if the clocks are gated by the PHY
1135          * due to the PHY being put into isolation or power down mode.
1136          * This is not an error if reset fails due to no clock.
1137          */
1138         if (ret)
1139                 netdev_dbg(dev, "Cannot reset MAC core (error: %d)\n", ret);
1140
1141         ret = init_mac(priv);
1142         spin_unlock(&priv->mac_cfg_lock);
1143         if (ret) {
1144                 netdev_err(dev, "Cannot init MAC core (error: %d)\n", ret);
1145                 goto alloc_skbuf_error;
1146         }
1147
1148         priv->dmaops->reset_dma(priv);
1149
1150         /* Create and initialize the TX/RX descriptors chains. */
1151         priv->rx_ring_size = dma_rx_num;
1152         priv->tx_ring_size = dma_tx_num;
1153         ret = alloc_init_skbufs(priv);
1154         if (ret) {
1155                 netdev_err(dev, "DMA descriptors initialization failed\n");
1156                 goto alloc_skbuf_error;
1157         }
1158
1159
1160         /* Register RX interrupt */
1161         ret = request_irq(priv->rx_irq, altera_isr, IRQF_SHARED,
1162                           dev->name, dev);
1163         if (ret) {
1164                 netdev_err(dev, "Unable to register RX interrupt %d\n",
1165                            priv->rx_irq);
1166                 goto init_error;
1167         }
1168
1169         /* Register TX interrupt */
1170         ret = request_irq(priv->tx_irq, altera_isr, IRQF_SHARED,
1171                           dev->name, dev);
1172         if (ret) {
1173                 netdev_err(dev, "Unable to register TX interrupt %d\n",
1174                            priv->tx_irq);
1175                 goto tx_request_irq_error;
1176         }
1177
1178         /* Enable DMA interrupts */
1179         spin_lock_irqsave(&priv->rxdma_irq_lock, flags);
1180         priv->dmaops->enable_rxirq(priv);
1181         priv->dmaops->enable_txirq(priv);
1182
1183         /* Setup RX descriptor chain */
1184         for (i = 0; i < priv->rx_ring_size; i++)
1185                 priv->dmaops->add_rx_desc(priv, &priv->rx_ring[i]);
1186
1187         spin_unlock_irqrestore(&priv->rxdma_irq_lock, flags);
1188
1189         if (priv->phydev)
1190                 phy_start(priv->phydev);
1191
1192         napi_enable(&priv->napi);
1193         netif_start_queue(dev);
1194
1195         priv->dmaops->start_rxdma(priv);
1196
1197         /* Start MAC Rx/Tx */
1198         spin_lock(&priv->mac_cfg_lock);
1199         tse_set_mac(priv, true);
1200         spin_unlock(&priv->mac_cfg_lock);
1201
1202         return 0;
1203
1204 tx_request_irq_error:
1205         free_irq(priv->rx_irq, dev);
1206 init_error:
1207         free_skbufs(dev);
1208 alloc_skbuf_error:
1209 phy_error:
1210         return ret;
1211 }
1212
1213 /* Stop TSE MAC interface and put the device in an inactive state
1214  */
1215 static int tse_shutdown(struct net_device *dev)
1216 {
1217         struct altera_tse_private *priv = netdev_priv(dev);
1218         int ret;
1219         unsigned long int flags;
1220
1221         /* Stop the PHY */
1222         if (priv->phydev)
1223                 phy_stop(priv->phydev);
1224
1225         netif_stop_queue(dev);
1226         napi_disable(&priv->napi);
1227
1228         /* Disable DMA interrupts */
1229         spin_lock_irqsave(&priv->rxdma_irq_lock, flags);
1230         priv->dmaops->disable_rxirq(priv);
1231         priv->dmaops->disable_txirq(priv);
1232         spin_unlock_irqrestore(&priv->rxdma_irq_lock, flags);
1233
1234         /* Free the IRQ lines */
1235         free_irq(priv->rx_irq, dev);
1236         free_irq(priv->tx_irq, dev);
1237
1238         /* disable and reset the MAC, empties fifo */
1239         spin_lock(&priv->mac_cfg_lock);
1240         spin_lock(&priv->tx_lock);
1241
1242         ret = reset_mac(priv);
1243         /* Note that reset_mac will fail if the clocks are gated by the PHY
1244          * due to the PHY being put into isolation or power down mode.
1245          * This is not an error if reset fails due to no clock.
1246          */
1247         if (ret)
1248                 netdev_dbg(dev, "Cannot reset MAC core (error: %d)\n", ret);
1249         priv->dmaops->reset_dma(priv);
1250         free_skbufs(dev);
1251
1252         spin_unlock(&priv->tx_lock);
1253         spin_unlock(&priv->mac_cfg_lock);
1254
1255         priv->dmaops->uninit_dma(priv);
1256
1257         return 0;
1258 }
1259
1260 static struct net_device_ops altera_tse_netdev_ops = {
1261         .ndo_open               = tse_open,
1262         .ndo_stop               = tse_shutdown,
1263         .ndo_start_xmit         = tse_start_xmit,
1264         .ndo_set_mac_address    = eth_mac_addr,
1265         .ndo_set_rx_mode        = tse_set_rx_mode,
1266         .ndo_change_mtu         = tse_change_mtu,
1267         .ndo_validate_addr      = eth_validate_addr,
1268 };
1269
1270 static int request_and_map(struct platform_device *pdev, const char *name,
1271                            struct resource **res, void __iomem **ptr)
1272 {
1273         struct resource *region;
1274         struct device *device = &pdev->dev;
1275
1276         *res = platform_get_resource_byname(pdev, IORESOURCE_MEM, name);
1277         if (*res == NULL) {
1278                 dev_err(device, "resource %s not defined\n", name);
1279                 return -ENODEV;
1280         }
1281
1282         region = devm_request_mem_region(device, (*res)->start,
1283                                          resource_size(*res), dev_name(device));
1284         if (region == NULL) {
1285                 dev_err(device, "unable to request %s\n", name);
1286                 return -EBUSY;
1287         }
1288
1289         *ptr = devm_ioremap_nocache(device, region->start,
1290                                     resource_size(region));
1291         if (*ptr == NULL) {
1292                 dev_err(device, "ioremap_nocache of %s failed!", name);
1293                 return -ENOMEM;
1294         }
1295
1296         return 0;
1297 }
1298
1299 /* Probe Altera TSE MAC device
1300  */
1301 static int altera_tse_probe(struct platform_device *pdev)
1302 {
1303         struct net_device *ndev;
1304         int ret = -ENODEV;
1305         struct resource *control_port;
1306         struct resource *dma_res;
1307         struct altera_tse_private *priv;
1308         const unsigned char *macaddr;
1309         void __iomem *descmap;
1310         const struct of_device_id *of_id = NULL;
1311
1312         ndev = alloc_etherdev(sizeof(struct altera_tse_private));
1313         if (!ndev) {
1314                 dev_err(&pdev->dev, "Could not allocate network device\n");
1315                 return -ENODEV;
1316         }
1317
1318         SET_NETDEV_DEV(ndev, &pdev->dev);
1319
1320         priv = netdev_priv(ndev);
1321         priv->device = &pdev->dev;
1322         priv->dev = ndev;
1323         priv->msg_enable = netif_msg_init(debug, default_msg_level);
1324
1325         of_id = of_match_device(altera_tse_ids, &pdev->dev);
1326
1327         if (of_id)
1328                 priv->dmaops = (struct altera_dmaops *)of_id->data;
1329
1330
1331         if (priv->dmaops &&
1332             priv->dmaops->altera_dtype == ALTERA_DTYPE_SGDMA) {
1333                 /* Get the mapped address to the SGDMA descriptor memory */
1334                 ret = request_and_map(pdev, "s1", &dma_res, &descmap);
1335                 if (ret)
1336                         goto err_free_netdev;
1337
1338                 /* Start of that memory is for transmit descriptors */
1339                 priv->tx_dma_desc = descmap;
1340
1341                 /* First half is for tx descriptors, other half for tx */
1342                 priv->txdescmem = resource_size(dma_res)/2;
1343
1344                 priv->txdescmem_busaddr = (dma_addr_t)dma_res->start;
1345
1346                 priv->rx_dma_desc = (void __iomem *)((uintptr_t)(descmap +
1347                                                      priv->txdescmem));
1348                 priv->rxdescmem = resource_size(dma_res)/2;
1349                 priv->rxdescmem_busaddr = dma_res->start;
1350                 priv->rxdescmem_busaddr += priv->txdescmem;
1351
1352                 if (upper_32_bits(priv->rxdescmem_busaddr)) {
1353                         dev_dbg(priv->device,
1354                                 "SGDMA bus addresses greater than 32-bits\n");
1355                         goto err_free_netdev;
1356                 }
1357                 if (upper_32_bits(priv->txdescmem_busaddr)) {
1358                         dev_dbg(priv->device,
1359                                 "SGDMA bus addresses greater than 32-bits\n");
1360                         goto err_free_netdev;
1361                 }
1362         } else if (priv->dmaops &&
1363                    priv->dmaops->altera_dtype == ALTERA_DTYPE_MSGDMA) {
1364                 ret = request_and_map(pdev, "rx_resp", &dma_res,
1365                                       &priv->rx_dma_resp);
1366                 if (ret)
1367                         goto err_free_netdev;
1368
1369                 ret = request_and_map(pdev, "tx_desc", &dma_res,
1370                                       &priv->tx_dma_desc);
1371                 if (ret)
1372                         goto err_free_netdev;
1373
1374                 priv->txdescmem = resource_size(dma_res);
1375                 priv->txdescmem_busaddr = dma_res->start;
1376
1377                 ret = request_and_map(pdev, "rx_desc", &dma_res,
1378                                       &priv->rx_dma_desc);
1379                 if (ret)
1380                         goto err_free_netdev;
1381
1382                 priv->rxdescmem = resource_size(dma_res);
1383                 priv->rxdescmem_busaddr = dma_res->start;
1384
1385         } else {
1386                 goto err_free_netdev;
1387         }
1388
1389         if (!dma_set_mask(priv->device, DMA_BIT_MASK(priv->dmaops->dmamask)))
1390                 dma_set_coherent_mask(priv->device,
1391                                       DMA_BIT_MASK(priv->dmaops->dmamask));
1392         else if (!dma_set_mask(priv->device, DMA_BIT_MASK(32)))
1393                 dma_set_coherent_mask(priv->device, DMA_BIT_MASK(32));
1394         else
1395                 goto err_free_netdev;
1396
1397         /* MAC address space */
1398         ret = request_and_map(pdev, "control_port", &control_port,
1399                               (void __iomem **)&priv->mac_dev);
1400         if (ret)
1401                 goto err_free_netdev;
1402
1403         /* xSGDMA Rx Dispatcher address space */
1404         ret = request_and_map(pdev, "rx_csr", &dma_res,
1405                               &priv->rx_dma_csr);
1406         if (ret)
1407                 goto err_free_netdev;
1408
1409
1410         /* xSGDMA Tx Dispatcher address space */
1411         ret = request_and_map(pdev, "tx_csr", &dma_res,
1412                               &priv->tx_dma_csr);
1413         if (ret)
1414                 goto err_free_netdev;
1415
1416
1417         /* Rx IRQ */
1418         priv->rx_irq = platform_get_irq_byname(pdev, "rx_irq");
1419         if (priv->rx_irq == -ENXIO) {
1420                 dev_err(&pdev->dev, "cannot obtain Rx IRQ\n");
1421                 ret = -ENXIO;
1422                 goto err_free_netdev;
1423         }
1424
1425         /* Tx IRQ */
1426         priv->tx_irq = platform_get_irq_byname(pdev, "tx_irq");
1427         if (priv->tx_irq == -ENXIO) {
1428                 dev_err(&pdev->dev, "cannot obtain Tx IRQ\n");
1429                 ret = -ENXIO;
1430                 goto err_free_netdev;
1431         }
1432
1433         /* get FIFO depths from device tree */
1434         if (of_property_read_u32(pdev->dev.of_node, "rx-fifo-depth",
1435                                  &priv->rx_fifo_depth)) {
1436                 dev_err(&pdev->dev, "cannot obtain rx-fifo-depth\n");
1437                 ret = -ENXIO;
1438                 goto err_free_netdev;
1439         }
1440
1441         if (of_property_read_u32(pdev->dev.of_node, "tx-fifo-depth",
1442                                  &priv->tx_fifo_depth)) {
1443                 dev_err(&pdev->dev, "cannot obtain tx-fifo-depth\n");
1444                 ret = -ENXIO;
1445                 goto err_free_netdev;
1446         }
1447
1448         /* get hash filter settings for this instance */
1449         priv->hash_filter =
1450                 of_property_read_bool(pdev->dev.of_node,
1451                                       "altr,has-hash-multicast-filter");
1452
1453         /* Set hash filter to not set for now until the
1454          * multicast filter receive issue is debugged
1455          */
1456         priv->hash_filter = 0;
1457
1458         /* get supplemental address settings for this instance */
1459         priv->added_unicast =
1460                 of_property_read_bool(pdev->dev.of_node,
1461                                       "altr,has-supplementary-unicast");
1462
1463         /* Max MTU is 1500, ETH_DATA_LEN */
1464         priv->max_mtu = ETH_DATA_LEN;
1465
1466         /* Get the max mtu from the device tree. Note that the
1467          * "max-frame-size" parameter is actually max mtu. Definition
1468          * in the ePAPR v1.1 spec and usage differ, so go with usage.
1469          */
1470         of_property_read_u32(pdev->dev.of_node, "max-frame-size",
1471                              &priv->max_mtu);
1472
1473         /* The DMA buffer size already accounts for an alignment bias
1474          * to avoid unaligned access exceptions for the NIOS processor,
1475          */
1476         priv->rx_dma_buf_sz = ALTERA_RXDMABUFFER_SIZE;
1477
1478         /* get default MAC address from device tree */
1479         macaddr = of_get_mac_address(pdev->dev.of_node);
1480         if (macaddr)
1481                 ether_addr_copy(ndev->dev_addr, macaddr);
1482         else
1483                 eth_hw_addr_random(ndev);
1484
1485         /* get phy addr and create mdio */
1486         ret = altera_tse_phy_get_addr_mdio_create(ndev);
1487
1488         if (ret)
1489                 goto err_free_netdev;
1490
1491         /* initialize netdev */
1492         ndev->mem_start = control_port->start;
1493         ndev->mem_end = control_port->end;
1494         ndev->netdev_ops = &altera_tse_netdev_ops;
1495         altera_tse_set_ethtool_ops(ndev);
1496
1497         altera_tse_netdev_ops.ndo_set_rx_mode = tse_set_rx_mode;
1498
1499         if (priv->hash_filter)
1500                 altera_tse_netdev_ops.ndo_set_rx_mode =
1501                         tse_set_rx_mode_hashfilter;
1502
1503         /* Scatter/gather IO is not supported,
1504          * so it is turned off
1505          */
1506         ndev->hw_features &= ~NETIF_F_SG;
1507         ndev->features |= ndev->hw_features | NETIF_F_HIGHDMA;
1508
1509         /* VLAN offloading of tagging, stripping and filtering is not
1510          * supported by hardware, but driver will accommodate the
1511          * extra 4-byte VLAN tag for processing by upper layers
1512          */
1513         ndev->features |= NETIF_F_HW_VLAN_CTAG_RX;
1514
1515         /* setup NAPI interface */
1516         netif_napi_add(ndev, &priv->napi, tse_poll, NAPI_POLL_WEIGHT);
1517
1518         spin_lock_init(&priv->mac_cfg_lock);
1519         spin_lock_init(&priv->tx_lock);
1520         spin_lock_init(&priv->rxdma_irq_lock);
1521
1522         netif_carrier_off(ndev);
1523         ret = register_netdev(ndev);
1524         if (ret) {
1525                 dev_err(&pdev->dev, "failed to register TSE net device\n");
1526                 goto err_register_netdev;
1527         }
1528
1529         platform_set_drvdata(pdev, ndev);
1530
1531         priv->revision = ioread32(&priv->mac_dev->megacore_revision);
1532
1533         if (netif_msg_probe(priv))
1534                 dev_info(&pdev->dev, "Altera TSE MAC version %d.%d at 0x%08lx irq %d/%d\n",
1535                          (priv->revision >> 8) & 0xff,
1536                          priv->revision & 0xff,
1537                          (unsigned long) control_port->start, priv->rx_irq,
1538                          priv->tx_irq);
1539
1540         ret = init_phy(ndev);
1541         if (ret != 0) {
1542                 netdev_err(ndev, "Cannot attach to PHY (error: %d)\n", ret);
1543                 goto err_init_phy;
1544         }
1545         return 0;
1546
1547 err_init_phy:
1548         unregister_netdev(ndev);
1549 err_register_netdev:
1550         netif_napi_del(&priv->napi);
1551         altera_tse_mdio_destroy(ndev);
1552 err_free_netdev:
1553         free_netdev(ndev);
1554         return ret;
1555 }
1556
1557 /* Remove Altera TSE MAC device
1558  */
1559 static int altera_tse_remove(struct platform_device *pdev)
1560 {
1561         struct net_device *ndev = platform_get_drvdata(pdev);
1562         struct altera_tse_private *priv = netdev_priv(ndev);
1563
1564         if (priv->phydev)
1565                 phy_disconnect(priv->phydev);
1566
1567         platform_set_drvdata(pdev, NULL);
1568         altera_tse_mdio_destroy(ndev);
1569         unregister_netdev(ndev);
1570         free_netdev(ndev);
1571
1572         return 0;
1573 }
1574
1575 static const struct altera_dmaops altera_dtype_sgdma = {
1576         .altera_dtype = ALTERA_DTYPE_SGDMA,
1577         .dmamask = 32,
1578         .reset_dma = sgdma_reset,
1579         .enable_txirq = sgdma_enable_txirq,
1580         .enable_rxirq = sgdma_enable_rxirq,
1581         .disable_txirq = sgdma_disable_txirq,
1582         .disable_rxirq = sgdma_disable_rxirq,
1583         .clear_txirq = sgdma_clear_txirq,
1584         .clear_rxirq = sgdma_clear_rxirq,
1585         .tx_buffer = sgdma_tx_buffer,
1586         .tx_completions = sgdma_tx_completions,
1587         .add_rx_desc = sgdma_add_rx_desc,
1588         .get_rx_status = sgdma_rx_status,
1589         .init_dma = sgdma_initialize,
1590         .uninit_dma = sgdma_uninitialize,
1591         .start_rxdma = sgdma_start_rxdma,
1592 };
1593
1594 static const struct altera_dmaops altera_dtype_msgdma = {
1595         .altera_dtype = ALTERA_DTYPE_MSGDMA,
1596         .dmamask = 64,
1597         .reset_dma = msgdma_reset,
1598         .enable_txirq = msgdma_enable_txirq,
1599         .enable_rxirq = msgdma_enable_rxirq,
1600         .disable_txirq = msgdma_disable_txirq,
1601         .disable_rxirq = msgdma_disable_rxirq,
1602         .clear_txirq = msgdma_clear_txirq,
1603         .clear_rxirq = msgdma_clear_rxirq,
1604         .tx_buffer = msgdma_tx_buffer,
1605         .tx_completions = msgdma_tx_completions,
1606         .add_rx_desc = msgdma_add_rx_desc,
1607         .get_rx_status = msgdma_rx_status,
1608         .init_dma = msgdma_initialize,
1609         .uninit_dma = msgdma_uninitialize,
1610         .start_rxdma = msgdma_start_rxdma,
1611 };
1612
1613 static const struct of_device_id altera_tse_ids[] = {
1614         { .compatible = "altr,tse-msgdma-1.0", .data = &altera_dtype_msgdma, },
1615         { .compatible = "altr,tse-1.0", .data = &altera_dtype_sgdma, },
1616         { .compatible = "ALTR,tse-1.0", .data = &altera_dtype_sgdma, },
1617         {},
1618 };
1619 MODULE_DEVICE_TABLE(of, altera_tse_ids);
1620
1621 static struct platform_driver altera_tse_driver = {
1622         .probe          = altera_tse_probe,
1623         .remove         = altera_tse_remove,
1624         .suspend        = NULL,
1625         .resume         = NULL,
1626         .driver         = {
1627                 .name   = ALTERA_TSE_RESOURCE_NAME,
1628                 .of_match_table = altera_tse_ids,
1629         },
1630 };
1631
1632 module_platform_driver(altera_tse_driver);
1633
1634 MODULE_AUTHOR("Altera Corporation");
1635 MODULE_DESCRIPTION("Altera Triple Speed Ethernet MAC driver");
1636 MODULE_LICENSE("GPL v2");