net/ipv6/seg6_iptunnel.c

   1 /*
   2  *  SR-IPv6 implementation
   3  *
   4  *  Author:
   5  *  David Lebrun <david.lebrun@uclouvain.be>
   6  *
   7  *
   8  *  This program is free software; you can redistribute it and/or
   9  *        modify it under the terms of the GNU General Public License
  10  *        as published by the Free Software Foundation; either version
  11  *        2 of the License, or (at your option) any later version.
  12  */
  13
  14 #include <linux/types.h>
  15 #include <linux/skbuff.h>
  16 #include <linux/net.h>
  17 #include <linux/module.h>
  18 #include <net/ip.h>
  19 #include <net/ip_tunnels.h>
  20 #include <net/lwtunnel.h>
  21 #include <net/netevent.h>
  22 #include <net/netns/generic.h>
  23 #include <net/ip6_fib.h>
  24 #include <net/route.h>
  25 #include <net/seg6.h>
  26 #include <linux/seg6.h>
  27 #include <linux/seg6_iptunnel.h>
  28 #include <net/addrconf.h>
  29 #include <net/ip6_route.h>
  30 #include <net/dst_cache.h>
  31 #ifdef CONFIG_IPV6_SEG6_HMAC
  32 #include <net/seg6_hmac.h>
  33 #endif
  34
  35 struct seg6_lwt {
  36         struct dst_cache cache;
  37         struct seg6_iptunnel_encap tuninfo[0];
  38 };
  39
  40 static inline struct seg6_lwt *seg6_lwt_lwtunnel(struct lwtunnel_state *lwt)
  41 {
  42         return (struct seg6_lwt *)lwt->data;
  43 }
  44
  45 static inline struct seg6_iptunnel_encap *
  46 seg6_encap_lwtunnel(struct lwtunnel_state *lwt)
  47 {
  48         return seg6_lwt_lwtunnel(lwt)->tuninfo;
  49 }
  50
  51 static const struct nla_policy seg6_iptunnel_policy[SEG6_IPTUNNEL_MAX + 1] = {
  52         [SEG6_IPTUNNEL_SRH]     = { .type = NLA_BINARY },
  53 };
  54
  55 static int nla_put_srh(struct sk_buff *skb, int attrtype,
  56                        struct seg6_iptunnel_encap *tuninfo)
  57 {
  58         struct seg6_iptunnel_encap *data;
  59         struct nlattr *nla;
  60         int len;
  61
  62         len = SEG6_IPTUN_ENCAP_SIZE(tuninfo);
  63
  64         nla = nla_reserve(skb, attrtype, len);
  65         if (!nla)
  66                 return -EMSGSIZE;
  67
  68         data = nla_data(nla);
  69         memcpy(data, tuninfo, len);
  70
  71         return 0;
  72 }
  73
  74 static void set_tun_src(struct net *net, struct net_device *dev,
  75                         struct in6_addr *daddr, struct in6_addr *saddr)
  76 {
  77         struct seg6_pernet_data *sdata = seg6_pernet(net);
  78         struct in6_addr *tun_src;
  79
  80         rcu_read_lock();
  81
  82         tun_src = rcu_dereference(sdata->tun_src);
  83
  84         if (!ipv6_addr_any(tun_src)) {
  85                 memcpy(saddr, tun_src, sizeof(struct in6_addr));
  86         } else {
  87                 ipv6_dev_get_saddr(net, dev, daddr, IPV6_PREFER_SRC_PUBLIC,
  88                                    saddr);
  89         }
  90
  91         rcu_read_unlock();
  92 }
  93
  94 /* Compute flowlabel for outer IPv6 header */
  95 static __be32 seg6_make_flowlabel(struct net *net, struct sk_buff *skb,
  96                                   struct ipv6hdr *inner_hdr)
  97 {
  98         int do_flowlabel = net->ipv6.sysctl.seg6_flowlabel;
  99         __be32 flowlabel = 0;
 100         u32 hash;
 101
 102         if (do_flowlabel > 0) {
 103                 hash = skb_get_hash(skb);
 104                 hash = rol32(hash, 16);
 105                 flowlabel = (__force __be32)hash & IPV6_FLOWLABEL_MASK;
 106         } else if (!do_flowlabel && skb->protocol == htons(ETH_P_IPV6)) {
 107                 flowlabel = ip6_flowlabel(inner_hdr);
 108         }
 109         return flowlabel;
 110 }
 111
 112 /* encapsulate an IPv6 packet within an outer IPv6 header with a given SRH */
 113 int seg6_do_srh_encap(struct sk_buff *skb, struct ipv6_sr_hdr *osrh, int proto)
 114 {
 115         struct dst_entry *dst = skb_dst(skb);
 116         struct net *net = dev_net(dst->dev);
 117         struct ipv6hdr *hdr, *inner_hdr;
 118         struct ipv6_sr_hdr *isrh;
 119         int hdrlen, tot_len, err;
 120         __be32 flowlabel;
 121
 122         hdrlen = (osrh->hdrlen + 1) << 3;
 123         tot_len = hdrlen + sizeof(*hdr);
 124
 125         err = skb_cow_head(skb, tot_len + skb->mac_len);
 126         if (unlikely(err))
 127                 return err;
 128
 129         inner_hdr = ipv6_hdr(skb);
 130         flowlabel = seg6_make_flowlabel(net, skb, inner_hdr);
 131
 132         skb_push(skb, tot_len);
 133         skb_reset_network_header(skb);
 134         skb_mac_header_rebuild(skb);
 135         hdr = ipv6_hdr(skb);
 136
 137         /* inherit tc, flowlabel and hlim
 138          * hlim will be decremented in ip6_forward() afterwards and
 139          * decapsulation will overwrite inner hlim with outer hlim
 140          */
 141
 142         if (skb->protocol == htons(ETH_P_IPV6)) {
 143                 ip6_flow_hdr(hdr, ip6_tclass(ip6_flowinfo(inner_hdr)),
 144                              flowlabel);
 145                 hdr->hop_limit = inner_hdr->hop_limit;
 146         } else {
 147                 ip6_flow_hdr(hdr, 0, flowlabel);
 148                 hdr->hop_limit = ip6_dst_hoplimit(skb_dst(skb));
 149
 150                 memset(IP6CB(skb), 0, sizeof(*IP6CB(skb)));
 151
 152                 /* the control block has been erased, so we have to set the
 153                  * iif once again.
 154                  * We read the receiving interface index directly from the
 155                  * skb->skb_iif as it is done in the IPv4 receiving path (i.e.:
 156                  * ip_rcv_core(...)).
 157                  */
 158                 IP6CB(skb)->iif = skb->skb_iif;
 159         }
 160
 161         hdr->nexthdr = NEXTHDR_ROUTING;
 162
 163         isrh = (void *)hdr + sizeof(*hdr);
 164         memcpy(isrh, osrh, hdrlen);
 165
 166         isrh->nexthdr = proto;
 167
 168         hdr->daddr = isrh->segments[isrh->first_segment];
 169         set_tun_src(net, dst->dev, &hdr->daddr, &hdr->saddr);
 170
 171 #ifdef CONFIG_IPV6_SEG6_HMAC
 172         if (sr_has_hmac(isrh)) {
 173                 err = seg6_push_hmac(net, &hdr->saddr, isrh);
 174                 if (unlikely(err))
 175                         return err;
 176         }
 177 #endif
 178
 179         hdr->payload_len = htons(skb->len - sizeof(struct ipv6hdr));
 180
 181         skb_postpush_rcsum(skb, hdr, tot_len);
 182
 183         return 0;
 184 }
 185 EXPORT_SYMBOL_GPL(seg6_do_srh_encap);
 186
 187 /* insert an SRH within an IPv6 packet, just after the IPv6 header */
 188 int seg6_do_srh_inline(struct sk_buff *skb, struct ipv6_sr_hdr *osrh)
 189 {
 190         struct ipv6hdr *hdr, *oldhdr;
 191         struct ipv6_sr_hdr *isrh;
 192         int hdrlen, err;
 193
 194         hdrlen = (osrh->hdrlen + 1) << 3;
 195
 196         err = skb_cow_head(skb, hdrlen + skb->mac_len);
 197         if (unlikely(err))
 198                 return err;
 199
 200         oldhdr = ipv6_hdr(skb);
 201
 202         skb_pull(skb, sizeof(struct ipv6hdr));
 203         skb_postpull_rcsum(skb, skb_network_header(skb),
 204                            sizeof(struct ipv6hdr));
 205
 206         skb_push(skb, sizeof(struct ipv6hdr) + hdrlen);
 207         skb_reset_network_header(skb);
 208         skb_mac_header_rebuild(skb);
 209
 210         hdr = ipv6_hdr(skb);
 211
 212         memmove(hdr, oldhdr, sizeof(*hdr));
 213
 214         isrh = (void *)hdr + sizeof(*hdr);
 215         memcpy(isrh, osrh, hdrlen);
 216
 217         isrh->nexthdr = hdr->nexthdr;
 218         hdr->nexthdr = NEXTHDR_ROUTING;
 219
 220         isrh->segments[0] = hdr->daddr;
 221         hdr->daddr = isrh->segments[isrh->first_segment];
 222
 223 #ifdef CONFIG_IPV6_SEG6_HMAC
 224         if (sr_has_hmac(isrh)) {
 225                 struct net *net = dev_net(skb_dst(skb)->dev);
 226
 227                 err = seg6_push_hmac(net, &hdr->saddr, isrh);
 228                 if (unlikely(err))
 229                         return err;
 230         }
 231 #endif
 232
 233         hdr->payload_len = htons(skb->len - sizeof(struct ipv6hdr));
 234
 235         skb_postpush_rcsum(skb, hdr, sizeof(struct ipv6hdr) + hdrlen);
 236
 237         return 0;
 238 }
 239 EXPORT_SYMBOL_GPL(seg6_do_srh_inline);
 240
 241 static int seg6_do_srh(struct sk_buff *skb)
 242 {
 243         struct dst_entry *dst = skb_dst(skb);
 244         struct seg6_iptunnel_encap *tinfo;
 245         int proto, err = 0;
 246
 247         tinfo = seg6_encap_lwtunnel(dst->lwtstate);
 248
 249         switch (tinfo->mode) {
 250         case SEG6_IPTUN_MODE_INLINE:
 251                 if (skb->protocol != htons(ETH_P_IPV6))
 252                         return -EINVAL;
 253
 254                 err = seg6_do_srh_inline(skb, tinfo->srh);
 255                 if (err)
 256                         return err;
 257                 break;
 258         case SEG6_IPTUN_MODE_ENCAP:
 259                 err = iptunnel_handle_offloads(skb, SKB_GSO_IPXIP6);
 260                 if (err)
 261                         return err;
 262
 263                 if (skb->protocol == htons(ETH_P_IPV6))
 264                         proto = IPPROTO_IPV6;
 265                 else if (skb->protocol == htons(ETH_P_IP))
 266                         proto = IPPROTO_IPIP;
 267                 else
 268                         return -EINVAL;
 269
 270                 err = seg6_do_srh_encap(skb, tinfo->srh, proto);
 271                 if (err)
 272                         return err;
 273
 274                 skb_set_inner_transport_header(skb, skb_transport_offset(skb));
 275                 skb_set_inner_protocol(skb, skb->protocol);
 276                 skb->protocol = htons(ETH_P_IPV6);
 277                 break;
 278         case SEG6_IPTUN_MODE_L2ENCAP:
 279                 if (!skb_mac_header_was_set(skb))
 280                         return -EINVAL;
 281
 282                 if (pskb_expand_head(skb, skb->mac_len, 0, GFP_ATOMIC) < 0)
 283                         return -ENOMEM;
 284
 285                 skb_mac_header_rebuild(skb);
 286                 skb_push(skb, skb->mac_len);
 287
 288                 err = seg6_do_srh_encap(skb, tinfo->srh, NEXTHDR_NONE);
 289                 if (err)
 290                         return err;
 291
 292                 skb->protocol = htons(ETH_P_IPV6);
 293                 break;
 294         }
 295
 296         skb_set_transport_header(skb, sizeof(struct ipv6hdr));
 297
 298         return 0;
 299 }
 300
 301 static int seg6_input(struct sk_buff *skb)
 302 {
 303         struct dst_entry *orig_dst = skb_dst(skb);
 304         struct dst_entry *dst = NULL;
 305         struct seg6_lwt *slwt;
 306         int err;
 307
 308         err = seg6_do_srh(skb);
 309         if (unlikely(err)) {
 310                 kfree_skb(skb);
 311                 return err;
 312         }
 313
 314         slwt = seg6_lwt_lwtunnel(orig_dst->lwtstate);
 315
 316         preempt_disable();
 317         dst = dst_cache_get(&slwt->cache);
 318         preempt_enable();
 319
 320         skb_dst_drop(skb);
 321
 322         if (!dst) {
 323                 ip6_route_input(skb);
 324                 dst = skb_dst(skb);
 325                 if (!dst->error) {
 326                         preempt_disable();
 327                         dst_cache_set_ip6(&slwt->cache, dst,
 328                                           &ipv6_hdr(skb)->saddr);
 329                         preempt_enable();
 330                 }
 331         } else {
 332                 skb_dst_set(skb, dst);
 333         }
 334
 335         err = skb_cow_head(skb, LL_RESERVED_SPACE(dst->dev));
 336         if (unlikely(err))
 337                 return err;
 338
 339         return dst_input(skb);
 340 }
 341
 342 static int seg6_output(struct net *net, struct sock *sk, struct sk_buff *skb)
 343 {
 344         struct dst_entry *orig_dst = skb_dst(skb);
 345         struct dst_entry *dst = NULL;
 346         struct seg6_lwt *slwt;
 347         int err = -EINVAL;
 348
 349         err = seg6_do_srh(skb);
 350         if (unlikely(err))
 351                 goto drop;
 352
 353         slwt = seg6_lwt_lwtunnel(orig_dst->lwtstate);
 354
 355         preempt_disable();
 356         dst = dst_cache_get(&slwt->cache);
 357         preempt_enable();
 358
 359         if (unlikely(!dst)) {
 360                 struct ipv6hdr *hdr = ipv6_hdr(skb);
 361                 struct flowi6 fl6;
 362
 363                 memset(&fl6, 0, sizeof(fl6));
 364                 fl6.daddr = hdr->daddr;
 365                 fl6.saddr = hdr->saddr;
 366                 fl6.flowlabel = ip6_flowinfo(hdr);
 367                 fl6.flowi6_mark = skb->mark;
 368                 fl6.flowi6_proto = hdr->nexthdr;
 369
 370                 dst = ip6_route_output(net, NULL, &fl6);
 371                 if (dst->error) {
 372                         err = dst->error;
 373                         dst_release(dst);
 374                         goto drop;
 375                 }
 376
 377                 preempt_disable();
 378                 dst_cache_set_ip6(&slwt->cache, dst, &fl6.saddr);
 379                 preempt_enable();
 380         }
 381
 382         skb_dst_drop(skb);
 383         skb_dst_set(skb, dst);
 384
 385         err = skb_cow_head(skb, LL_RESERVED_SPACE(dst->dev));
 386         if (unlikely(err))
 387                 goto drop;
 388
 389         return dst_output(net, sk, skb);
 390 drop:
 391         kfree_skb(skb);
 392         return err;
 393 }
 394
 395 static int seg6_build_state(struct nlattr *nla,
 396                             unsigned int family, const void *cfg,
 397                             struct lwtunnel_state **ts,
 398                             struct netlink_ext_ack *extack)
 399 {
 400         struct nlattr *tb[SEG6_IPTUNNEL_MAX + 1];
 401         struct seg6_iptunnel_encap *tuninfo;
 402         struct lwtunnel_state *newts;
 403         int tuninfo_len, min_size;
 404         struct seg6_lwt *slwt;
 405         int err;
 406
 407         if (family != AF_INET && family != AF_INET6)
 408                 return -EINVAL;
 409
 410         err = nla_parse_nested(tb, SEG6_IPTUNNEL_MAX, nla,
 411                                seg6_iptunnel_policy, extack);
 412
 413         if (err < 0)
 414                 return err;
 415
 416         if (!tb[SEG6_IPTUNNEL_SRH])
 417                 return -EINVAL;
 418
 419         tuninfo = nla_data(tb[SEG6_IPTUNNEL_SRH]);
 420         tuninfo_len = nla_len(tb[SEG6_IPTUNNEL_SRH]);
 421
 422         /* tuninfo must contain at least the iptunnel encap structure,
 423          * the SRH and one segment
 424          */
 425         min_size = sizeof(*tuninfo) + sizeof(struct ipv6_sr_hdr) +
 426                    sizeof(struct in6_addr);
 427         if (tuninfo_len < min_size)
 428                 return -EINVAL;
 429
 430         switch (tuninfo->mode) {
 431         case SEG6_IPTUN_MODE_INLINE:
 432                 if (family != AF_INET6)
 433                         return -EINVAL;
 434
 435                 break;
 436         case SEG6_IPTUN_MODE_ENCAP:
 437                 break;
 438         case SEG6_IPTUN_MODE_L2ENCAP:
 439                 break;
 440         default:
 441                 return -EINVAL;
 442         }
 443
 444         /* verify that SRH is consistent */
 445         if (!seg6_validate_srh(tuninfo->srh, tuninfo_len - sizeof(*tuninfo)))
 446                 return -EINVAL;
 447
 448         newts = lwtunnel_state_alloc(tuninfo_len + sizeof(*slwt));
 449         if (!newts)
 450                 return -ENOMEM;
 451
 452         slwt = seg6_lwt_lwtunnel(newts);
 453
 454         err = dst_cache_init(&slwt->cache, GFP_ATOMIC);
 455         if (err) {
 456                 kfree(newts);
 457                 return err;
 458         }
 459
 460         memcpy(&slwt->tuninfo, tuninfo, tuninfo_len);
 461
 462         newts->type = LWTUNNEL_ENCAP_SEG6;
 463         newts->flags |= LWTUNNEL_STATE_INPUT_REDIRECT;
 464
 465         if (tuninfo->mode != SEG6_IPTUN_MODE_L2ENCAP)
 466                 newts->flags |= LWTUNNEL_STATE_OUTPUT_REDIRECT;
 467
 468         newts->headroom = seg6_lwt_headroom(tuninfo);
 469
 470         *ts = newts;
 471
 472         return 0;
 473 }
 474
 475 static void seg6_destroy_state(struct lwtunnel_state *lwt)
 476 {
 477         dst_cache_destroy(&seg6_lwt_lwtunnel(lwt)->cache);
 478 }
 479
 480 static int seg6_fill_encap_info(struct sk_buff *skb,
 481                                 struct lwtunnel_state *lwtstate)
 482 {
 483         struct seg6_iptunnel_encap *tuninfo = seg6_encap_lwtunnel(lwtstate);
 484
 485         if (nla_put_srh(skb, SEG6_IPTUNNEL_SRH, tuninfo))
 486                 return -EMSGSIZE;
 487
 488         return 0;
 489 }
 490
 491 static int seg6_encap_nlsize(struct lwtunnel_state *lwtstate)
 492 {
 493         struct seg6_iptunnel_encap *tuninfo = seg6_encap_lwtunnel(lwtstate);
 494
 495         return nla_total_size(SEG6_IPTUN_ENCAP_SIZE(tuninfo));
 496 }
 497
 498 static int seg6_encap_cmp(struct lwtunnel_state *a, struct lwtunnel_state *b)
 499 {
 500         struct seg6_iptunnel_encap *a_hdr = seg6_encap_lwtunnel(a);
 501         struct seg6_iptunnel_encap *b_hdr = seg6_encap_lwtunnel(b);
 502         int len = SEG6_IPTUN_ENCAP_SIZE(a_hdr);
 503
 504         if (len != SEG6_IPTUN_ENCAP_SIZE(b_hdr))
 505                 return 1;
 506
 507         return memcmp(a_hdr, b_hdr, len);
 508 }
 509
 510 static const struct lwtunnel_encap_ops seg6_iptun_ops = {
 511         .build_state = seg6_build_state,
 512         .destroy_state = seg6_destroy_state,
 513         .output = seg6_output,
 514         .input = seg6_input,
 515         .fill_encap = seg6_fill_encap_info,
 516         .get_encap_size = seg6_encap_nlsize,
 517         .cmp_encap = seg6_encap_cmp,
 518         .owner = THIS_MODULE,
 519 };
 520
 521 int __init seg6_iptunnel_init(void)
 522 {
 523         return lwtunnel_encap_add_ops(&seg6_iptun_ops, LWTUNNEL_ENCAP_SEG6);
 524 }
 525
 526 void seg6_iptunnel_exit(void)
 527 {
 528         lwtunnel_encap_del_ops(&seg6_iptun_ops, LWTUNNEL_ENCAP_SEG6);
 529 }