Problems on fra1? (216.66.80.30) Serious packet loss since a couple of days

[4920441]

Hi,

are there any load problems on the fra1 server currently known?  I use the tunnel since more than only a couple of years and in the last days I am getting serios packet loss (about 20-50%)  and it does not seem to get any better (my local Provider is T-Com).

Another tunnel to Prague works fine, but its certainly another routed network from there, so that does not really help without some work :-/

Any thoughts?

Thank you very much for your help!

And HE is *VERY* appreciated, I like using ist :-)

Cheers

[4920441]

Hey there,

thanks of a bank holiday I could narrow down the problem to  hurricane electrics - either a saturation problem or something else where HE should take a look at:

This is from COLT Network to FRA  25% loss or more, when it runs longer times:

ping 216.66.80.30
PING 216.66.80.30 (216.66.80.30) 56(84) bytes of data.
64 bytes from 216.66.80.30: icmp_seq=1 ttl=58 time=6.78 ms
64 bytes from 216.66.80.30: icmp_seq=2 ttl=58 time=21.7 ms
64 bytes from 216.66.80.30: icmp_seq=4 ttl=58 time=6.70 ms
64 bytes from 216.66.80.30: icmp_seq=5 ttl=58 time=12.2 ms
64 bytes from 216.66.80.30: icmp_seq=6 ttl=58 time=9.72 ms
64 bytes from 216.66.80.30: icmp_seq=7 ttl=58 time=9.34 ms
64 bytes from 216.66.80.30: icmp_seq=8 ttl=58 time=45.1 ms
64 bytes from 216.66.80.30: icmp_seq=9 ttl=58 time=6.76 ms
64 bytes from 216.66.80.30: icmp_seq=10 ttl=58 time=12.2 ms
64 bytes from 216.66.80.30: icmp_seq=11 ttl=58 time=15.5 ms
64 bytes from 216.66.80.30: icmp_seq=13 ttl=58 time=12.5 ms
64 bytes from 216.66.80.30: icmp_seq=14 ttl=58 time=10.5 ms
64 bytes from 216.66.80.30: icmp_seq=15 ttl=58 time=14.2 ms
64 bytes from 216.66.80.30: icmp_seq=16 ttl=58 time=75.3 ms
64 bytes from 216.66.80.30: icmp_seq=18 ttl=58 time=6.83 ms
^C
--- 216.66.80.30 ping statistics ---
20 packets transmitted, 15 received, 25% packet loss, time 19068ms
rtt min/avg/max/mdev = 6.704/17.699/75.315/17.987 ms


This is from Hetzner  37% Packet loss and counting:

ping 216.66.80.30
PING 216.66.80.30 (216.66.80.30) 56(84) bytes of data.
64 bytes from 216.66.80.30: icmp_seq=1 ttl=59 time=11.2 ms
64 bytes from 216.66.80.30: icmp_seq=2 ttl=59 time=5.04 ms
64 bytes from 216.66.80.30: icmp_seq=3 ttl=59 time=54.6 ms
64 bytes from 216.66.80.30: icmp_seq=4 ttl=59 time=5.01 ms
64 bytes from 216.66.80.30: icmp_seq=5 ttl=59 time=11.0 ms
64 bytes from 216.66.80.30: icmp_seq=7 ttl=59 time=8.60 ms
64 bytes from 216.66.80.30: icmp_seq=8 ttl=59 time=18.7 ms
64 bytes from 216.66.80.30: icmp_seq=14 ttl=59 time=9.37 ms
64 bytes from 216.66.80.30: icmp_seq=15 ttl=59 time=5.02 ms
64 bytes from 216.66.80.30: icmp_seq=17 ttl=59 time=4.99 ms
^C^V64 bytes from 216.66.80.30: icmp_seq=20 ttl=59 time=7.24 ms
64 bytes from 216.66.80.30: icmp_seq=21 ttl=59 time=5.01 ms
64 bytes from 216.66.80.30: icmp_seq=22 ttl=59 time=17.7 ms
64 bytes from 216.66.80.30: icmp_seq=23 ttl=59 time=47.4 ms
64 bytes from 216.66.80.30: icmp_seq=24 ttl=59 time=24.2 ms
^C^
--- 216.66.80.30 ping statistics ---
24 packets transmitted, 15 received, 37% packet loss, time 23177ms
rtt min/avg/max/mdev = 4.999/15.702/54.692/15.028 ms


This is from Orcacle Cloud Ashburn  56% Packet loss:

ping 216.66.80.30
PING 216.66.80.30 (216.66.80.30) 56(84) bytes of data.
64 bytes from 216.66.80.30: icmp_seq=1 ttl=57 time=84.0 ms
64 bytes from 216.66.80.30: icmp_seq=4 ttl=57 time=89.4 ms
64 bytes from 216.66.80.30: icmp_seq=5 ttl=57 time=84.8 ms
64 bytes from 216.66.80.30: icmp_seq=7 ttl=57 time=88.2 ms
^C
--- 216.66.80.30 ping statistics ---
9 packets transmitted, 4 received, 55.5556% packet loss, time 8142ms
rtt min/avg/max/mdev = 84.008/86.600/89.374/2.248 ms



This one is from "Hostpapa USA"  with about 15% going also up after a while...

ping 216.66.80.30
PING 216.66.80.30 (216.66.80.30) 56(84) bytes of data.
64 bytes from 216.66.80.30: icmp_seq=1 ttl=45 time=101 ms
64 bytes from 216.66.80.30: icmp_seq=2 ttl=45 time=106 ms
64 bytes from 216.66.80.30: icmp_seq=3 ttl=45 time=101 ms
64 bytes from 216.66.80.30: icmp_seq=4 ttl=45 time=107 ms
64 bytes from 216.66.80.30: icmp_seq=7 ttl=45 time=102 ms
64 bytes from 216.66.80.30: icmp_seq=8 ttl=45 time=106 ms
64 bytes from 216.66.80.30: icmp_seq=9 ttl=45 time=101 ms
64 bytes from 216.66.80.30: icmp_seq=10 ttl=45 time=101 ms
64 bytes from 216.66.80.30: icmp_seq=11 ttl=45 time=104 ms
64 bytes from 216.66.80.30: icmp_seq=12 ttl=45 time=120 ms
64 bytes from 216.66.80.30: icmp_seq=13 ttl=45 time=109 ms
^C
--- 216.66.80.30 ping statistics ---
13 packets transmitted, 11 received, 15% packet loss, time 12011ms
rtt min/avg/max/mdev = 101.439/105.760/120.070/5.339 ms



This one is Manitu Germany (near Frankfurt) - also the same wit around 33% Packet Loss:

ping 216.66.80.30
PING 216.66.80.30 (216.66.80.30) 56(84) bytes of data.
64 bytes from 216.66.80.30: icmp_seq=1 ttl=58 time=10.0 ms
64 bytes from 216.66.80.30: icmp_seq=3 ttl=58 time=8.10 ms
64 bytes from 216.66.80.30: icmp_seq=4 ttl=58 time=5.43 ms
64 bytes from 216.66.80.30: icmp_seq=6 ttl=58 time=5.13 ms
64 bytes from 216.66.80.30: icmp_seq=7 ttl=58 time=5.20 ms
64 bytes from 216.66.80.30: icmp_seq=8 ttl=58 time=9.09 ms
64 bytes from 216.66.80.30: icmp_seq=9 ttl=58 time=18.2 ms
64 bytes from 216.66.80.30: icmp_seq=11 ttl=58 time=8.89 ms
^C
--- 216.66.80.30 ping statistics ---
12 packets transmitted, 8 received, 33.3333% packet loss, time 11102ms
rtt min/avg/max/mdev = 5.126/8.751/18.171/3.994 ms




As far as traceroute resolves the hops, it seems  only the port-channel12.core2.fra1.he.net  and  tserv1.fra1.he.net  seems to be the same at all routes from all above providers....




traceroute  216.66.80.30
traceroute to 216.66.80.30 (216.66.80.30), 30 hops max, 60 byte packets
 1  1.82.238.89.in-addr.arpa.manitu.net (89.238.82.1)  0.271 ms  0.255 ms  0.241 ms
 2  vsenetip.gw.network.manitu.net (89.238.127.30)  1.225 ms  1.240 ms  1.223 ms
 3  et-2-0-5.0.vs-core-r1.6838.ip.vsenet.de (217.24.235.181)  1.537 ms et-5-0-2.0.vs-dis-r2.6838.ip.vsenet.de (217.24.235.190)  1.330 ms et-2-0-5.0.vs-core-r1.6838.ip.vsenet.de (217.24.235.181)  1.562 ms
 4  et-2-0-2.0.vs-core-r2.6838.ip.vsenet.de (217.24.235.178)  1.629 ms et-2-1-2.0.vs-core-r1.6898.ip-addr.vsenet.de (217.24.235.153)  2.444 ms et-2-0-5.0.vs-core-r2.6838.ip.vsenet.de (217.24.235.185)  1.486 ms
 5  et-2-1-2.0.vs-core-r2.6898.ip-addr.vsenet.de (217.24.235.157)  2.667 ms  2.684 ms  2.668 ms
 6  * * *
 7  * * port-channel12.core2.fra1.he.net (184.104.198.25)  5.785 ms
 8  tserv1.fra1.he.net (216.66.80.30)  5.199 ms  4.852 ms  5.121 ms




So... it seems the culprit IS  fra1 from hurricane electric.


Are you going to mitigate this problem or is fra1 simply overloaded?


Thanks  alot for your answer.

Cheers

[eutampieri]

Was going to open this exact discussion... here's some data from inside the tunnel

Code Select Expand

                                                                                                                    Packets               Pings
 Host                                                                                                             Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. 2001:470:etc                                                                                                   0.0%    97    0.7   0.6   0.5   0.9   0.1
 2. tunneletc.tunnel.tserv6.fra1.ipv6.he.net                                                                      32.0%    97   24.3  27.3  16.0  46.0   8.8
 3. ve118.core2.fra1.he.net                                                                                       27.1%    97   16.1  32.4  15.1  85.3  14.8
 4. (waiting for reply)
 5. de-cix-frankfurt.as13335.net                                                                                  58.3%    97   51.0  43.2  21.2 141.1  21.6
 6. 2400:cb00:933:3::                                                                                             32.3%    97   36.2  41.0  14.9 139.3  27.3
 7. one.one.one.one                                                                                               42.7%    96   34.8  37.9  20.2 102.5  16.7


Code Select Expand

                                                                                                                    Packets               Pings
 Host                                                                                                             Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. 2001:470:etc                                                                                                   0.0%    39    0.7   0.7   0.5   1.2   0.1
 2. tunneletc.tunnel.tserv6.fra1.ipv6.he.net                                                                      28.9%    38   27.7  28.2  16.6  80.8  13.4
 3. ve118.core2.fra1.he.net                                                                                       51.4%    38   27.0  28.2  15.5  47.2  10.5
 4. (waiting for reply)
 5. ipv6.de-cix.fra.de.as15169.google.com                                                                         36.8%    38   29.2  25.4  15.8  60.0   9.3
 6. 2001:4860:0:1::88d1                                                                                           36.8%    38   55.0  59.3  39.1 128.6  24.7
 7. 2001:4860:0:1::88d6                                                                                           89.2%    38   43.8  56.3  43.8  76.1  13.9
 8. 2001:4860::c:4003:364e                                                                                        31.6%    38   25.0  29.1  15.0 112.5  20.9
 9. 2001:4860::c:4001:5638                                                                                        56.8%    38   20.4  48.9  20.4  97.3  21.8
10. 2001:4860::9:4001:5634                                                                                        43.2%    38   44.8  45.5  22.3 157.7  29.2
11. 2001:4860:0:1::834d                                                                                           48.6%    38   23.5  33.0  20.5  63.4  10.8
12. 2001:4860:0:1::3e89                                                                                           35.1%    38  104.2  36.5  22.0 104.2  17.3
13. muc11s22-in-x0e.1e100.net                                                                                     55.3%    38   30.4  36.5  20.5 110.5  20.9


Code Select Expand

                                                                                                                    Packets               Pings
 Host                                                                                                             Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. 2001:470:etc                                                                                                   0.0%    72    0.9   0.7   0.5   1.3   0.1
 2. tunneletc.tunnel.tserv6.fra1.ipv6.he.net                                                                      19.4%    72   45.0 135.8  15.4 2126. 420.6
 3. ve118.core2.fra1.he.net                                                                                       31.0%    72   16.1 174.2  15.6 2086. 420.9
 4. (waiting for reply)
 5. (waiting for reply)
 6. (waiting for reply)
 7. (waiting for reply)
 8. (waiting for reply)
 9. (waiting for reply)
10. (waiting for reply)
11. (waiting for reply)
12. (waiting for reply)
13. he.net                                                                                                        40.8%    72  161.4 587.5 153.6 3245. 926.6

From outside to the tunnel

Code Select Expand

                                                                                                                    Packets               Pings
 Host                                                                                                             Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. gw.lan                                                                                                         0.0%    15    0.5   0.6   0.5   0.8   0.1
 2. (waiting for reply)
 3. 172.17.89.180                                                                                                  0.0%    15    3.2   3.3   1.9   4.0   0.6
 4. 172.17.89.66                                                                                                   0.0%    15    3.3   4.0   3.1   4.4   0.4
 5. 172.19.177.18                                                                                                 13.3%    15  2248. 183.0   9.2 2248. 620.6
 6. 195.22.196.170                                                                                                 0.0%    15    7.7   8.3   6.9   9.5   0.6
 7. 195.22.196.137                                                                                                 0.0%    15   19.6  21.6  19.1  31.6   3.9
 8. port-channel6.core1.fra1.he.net                                                                                0.0%    14   16.0  16.8  16.0  17.6   0.6
 9. port-channel16.core3.fra1.he.net                                                                              76.9%    14   31.2  26.5  19.2  31.2   6.4
10. port-channel12.core2.fra1.he.net                                                                               0.0%    14   18.8  18.0  17.0  19.1   0.6
11. tserv1.fra1.he.net                                                                                            23.1%    14   17.0  25.4  16.0  80.6  19.7


Code Select Expand

                                                                                                                    Packets               Pings
 Host                                                                                                             Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. AS16276  2001:41d0:xxx:xxxx::1                                                                                 0.0%    83    0.2   0.2   0.1   0.8   0.1
 2. AS???    fd00::ffe                                                                                             0.0%    83    0.2   0.3   0.2   0.8   0.1
 3. AS16276  2001:41d0:0:1:3::4a3f                                                                                 0.0%    83    0.3   0.4   0.3   0.6   0.1
 4. AS16276  2001:41d0:0:1:3::48a2                                                                                 0.0%    83    0.3   0.4   0.3   0.7   0.1
 5. AS16276  2001:41d0:0:1:3::4b58                                                                                 2.4%    83    0.4   0.4   0.3   0.6   0.1
 6. AS16276  2001:41d0:0:50::5:3904                                                                                1.2%    83    0.4   0.4   0.3   0.6   0.1
 7. AS???    fdff:f003:18::c                                                                                      58.5%    83    2.1   2.7   1.1   4.2   0.8
 8. AS16276  2001:41d0:20a:600::39                                                                                37.8%    83    1.7   1.9   1.7   2.4   0.1
 9. AS16276  be300.fra-fr5-pb4-nc5.de.eu                                                                          24.1%    83    1.7   2.0   1.7  12.7   1.4
10. (waiting for reply)
11. (waiting for reply)
12. AS6939   e0-33.core2.muc1.he.net                                                                              22.0%    83   26.6  26.6  26.2  29.3   0.4
13. (waiting for reply)
14. (waiting for reply)
15. AS6939   port-channel12.core2.fra1.he.net                                                                      3.6%    83   26.4  26.9  26.2  33.5   1.1
16. AS6939   tserv1.fra1.he.net                                                                                   30.5%    83   31.1  38.1  26.5  93.7  16.4
17. AS6939   tunnel800784-pt.tunnel.tserv6.fra1.ipv6.he.net                                                       48.1%    82   44.0  55.0  41.0 103.1  13.1
18. AS6939   2001:470:xxxx:xxx:xxxx:xxxx:xxxx:xxxx                                                                51.9%    82   42.5  55.4  40.6 132.1  20.0
This is not interesting, I think, but I have no loss to he.net from there

Code Select Expand

                                                                                                                    Packets               Pings
 Host                                                                                                             Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. (waiting for reply)
 2. 2001:b00:5:10::88                                                                                             95.5%    90   14.2  14.1  13.5  14.3   0.4
 3. 2001:b00:1:1:1::5f                                                                                             0.0%    90   12.9  12.8  12.3  15.6   0.4
 4. 2001:b00:1:1:1::1a6                                                                                           74.2%    90   13.5  64.0  13.3 299.8  79.8
 5. (waiting for reply)
 6. (waiting for reply)
 7. (waiting for reply)
 8. (waiting for reply)
 9. tserv1.fra1.he.net                                                                                            26.7%    90   32.7  37.8  29.4 136.3  15.0
10. (waiting for reply)
11. 2001:470:xxxx:xxx:xxxx:xxxx:xxxx:xxxx                                                                         48.9%    89   61.0  58.8  42.3 160.4  22.8


[eutampieri]

I've opened a ticket because I've read in the FAQs that it is the appropriate way.

[jostreff]

is it possible to have ticket opened for free service, and where to open such?

Here is how it looks for me with almost 50% packet loss for ipv6:
 8. port-channel12.core2.fra1.he.net                          0.8%   241   29.6  29.7  29.1  36.6   0.9
 9. tserv1.fra1.he.net                                       30.0%   241   34.3  35.9  28.5 109.1  11.2
10. jostreff-2-pt.tunnel.tserv6.fra1.ipv6.he.net             48.5%   241   60.8  72.8  56.3 186.3  23.7