[lacnog] Problemas con CenturyLink

Roque Gagliano rgaglian en gmail.com
Vie Sep 4 04:06:00 GMT+3 2020 

Hola, a mí me parece importante el problema de la rutas que persistieron.
Eso afectó la "estabilidad" de la red  e hizo que varios colegas que
crearon redes "resilientes" vieron como sus backups no funcionaban. De
última fue la mayor causa de problemas.

Hay algunas discusiones sobre si el problema es que en el interno de la red
el problema fue la dificultad para la convergencia BGP y el uso de la
RFC7313. Por otro lado, la pregunta sobre si se deberían volver a pensar en
dampening o alguna comunidades para ayudar la convergencia.

En conclusión, las conclusiones de este incidente no es sólo útil para
mejorar prácticas de operación, pero pueden haber discusiones sobre cómo
mejorar la resilience ante problemas en redes "too big to fail".

On Wed, Sep 2, 2020 at 8:25 PM laura kaplan <lkaplan en lacnic.net> wrote:

> Muy bueno Arturo, gracias por compartir.
>
> Laura
> El 2/9/20 a las 12:12, Nicolas Antoniello escribió:
>
> Excelente ejemplo Arturo!
>
> Creo que, como menciona Jorge, podríamos (desde LACNOG) elaborar un
> documento en base a todas las contribuciones y ponerlo a disposición de la
> comunidad para que eventualmente y voluntariamente lo adopten y adapten a
> su realidad?
> Me encantó el posible nombre "Learning from failure culture"
> Fraterno saludo,
> Nico
>
>
> El mié., 2 de sep. de 2020 a la(s) 11:12, Arturo Servin (
> arturo.servin en gmail.com) escribió:
>
>>
>> En Google existe el "Blameless culture", sin eso seria imposible hacer
>> cambios y mejoras en la infraestructura. Este es un artículo interesante
>> acerca de esto:
>>
>> https://landing.google.com/sre/sre-book/chapters/postmortem-culture/
>>
>> Saludos
>> as
>>
>>
>> On Tue, Sep 1, 2020 at 4:27 PM Nicolas Antoniello <nantoniello en gmail.com>
>> wrote:
>>
>>> +1
>>> Si las cosas no se "rompieran" o no cometamos errores alguna vez,
>>> quienes trabajamos en Operaciones alguna vez, no tendríamos trabajo...
>>> justamente de eso se trata operaciones: de estar al atento, de resolver
>>> problemas y de operar equipos (o como decimos en UY: meter mano).
>>> Equivocarse no es malo, se aprende mucho de los errores y bueno, tenemos la
>>> "suerte" (frente a otras disciplinas) de que aún hoy donde muchas cosas
>>> dependen de la conectividad de red, el impacto sobre sistemas de soporte de
>>> vida es bastante menor (comparado con otras disciplinas claro está).
>>> Entonces, descartando intencionalidad, estas cosas siempre van a suceder
>>> y lo bueno es aprender de ellas entre todos y hacer los sistemas y las
>>> redes más resilientes a estos acontecimientos (que en un futuro
>>> relativamente cercano seguramente tendrán un impacto mucho mayor en la
>>> seguridad y en la vida de las personas que el que ya poseen).
>>> En gran medida, para eso fue creado este espacio de LACNOG.
>>>
>>> Por ejemplo, a partir de estas cosas, sería deseable que muchos
>>> desarrolladores y fabricantes de sistemas de automatización de
>>> provisioning, deployment de configuraciones y de seguridad, puedan mejorar
>>> sus sistemas introduciendo chequeos adicionales antes de aplicar políticas
>>> de filtrado (por ejemplo), de forma que estos mecanismos "protejan" a la
>>> red de probables afectaciones (imagino aplicaciones de IA o de Aprendizaje
>>> Automático ede ayuda a operaciones, para este tipo de chequeos
>>> automatizados y que sean capaces de advertir al operador que cierta
>>> configuración podría causar un potencial problema a la red).
>>>
>>> Fraterno saludo,
>>> Nico
>>>
>>>
>>>
>>> El mar., 1 de sep. de 2020 a la(s) 10:24, Tomas Lynch (
>>> tomas.lynch en gmail.com) escribió:
>>>
>>>> Todo el que haya operado u opere una red y que tenga a todos los
>>>> clientes llamando porque no les funciona nada sumado a los jefes
>>>> preguntando si ya esta reparada, sabrá que muchas veces solamente podemos
>>>> conjeturar lo que salió mal: un bug cuando recibió un /125, un RR que
>>>> cambió el next hop, uy mientras estaba configurando el BGP a las 7AM de un
>>>> domingo borré la lista de acceso del ssh y eso hizo disparar una alarma de
>>>> syslog que llenó el disco rígido, etc.
>>>>
>>>> Seguramente ahora en CenturyLink estarán buscando la cabeza de alguien
>>>> en Juniper o en CloudFLare, los de CloudFlare en en un open source que
>>>> bajaron de GitHub, los de Juniper en el que hace sus chips. Y todos deben
>>>> estar analizando los logs que quedaron luego de reparar la red (si es que
>>>> existen) y no creo que lleguen a una conclusión certera.
>>>>
>>>> Yo personalmente tuve problemas con flowspec en un router Juniper donde
>>>> el rdp dejó de funcionar cuando reseteamos la sesión de flowspec. No
>>>> tenemos la escala de AS3359 el corte pasó desapercibido por suerte.
>>>>
>>>> Estas cosas pasan en las redes IP y seguirán pasando. ¿Se podría haber
>>>> evitado? Con el diario de ayer seguramente.
>>>>
>>>> On Mon, Aug 31, 2020 at 6:22 PM Demian Pecile <
>>>> dpecile en sietecapas.com.ar> wrote:
>>>>
>>>>> Es un análisis post Morten de lo de ayer digamos.
>>>>>
>>>>> Saludos
>>>>>
>>>>> --
>>>>> Demian Pecile
>>>>> Siete Capas S.R.L.
>>>>> Periodistas Neuquinos 136
>>>>> Piso 4 - Dpto. A - 8300 Neuquen
>>>>> Argentina
>>>>> Tel +54-299-4479172
>>>>> Cel. +549-299-5833500
>>>>>
>>>>> El ago. 31, 2020, a la(s) 19:20, "ivancastro en xisp.cl" <
>>>>> ivancastro en xisp.cl> escribió:
>>>>>
>>>>> 
>>>>> Hola buenas tardes,
>>>>>
>>>>> Esto es continuación del problema de ayer? U hoy se presentó
>>>>> nuevamente?
>>>>>
>>>>> Saludos a todos
>>>>>
>>>>> Iván Castro
>>>>> As266881
>>>>>
>>>>> El 31 ago 2020 17:45, Hernan Moguilevsky <noc.hernan en gmail.com>
>>>>> escribió:
>>>>>
>>>>> Hola,
>>>>>
>>>>> Un problema con una regla de Flowspec por lo que comunicó Century.
>>>>>
>>>>> Alguna info y especulaciones aca:
>>>>>
>>>>> https://blog.cloudflare.com/analysis-of-todays-centurylink-level-3-outage/
>>>>>
>>>>> El mayor problema fue que continuaron anunciando prefijos de clientes
>>>>> que habían bajado sus sesiones (o estaban inestables).
>>>>>
>>>>> Saludos.
>>>>>
>>>>> HM
>>>>>
>>>>>
>>>>> El lun., 31 de ago. de 2020 a la(s) 17:29, Hernan Arcidiacono (
>>>>> harcidiacono en iplan.com.ar) escribió:
>>>>>
>>>>> Buenas, alguien tiene mejor info de que paso? Adjunto artículo pero
>>>>> ahi nada en concreto.
>>>>>
>>>>>
>>>>> https://www.sdxcentral.com/articles/news/centurylink-blamed-for-massive-cloudflare-outage/2020/08/?utm_campaign=website&utm_source=sendgrid&utm_medium=email
>>>>>
>>>>>
>>>>> *HERNÁN ARCIDIÁCONO *
>>>>> CTO
>>>>> Reconquista 865, CABA
>>>>> Directo: 54-11-5031-6411
>>>>> *IPLAN* | iplan.com.ar <http://www.iplan.com.ar/>
>>>>>
>>>>>
>>>>> On Sun, Aug 30, 2020 at 10:38 AM Tecnología CHARNE.NET <
>>>>> tecno en charne.net> wrote:
>>>>>
>>>>> Hola, Tomás. Desde las 9, más o menos, en el chat de los técnicos de
>>>>> CABASE se está conversando el problema que afecta a América (ellos y
>>>>> nosotros) y Europa.
>>>>>
>>>>> En concreto, nosotos vemos problema en el tráfico internacional y -por
>>>>> ende- cualquier recurso que tengas sobre AWS, servers de Fortnite, y esas
>>>>> cosas...
>>>>>
>>>>> Saludos!
>>>>>
>>>>>
>>>>> El 30/8/20 a las 10:23, Tomas Lynch escribió:
>>>>>
>>>>> Estimados,
>>>>>
>>>>> En distintos lugares del planeta se están teniendo problemas con
>>>>> Level3/CenturyLink (AS3356). El problema parece ser una mala configuración
>>>>> de RRs. ¿Alguien está experimentado eso?
>>>>>
>>>>> Nuestras sesiones suben y bajan cada 2 minutos.
>>>>>
>>>>> Tomas Lynch
>>>>>
>>>>> _______________________________________________
>>>>> LACNOG mailing listLACNOG en lacnic.nethttps://mail.lacnic.net/mailman/listinfo/lacnog
>>>>> Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog
>>>>>
>>>>> _______________________________________________
>>>>> LACNOG mailing list
>>>>> LACNOG en lacnic.net
>>>>> https://mail.lacnic.net/mailman/listinfo/lacnog
>>>>> Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog
>>>>>
>>>>>
>>>>> ------------------------------
>>>>>
>>>>> *No Imprimas Digitalizá*
>>>>>
>>>>> ------------------------------
>>>>>
>>>>> ESTE MENSAJE ES CONFIDENCIAL. Puede contener información amparada por el secreto profesional. Si usted ha recibido este e-mail por error, por favor comuníquenoslo inmediatamente vía e-mail y tenga la amabilidad de eliminarlo de su sistema; no deberá copiar el mensaje ni divulgar su contenido a ninguna persona. Muchas gracias.
>>>>>
>>>>> THIS MESSAGE IS CONFIDENTIAL. It may also contain information that is privileged or otherwise legally exempt from disclosure. If you have received it by mistake please let us know by e-mail immediately and delete it from your system; should also not copy the message nor disclose its contents to anyone. Many thanks.
>>>>>
>>>>>  NSS S.A. – IPLAN | CUIT: 30-70265297-5 | IVA Responsable Inscripto | Ingr. Brutos: 901-033512-0 Inscripción I.G.J.: 24/02/1999, N° 2588, libro 4, tomo - Sociedades por Acciones | Sede Social: Reconquista 865 2° Piso, CABA <https://maps.google.com/?q=Reconquista+865+2%C2%B0+Piso,+CABA&entry=gmail&source=g> C1003ABQ
>>>>>
>>>>>
>>>>>
>>>>> Ley 25326 - art.27. - inc. 3. El titular podrá en cualquier momento solicitar el retiro o bloqueo de su nombre de los bancos de datos a los que se refiere el presente artículo.
>>>>>
>>>>>
>>>>> Decreto 1558/01 - art. 27. - 3er. párrafo. En toda comunicación con fines de publicidad que se realice por correo, teléfono, correo electrónico, Internet u otro medio a distancia a conocer, se deberá indicar, en forma expresa y destacada, la posibilidad del titular del dato de solicitar el retiro o bloqueo, total o parcial, de su nombre de la base de datos. A pedido del interesado, se deberá informar el nombre del responsable o usuario del banco de datos que proveyó la información.
>>>>>
>>>>>
>>>>>
>>>>> El titular de los datos personales tiene la facultad de ejercer el derecho de acceso a los mismos en forma gratuita y a intervalos no inferiores a 6 meses, salvo que se acredite un interés legítimo al efecto conforme lo establecido por el artículo 14, inciso 3 de la ley 25326.-
>>>>>
>>>>> La Agencia de Acceso a la Información Pública , órgano de control de la ley Nº 25.326, tiene la atribución de atender las denuncias y reclamos que se interpongan con relación al incumplimiento de las normas sobre protección de datos personales.
>>>>>
>>>>> _______________________________________________
>>>>> LACNOG mailing list
>>>>> LACNOG en lacnic.net
>>>>> https://mail.lacnic.net/mailman/listinfo/lacnog
>>>>> Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog
>>>>>
>>>>>
>>>>> _______________________________________________
>>>>> LACNOG mailing list
>>>>> LACNOG en lacnic.net
>>>>> https://mail.lacnic.net/mailman/listinfo/lacnog
>>>>> Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog
>>>>>
>>>>> _______________________________________________
>>>>> LACNOG mailing list
>>>>> LACNOG en lacnic.net
>>>>> https://mail.lacnic.net/mailman/listinfo/lacnog
>>>>> Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog
>>>>>
>>>> _______________________________________________
>>>> LACNOG mailing list
>>>> LACNOG en lacnic.net
>>>> https://mail.lacnic.net/mailman/listinfo/lacnog
>>>> Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog
>>>>
>>> _______________________________________________
>>> LACNOG mailing list
>>> LACNOG en lacnic.net
>>> https://mail.lacnic.net/mailman/listinfo/lacnog
>>> Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog
>>>
>> _______________________________________________
>> LACNOG mailing list
>> LACNOG en lacnic.net
>> https://mail.lacnic.net/mailman/listinfo/lacnog
>> Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog
>>
>
> _______________________________________________
> LACNOG mailing listLACNOG en lacnic.nethttps://mail.lacnic.net/mailman/listinfo/lacnog
> Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog
>
> _______________________________________________
> LACNOG mailing list
> LACNOG en lacnic.net
> https://mail.lacnic.net/mailman/listinfo/lacnog
> Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog
>


-- 


At least I did something
Don Draper - Mad Men
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <https://mail.lacnic.net/pipermail/lacnog/attachments/20200904/5a6d2b86/attachment-0001.html>

Más información sobre la lista de distribución LACNOG