[lacnog] Problemas con CenturyLink

Mie Sep 2 11:37:02 GMT+3 2020

Excelente Arturo. Gracias por compartir este post de Google; que un poco resume el espiritu de algunas intervenciones anteriores en este thread, con la ventaja, de que este es un caso concreto y bien documentado, de una de las empresas lideres en la industria.

Ojala y esta cultura llegara a nuestra región. Creo que lograriamos avanzar en muchos campos con mayor solidez y rapidez, y se lograria una mayor estabilidad en los equipos tecnicos. Se me ocurre, Ariel, que tal vez podriamos incorporar algo de esto en el BCOPS de LACNOG, y asi ayudar a difundir el concepto. 

Saludos,

Jorge

De: LACNOG <lacnog-bounces en lacnic.net> en nombre de Arturo Servin <arturo.servin en gmail.com>
Responder a: Latin America and Caribbean Region Network Operators Group <lacnog en lacnic.net>
Fecha: miércoles, 2 de septiembre de 2020, 10:11 a. m.
Para: Latin America and Caribbean Region Network Operators Group <lacnog en lacnic.net>
Asunto: Re: [lacnog] Problemas con CenturyLink

En Google existe el "Blameless culture", sin eso seria imposible hacer cambios y mejoras en la infraestructura. Este es un artículo interesante acerca de esto:

https://landing.google.com/sre/sre-book/chapters/postmortem-culture/

Saludos

as

On Tue, Sep 1, 2020 at 4:27 PM Nicolas Antoniello <nantoniello en gmail.com> wrote:

+1

Si las cosas no se "rompieran" o no cometamos errores alguna vez, quienes trabajamos en Operaciones alguna vez, no tendríamos trabajo... justamente de eso se trata operaciones: de estar al atento, de resolver problemas y de operar equipos (o como decimos en UY: meter mano). Equivocarse no es malo, se aprende mucho de los errores y bueno, tenemos la "suerte" (frente a otras disciplinas) de que aún hoy donde muchas cosas dependen de la conectividad de red, el impacto sobre sistemas de soporte de vida es bastante menor (comparado con otras disciplinas claro está).
Entonces, descartando intencionalidad, estas cosas siempre van a suceder y lo bueno es aprender de ellas entre todos y hacer los sistemas y las redes más resilientes a estos acontecimientos (que en un futuro relativamente cercano seguramente tendrán un impacto mucho mayor en la seguridad y en la vida de las personas que el que ya poseen).

En gran medida, para eso fue creado este espacio de LACNOG.

Por ejemplo, a partir de estas cosas, sería deseable que muchos desarrolladores y fabricantes de sistemas de automatización de provisioning, deployment de configuraciones y de seguridad, puedan mejorar sus sistemas introduciendo chequeos adicionales antes de aplicar políticas de filtrado (por ejemplo), de forma que estos mecanismos "protejan" a la red de probables afectaciones (imagino aplicaciones de IA o de Aprendizaje Automático ede ayuda a operaciones, para este tipo de chequeos automatizados y que sean capaces de advertir al operador que cierta configuración podría causar un potencial problema a la red).

Fraterno saludo,

Nico

El mar., 1 de sep. de 2020 a la(s) 10:24, Tomas Lynch (tomas.lynch en gmail.com) escribió:

Todo el que haya operado u opere una red y que tenga a todos los clientes llamando porque no les funciona nada sumado a los jefes preguntando si ya esta reparada, sabrá que muchas veces solamente podemos conjeturar lo que salió mal: un bug cuando recibió un /125, un RR que cambió el next hop, uy mientras estaba configurando el BGP a las 7AM de un domingo borré la lista de acceso del ssh y eso hizo disparar una alarma de syslog que llenó el disco rígido, etc.

Seguramente ahora en CenturyLink estarán buscando la cabeza de alguien en Juniper o en CloudFLare, los de CloudFlare en en un open source que bajaron de GitHub, los de Juniper en el que hace sus chips. Y todos deben estar analizando los logs que quedaron luego de reparar la red (si es que existen) y no creo que lleguen a una conclusión certera.

Yo personalmente tuve problemas con flowspec en un router Juniper donde el rdp dejó de funcionar cuando reseteamos la sesión de flowspec. No tenemos la escala de AS3359 el corte pasó desapercibido por suerte.

Estas cosas pasan en las redes IP y seguirán pasando. ¿Se podría haber evitado? Con el diario de ayer seguramente.

On Mon, Aug 31, 2020 at 6:22 PM Demian Pecile <dpecile en sietecapas.com.ar> wrote:

Es un análisis post Morten de lo de ayer digamos. 

Saludos 

--

Demian Pecile

Siete Capas S.R.L.

Periodistas Neuquinos 136

Piso 4 - Dpto. A - 8300 Neuquen

Argentina

Tel +54-299-4479172 

Cel. +549-299-5833500

El ago. 31, 2020, a la(s) 19:20, "ivancastro en xisp.cl" <ivancastro en xisp.cl> escribió:

Hola buenas tardes, 

Esto es continuación del problema de ayer? U hoy se presentó nuevamente?

Saludos a todos

Iván Castro

As266881

El 31 ago 2020 17:45, Hernan Moguilevsky <noc.hernan en gmail.com> escribió:

Hola,

Un problema con una regla de Flowspec por lo que comunicó Century.

Alguna info y especulaciones aca:

https://blog.cloudflare.com/analysis-of-todays-centurylink-level-3-outage/

El mayor problema fue que continuaron anunciando prefijos de clientes que habían bajado sus sesiones (o estaban inestables).

Saludos.

HM

El lun., 31 de ago. de 2020 a la(s) 17:29, Hernan Arcidiacono (harcidiacono en iplan.com.ar) escribió:

Buenas, alguien tiene mejor info de que paso? Adjunto artículo pero ahi nada en concreto. 

https://www.sdxcentral.com/articles/news/centurylink-blamed-for-massive-cloudflare-outage/2020/08/?utm_campaign=website&utm_source=sendgrid&utm_medium=email 

HERNÁN ARCIDIÁCONO 
CTO
Reconquista 865, CABA

Directo: 54-11-5031-6411
IPLAN | iplan.com.ar

On Sun, Aug 30, 2020 at 10:38 AM Tecnología CHARNE.NET <tecno en charne.net> wrote:

Hola, Tomás. Desde las 9, más o menos, en el chat de los técnicos de CABASE se está conversando el problema que afecta a América (ellos y nosotros) y Europa.

En concreto, nosotos vemos problema en el tráfico internacional y -por ende- cualquier recurso que tengas sobre AWS, servers de Fortnite, y esas cosas...

Saludos!

¡Error! Nombre de archivo no especificado.

El 30/8/20 a las 10:23, Tomas Lynch escribió:

Estimados,

En distintos lugares del planeta se están teniendo problemas con Level3/CenturyLink (AS3356). El problema parece ser una mala configuración de RRs. ¿Alguien está experimentado eso?

Nuestras sesiones suben y bajan cada 2 minutos.

Tomas Lynch

_______________________________________________
LACNOG mailing list
LACNOG en lacnic.net
https://mail.lacnic.net/mailman/listinfo/lacnog
Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog
_______________________________________________
LACNOG mailing list
LACNOG en lacnic.net
https://mail.lacnic.net/mailman/listinfo/lacnog
Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog

No Imprimas Digitalizá
ESTE MENSAJE ES CONFIDENCIAL. Puede contener información amparada por el secreto profesional. Si usted ha recibido este e-mail por error, por favor comuníquenoslo inmediatamente vía e-mail y tenga la amabilidad de eliminarlo de su sistema; no deberá copiar el mensaje ni divulgar su contenido a ninguna persona. Muchas gracias.

THIS MESSAGE IS CONFIDENTIAL. It may also contain information that is privileged or otherwise legally exempt from disclosure. If you have received it by mistake please let us know by e-mail immediately and delete it from your system; should also not copy the message nor disclose its contents to anyone. Many thanks.

NSS S.A. – IPLAN | CUIT: 30-70265297-5 | IVA Responsable Inscripto | Ingr. Brutos: 901-033512-0 Inscripción I.G.J.: 24/02/1999, N° 2588, libro 4, tomo - Sociedades por Acciones | Sede Social: Reconquista 865 2° Piso, CABA C1003ABQ

Ley 25326 - art.27. - inc. 3. El titular podrá en cualquier momento solicitar el retiro o bloqueo de su nombre de los bancos de datos a los que se refiere el presente artículo.

Decreto 1558/01 - art. 27. - 3er. párrafo. En toda comunicación con fines de publicidad que se realice por correo, teléfono, correo electrónico, Internet u otro medio a distancia a conocer, se deberá indicar, en forma expresa y destacada, la posibilidad del titular del dato de solicitar el retiro o bloqueo, total o parcial, de su nombre de la base de datos. A pedido del interesado, se deberá informar el nombre del responsable o usuario del banco de datos que proveyó la información.

El titular de los datos personales tiene la facultad de ejercer el derecho de acceso a los mismos en forma gratuita y a intervalos no inferiores a 6 meses, salvo que se acredite un interés legítimo al efecto conforme lo establecido por el artículo 14, inciso 3 de la ley 25326.-

La Agencia de Acceso a la Información Pública , órgano de control de la ley Nº 25.326, tiene la atribución de atender las denuncias y reclamos que se interpongan con relación al incumplimiento de las normas sobre protección de datos personales.

_______________________________________________
LACNOG mailing list
LACNOG en lacnic.net
https://mail.lacnic.net/mailman/listinfo/lacnog
Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog

_______________________________________________
LACNOG mailing list
LACNOG en lacnic.net
https://mail.lacnic.net/mailman/listinfo/lacnog
Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog

_______________________________________________
LACNOG mailing list
LACNOG en lacnic.net
https://mail.lacnic.net/mailman/listinfo/lacnog
Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog

_______________________________________________
LACNOG mailing list
LACNOG en lacnic.net
https://mail.lacnic.net/mailman/listinfo/lacnog
Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog

_______________________________________________
LACNOG mailing list
LACNOG en lacnic.net
https://mail.lacnic.net/mailman/listinfo/lacnog
Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog

_______________________________________________ LACNOG mailing list LACNOG en lacnic.net https://mail.lacnic.net/mailman/listinfo/lacnog Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog 

------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <https://mail.lacnic.net/pipermail/lacnog/attachments/20200902/2c414daa/attachment-0001.html>