[lacnog] Problemas con CenturyLink

Carlos M. Martinez carlosm3011 en gmail.com
Mie Sep 2 11:35:13 GMT+3 2020 

Los “blameless post mortems” deberían ser la norma.

On 2 Sep 2020, at 11:11, Arturo Servin wrote:

> En Google existe el "Blameless culture", sin eso seria imposible hacer
> cambios y mejoras en la infraestructura. Este es un artículo 
> interesante
> acerca de esto:
>
> https://landing.google.com/sre/sre-book/chapters/postmortem-culture/
>
> Saludos
> as
>
>
> On Tue, Sep 1, 2020 at 4:27 PM Nicolas Antoniello 
> <nantoniello en gmail.com>
> wrote:
>
>> +1
>> Si las cosas no se "rompieran" o no cometamos errores alguna vez, 
>> quienes
>> trabajamos en Operaciones alguna vez, no tendríamos trabajo... 
>> justamente
>> de eso se trata operaciones: de estar al atento, de resolver 
>> problemas y de
>> operar equipos (o como decimos en UY: meter mano). Equivocarse no es 
>> malo,
>> se aprende mucho de los errores y bueno, tenemos la "suerte" (frente 
>> a
>> otras disciplinas) de que aún hoy donde muchas cosas dependen de la
>> conectividad de red, el impacto sobre sistemas de soporte de vida es
>> bastante menor (comparado con otras disciplinas claro está).
>> Entonces, descartando intencionalidad, estas cosas siempre van a 
>> suceder y
>> lo bueno es aprender de ellas entre todos y hacer los sistemas y las 
>> redes
>> más resilientes a estos acontecimientos (que en un futuro 
>> relativamente
>> cercano seguramente tendrán un impacto mucho mayor en la seguridad y 
>> en la
>> vida de las personas que el que ya poseen).
>> En gran medida, para eso fue creado este espacio de LACNOG.
>>
>> Por ejemplo, a partir de estas cosas, sería deseable que muchos
>> desarrolladores y fabricantes de sistemas de automatización de
>> provisioning, deployment de configuraciones y de seguridad, puedan 
>> mejorar
>> sus sistemas introduciendo chequeos adicionales antes de aplicar 
>> políticas
>> de filtrado (por ejemplo), de forma que estos mecanismos "protejan" a 
>> la
>> red de probables afectaciones (imagino aplicaciones de IA o de 
>> Aprendizaje
>> Automático ede ayuda a operaciones, para este tipo de chequeos
>> automatizados y que sean capaces de advertir al operador que cierta
>> configuración podría causar un potencial problema a la red).
>>
>> Fraterno saludo,
>> Nico
>>
>>
>>
>> El mar., 1 de sep. de 2020 a la(s) 10:24, Tomas Lynch (
>> tomas.lynch en gmail.com) escribió:
>>
>>> Todo el que haya operado u opere una red y que tenga a todos los 
>>> clientes
>>> llamando porque no les funciona nada sumado a los jefes preguntando 
>>> si ya
>>> esta reparada, sabrá que muchas veces solamente podemos conjeturar 
>>> lo que
>>> salió mal: un bug cuando recibió un /125, un RR que cambió el 
>>> next hop, uy
>>> mientras estaba configurando el BGP a las 7AM de un domingo borré 
>>> la lista
>>> de acceso del ssh y eso hizo disparar una alarma de syslog que 
>>> llenó el
>>> disco rígido, etc.
>>>
>>> Seguramente ahora en CenturyLink estarán buscando la cabeza de 
>>> alguien en
>>> Juniper o en CloudFLare, los de CloudFlare en en un open source que 
>>> bajaron
>>> de GitHub, los de Juniper en el que hace sus chips. Y todos deben 
>>> estar
>>> analizando los logs que quedaron luego de reparar la red (si es que
>>> existen) y no creo que lleguen a una conclusión certera.
>>>
>>> Yo personalmente tuve problemas con flowspec en un router Juniper 
>>> donde
>>> el rdp dejó de funcionar cuando reseteamos la sesión de flowspec. 
>>> No
>>> tenemos la escala de AS3359 el corte pasó desapercibido por suerte.
>>>
>>> Estas cosas pasan en las redes IP y seguirán pasando. ¿Se podría 
>>> haber
>>> evitado? Con el diario de ayer seguramente.
>>>
>>> On Mon, Aug 31, 2020 at 6:22 PM Demian Pecile 
>>> <dpecile en sietecapas.com.ar>
>>> wrote:
>>>
>>>> Es un análisis post Morten de lo de ayer digamos.
>>>>
>>>> Saludos
>>>>
>>>> --
>>>> Demian Pecile
>>>> Siete Capas S.R.L.
>>>> Periodistas Neuquinos 136
>>>> Piso 4 - Dpto. A - 8300 Neuquen
>>>> Argentina
>>>> Tel +54-299-4479172
>>>> Cel. +549-299-5833500
>>>>
>>>> El ago. 31, 2020, a la(s) 19:20, "ivancastro en xisp.cl" <
>>>> ivancastro en xisp.cl> escribió:
>>>>
>>>> 
>>>> Hola buenas tardes,
>>>>
>>>> Esto es continuación del problema de ayer? U hoy se presentó 
>>>> nuevamente?
>>>>
>>>> Saludos a todos
>>>>
>>>> Iván Castro
>>>> As266881
>>>>
>>>> El 31 ago 2020 17:45, Hernan Moguilevsky <noc.hernan en gmail.com>
>>>> escribió:
>>>>
>>>> Hola,
>>>>
>>>> Un problema con una regla de Flowspec por lo que comunicó Century.
>>>>
>>>> Alguna info y especulaciones aca:
>>>>
>>>> https://blog.cloudflare.com/analysis-of-todays-centurylink-level-3-outage/
>>>>
>>>> El mayor problema fue que continuaron anunciando prefijos de 
>>>> clientes
>>>> que habían bajado sus sesiones (o estaban inestables).
>>>>
>>>> Saludos.
>>>>
>>>> HM
>>>>
>>>>
>>>> El lun., 31 de ago. de 2020 a la(s) 17:29, Hernan Arcidiacono (
>>>> harcidiacono en iplan.com.ar) escribió:
>>>>
>>>> Buenas, alguien tiene mejor info de que paso? Adjunto artículo 
>>>> pero ahi
>>>> nada en concreto.
>>>>
>>>>
>>>> https://www.sdxcentral.com/articles/news/centurylink-blamed-for-massive-cloudflare-outage/2020/08/?utm_campaign=website&utm_source=sendgrid&utm_medium=email
>>>>
>>>>
>>>> *HERNÁN ARCIDIÁCONO *
>>>> CTO
>>>> Reconquista 865, CABA
>>>> Directo: 54-11-5031-6411
>>>> *IPLAN* | iplan.com.ar <http://www.iplan.com.ar/>
>>>>
>>>>
>>>> On Sun, Aug 30, 2020 at 10:38 AM Tecnología CHARNE.NET 
>>>> <tecno en charne.net>
>>>> wrote:
>>>>
>>>> Hola, Tomás. Desde las 9, más o menos, en el chat de los 
>>>> técnicos de
>>>> CABASE se está conversando el problema que afecta a América 
>>>> (ellos y
>>>> nosotros) y Europa.
>>>>
>>>> En concreto, nosotos vemos problema en el tráfico internacional y 
>>>> -por
>>>> ende- cualquier recurso que tengas sobre AWS, servers de Fortnite, 
>>>> y esas
>>>> cosas...
>>>>
>>>> Saludos!
>>>>
>>>>
>>>> El 30/8/20 a las 10:23, Tomas Lynch escribió:
>>>>
>>>> Estimados,
>>>>
>>>> En distintos lugares del planeta se están teniendo problemas con
>>>> Level3/CenturyLink (AS3356). El problema parece ser una mala 
>>>> configuración
>>>> de RRs. ¿Alguien está experimentado eso?
>>>>
>>>> Nuestras sesiones suben y bajan cada 2 minutos.
>>>>
>>>> Tomas Lynch
>>>>
>>>> _______________________________________________
>>>> LACNOG mailing 
>>>> listLACNOG en lacnic.nethttps://mail.lacnic.net/mailman/listinfo/lacnog
>>>> Cancelar suscripcion: 
>>>> https://mail.lacnic.net/mailman/options/lacnog
>>>>
>>>> _______________________________________________
>>>> LACNOG mailing list
>>>> LACNOG en lacnic.net
>>>> https://mail.lacnic.net/mailman/listinfo/lacnog
>>>> Cancelar suscripcion: 
>>>> https://mail.lacnic.net/mailman/options/lacnog
>>>>
>>>>
>>>> ------------------------------
>>>>
>>>> *No Imprimas Digitalizá*
>>>>
>>>> ------------------------------
>>>>
>>>> ESTE MENSAJE ES CONFIDENCIAL. Puede contener información amparada 
>>>> por el secreto profesional. Si usted ha recibido este e-mail por 
>>>> error, por favor comuníquenoslo inmediatamente vía e-mail y tenga 
>>>> la amabilidad de eliminarlo de su sistema; no deberá copiar el 
>>>> mensaje ni divulgar su contenido a ninguna persona. Muchas gracias.
>>>>
>>>> THIS MESSAGE IS CONFIDENTIAL. It may also contain information that 
>>>> is privileged or otherwise legally exempt from disclosure. If you 
>>>> have received it by mistake please let us know by e-mail 
>>>> immediately and delete it from your system; should also not copy 
>>>> the message nor disclose its contents to anyone. Many thanks.
>>>>
>>>>
>>>> NSS S.A. – IPLAN | CUIT: 30-70265297-5 | IVA Responsable 
>>>> Inscripto | Ingr. Brutos: 901-033512-0 Inscripción I.G.J.: 
>>>> 24/02/1999, N° 2588, libro 4, tomo - Sociedades por Acciones | 
>>>> Sede Social: Reconquista 865 2° Piso, CABA 
>>>> <https://maps.google.com/?q=Reconquista+865+2%C2%B0+Piso,+CABA&entry=gmail&source=g> 
>>>> C1003ABQ
>>>>
>>>>
>>>>
>>>> Ley 25326 - art.27. - inc. 3. El titular podrá en cualquier 
>>>> momento solicitar el retiro o bloqueo de su nombre de los bancos de 
>>>> datos a los que se refiere el presente artículo.
>>>>
>>>>
>>>> Decreto 1558/01 - art. 27. - 3er. párrafo. En toda comunicación 
>>>> con fines de publicidad que se realice por correo, teléfono, 
>>>> correo electrónico, Internet u otro medio a distancia a conocer, 
>>>> se deberá indicar, en forma expresa y destacada, la posibilidad 
>>>> del titular del dato de solicitar el retiro o bloqueo, total o 
>>>> parcial, de su nombre de la base de datos. A pedido del interesado, 
>>>> se deberá informar el nombre del responsable o usuario del banco 
>>>> de datos que proveyó la información.
>>>>
>>>>
>>>>
>>>> El titular de los datos personales tiene la facultad de ejercer el 
>>>> derecho de acceso a los mismos en forma gratuita y a intervalos no 
>>>> inferiores a 6 meses, salvo que se acredite un interés legítimo 
>>>> al efecto conforme lo establecido por el artículo 14, inciso 3 de 
>>>> la ley 25326.-
>>>>
>>>> La Agencia de Acceso a la Información Pública , órgano de 
>>>> control de la ley Nº 25.326, tiene la atribución de atender las 
>>>> denuncias y reclamos que se interpongan con relación al 
>>>> incumplimiento de las normas sobre protección de datos personales.
>>>>
>>>> _______________________________________________
>>>> LACNOG mailing list
>>>> LACNOG en lacnic.net
>>>> https://mail.lacnic.net/mailman/listinfo/lacnog
>>>> Cancelar suscripcion: 
>>>> https://mail.lacnic.net/mailman/options/lacnog
>>>>
>>>>
>>>> _______________________________________________
>>>> LACNOG mailing list
>>>> LACNOG en lacnic.net
>>>> https://mail.lacnic.net/mailman/listinfo/lacnog
>>>> Cancelar suscripcion: 
>>>> https://mail.lacnic.net/mailman/options/lacnog
>>>>
>>>> _______________________________________________
>>>> LACNOG mailing list
>>>> LACNOG en lacnic.net
>>>> https://mail.lacnic.net/mailman/listinfo/lacnog
>>>> Cancelar suscripcion: 
>>>> https://mail.lacnic.net/mailman/options/lacnog
>>>>
>>> _______________________________________________
>>> LACNOG mailing list
>>> LACNOG en lacnic.net
>>> https://mail.lacnic.net/mailman/listinfo/lacnog
>>> Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog
>>>
>> _______________________________________________
>> LACNOG mailing list
>> LACNOG en lacnic.net
>> https://mail.lacnic.net/mailman/listinfo/lacnog
>> Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog
>>


> _______________________________________________
> LACNOG mailing list
> LACNOG en lacnic.net
> https://mail.lacnic.net/mailman/listinfo/lacnog
> Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <https://mail.lacnic.net/pipermail/lacnog/attachments/20200902/094c07cf/attachment-0001.html>

Más información sobre la lista de distribución LACNOG