[lacnog] Datacenter duda acerca de la topología

Mar Jul 26 09:02:08 BRT 2016

Hola Yudi,

No es necesario dar las gracias a la meta de la lista LACNOG es exactamente esto, el intercambio de información y el conocimiento de sus miembros!  

Antes de responder a su pregunta, tenemos que agradecer a Arturo Servin por enviar el documento excelente (http://dl.acm.org/citation.cfm?id=2787508 <http://dl.acm.org/citation.cfm?id=2787508>) detallando la red CLOS Júpiter! Mediante la lectura de este documento, usted va a ser capaz de seguir todo el concepto de la CLOS Fabric y cómo Google utiliza en su estructura. :-)

Hablando de interconexión de centros de datos, este es un tema muy amplio, pero puede seguir la línea de lo que decimos, podemos dividir en una interconexión de centro de datos tradicional y una OTT para conseguir un buen enfoque.

En un centro de datos tradicional hay varias maneras de hacer una conexión entre los sitios, todo depende principalmente de la distancia entre los sitios más de lo RTT (Round Trip Time) y el tipo de tráfico que se desee cambiar (por ejemplo, un banco datos Exadata, SAP, Oracle, o una base de datos de replicación síncrona) y también depende de la arquitectura de la red que se está utilizando. Otros puntos son obligatorios como: la latencia, el enlace entre los centros está dedicada o compartida, apoyo MTU Jumbo Frame (por ejemplo, una MTU de Ethernet es de 1500 bytes, un MTU de Fibre Channel es de 2148 bytes), FCIP-TCP, Buffer Overflow, QoS, TCP Window Size, TCP Maximum Bandwith,  además del modo de conexión, puede ser: IP, L3-VPN-MPLS, LISP, EoMPLS, AToM, VPLS, DWDM directo, IGP, etc ... que es una fuerte combinación de factores y características, pero se centró en las tecnologías existentes.

En un centro de datos de un OTT el sistema cambia un poco, porque en general este tipo de empresa/servicio sirve a millones o miles de millones de usuarios por características generales, estas empresas tienen en 6, 10, 15 centros de datos en todo el mundo con gran parte de los EE.UU.. En general, la conexión entre estos datacentes se toma a través de la gran red de transporte DWDM/OTN/IPoDWDM (propia o por medio de Carries) con OpenFlow, centralized-Traffic Engineering con RSVP-TE y PCE, IS-IS/BGP, dataplane APIs, que es bastante diferente de un centro de datos tradicional, tal vez la gran diferencia es la escala y el coste por bps en CapEx/OpEx y menos aprovisionamiento para cumplir con el mismo tipo de SLA. 

Usted preguntó cómo se interconectan y cómo se reúnen y distribuyen los servicios y contenidos a los usuarios? La respuesta es que más allá de estos centros de datos, estos OTTs tienen varias Edge-PoPs en todo el mundo en que también hacen uso y combinación de servicios de transporte y otro enfoque con Caching Static Content (CDNs, como Google GGC, Netflix OCA, etc..) y usan estos Edge-PoPs principalmente para reducir la latencia. Tal vez un gran desafío es el RTT Internacional, ya que también tienen sistemas de balanceados L4/L7 y otros mecanismos (HHVM, Proxygen, DNS Map y storage). Los estudios técnicos y desarrollo de este tipo de empresa es muy grande y creo que el futuro para mejorar la interconexión de estos centros de datos y Edge-PoPs tener algo como:

- Multi-Layer PCE (ready)
- Standy by Transponder (ready)
- Reconfigurable ROADM (ready)
- Massive SRLG (ready)
- Netconf y YANG (es inmaduro)

De todos modos, este es un tema para muchas sesiones LACNOG, espero haberte ayudado.

Saludos,
Rogerio Mariano 

> Em 25 de jul de 2016, à(s) 15:04, Arturo Servin <arturo.servin en gmail.com> escreveu:
> 
> 
> Jupiter Rising: A Decade of Clos Topologies and Centralized Control in Google's Datacenter Network
> SIGCOMM '15 Proceedings of the 2015 ACM Conference on Special Interest Group on Data Communication
> http://dl.acm.org/citation.cfm?id=2787508 <http://dl.acm.org/citation.cfm?id=2787508>
> 
> Saludos
> as
> 
> 
> On Mon, 25 Jul 2016 at 09:26 Yudi Oliveira <yudioliveira en zoho.com <mailto:yudioliveira en zoho.com>> wrote:
> Hola Rogerio Mariano,
> 
> Gracias por toda su explicación y paciencia, fue muy interesante, innovadora, rica y esclarecedor, mis dudas acerca de la interconexión entre los centros de datos es acerca de cómo estas empresas hacen para mantener estos centros interconectados con aplicaciones críticas en un entorno tradicional y ahora también en Clos y cómo se expanden a sus usuarios en un gran escala.
> 
> Gracias,
> Yudi Oliveira.
> 
> 
> Em 24/07/16 22:56, Rogerio Mariano escreveu:
>> Hola Yudi,
>> 
>> Actualmente trabajo con CLOS-Fabric y transmisión WAN/Inter-Datacenter optimizada (RSVP-TE, PCE y OTN/SRLG) y voy a tratar de explicar de una manera tranquila ... :-)
>> 
>> >>> Sobre cuestión de CLOS
>> 
>> CLOS Fabric Network es en realidad una evolución de las actuales Datacenter Fabrics, es una tecnología ampliamente utilizada en Red OTT (Playstation Global Network, Google, Facebook, Apple, etc ..) desde el año 2004 y está comenzando el servicio de la más alta escala de las puertas de acceso del centro de datos . Este tipo de red nació en un estudio realizado por Charles Clos en 1952, lo que representó inicialmente una idealización teórica de sistemas de conmutación telefónica de etapas múltiples prácticas. El uso de este tipo de red es necesario cuando las necesidades de conmutación de circuitos físicos exceden la capacidad de la mayor de crossbar switch sólo es viable. La principal ventaja de las redes CLOS es el número de puntos de cruce (que conforman cada crossbar switch) puede tardar mucho menos de lo que sería el caso si todo el sistema de conmutación se han implementado con un crossbar switch gran, de ahí su famosa ecuación matemática: strict-sense nonblocking CLOS networks (m ≥ 2n−1).. Hoy en día, el diseño y la arquitectura de una red CLOS se basa casi por completo en SoC (System on Chip, por ejemplo, Radix Switch Chip) y MiN (Multi-Stage Interconnection)  y estos diseños de redes se ensamblan y se centró en “Elastic-Datacenter” (con Cloud Computing Large Scale), “Scale-out Apps"(para cumplir con alto tráfico intra-cluster, inter-server e server-to-user) y soluciones de IaaS (flexibilidad y la movilidad de VM y implementar en un enfoque VLAN-based existente). Un solución CLOS Fabric tiene las siguientes características:
>> 
>> - Dispone de 3 etapas: ingress stage, middle stage e egress stage.
>> 
>> - Cada Leaf-Node se conecta todos los Spine-Node.
>> 
>> - Depende de ECMP en cada hop
>> 
>> - Se puede utilizar con L3-Fabric (BGP/IS-IS/OSPF) o Large-Scale Bridging (TRILL- RFC 5556 o SPB)
>> 
>> - En general, es necesario utilizar switch del tipo High-bandwidth fabrics con low-latency non-blocking
>> 
>> Hoy en día, los vendors tradicionales, tales como Cisco, Juniper, Brocade, Arista, Extreme, Force10 tienen cajas con capacidad de Datacenter Fabric y posiblemente, se posan capacidad de trabajar en CLOS, sé que en la Playstation Network en Aliso Viejo (California, EE.UU.) tiene CLOS con Juniper QFX ( Multisatge-CLOS , BGP, vSpine y SDN), pero creo que todos hacer algo, Cisco (con Nexus N7k, N5k y NCS5k) y el Brocade (con VDX6k, VDX8k y MLX), por ejemplo, son muy fuertes en el Datacenter issues. Quién implementado redes CLOS a gran escala y ya tienen mucho background, el Google (10 años) y Facebook (más tarde) y creado sus propios CLOS switch!. Google es un buen caso para analizar, que ahora tiene una red con CLOS equipos llamada "Jupiter", empezaron a esta ola en 2004 con un equipo llamado "Firehorse" evolucionado hasta convertirse en una denominada “Watchtower”, luego "Saturno" y se encuentran ahora en "Jupiter" escalada 1.3Pbps del tráfico backplane!!!! Facebook usa Open Hardware, el llamado 6-Pack y otro llamado de Wedge, también con ambiente CLOS en alta escala. 
>> 
>> En mi opinión personal, que usted debe tener en cuenta es la motivación que en particular un tipo de red tiene que migrar a un entorno CLOS; cada uno tiene su modelo de negocio y en la actualidad las redes tradicionales, heredados siguen siendo viables, pero personalmente, veo por ejemplo algunas motivaciones para un cambio de lo tradicional a un CLOS:
>> 
>> 1) Una arquitectura de red tradicional puede tener un alto costo, no mantener al día su demanda de ancho de banda, la complejidad operativa de un “box-centric” y “black-box”  (cuando una line-card está loco? ¿Qué sabes esa caja? ¿Cuántos errores y problemas que tenía?)
>> 
>> 2) La posibilidad de tener una red en un único dominio, que operan a gran escala, con el control y gestión centralizado (SDN) con “massive multipath routing”, diseño determinista y elástica, establecido con SoC y "merchant silicon” y a un costo razonable en detrimento de su negocio.
>> 
>> 
>> >>> Sobre esto Cuestión de Inter Datacenter y WAN Interconexión 
>> 
>> No entiendo mucho esa pregunta, usted quiere saber acerca de DCI, LISP, OTV, VPLS, AToM, L2-Circuit.. ?  ¿Podría explicar?
>> 
>> 
>> Saludos,
>> Rogerio Mariano
>> 
>> 
>> 
>>> Em 24 de jul de 2016, à(s) 03:02, Yudi Oliveira <yudioliveira en zoho.com <mailto:yudioliveira en zoho.com>> escreveu:
>>> 
>>> Hola gente.
>>> 
>>> Me pregunto si alguien en la lista trabaja con topología CLOS para centros de datos y se puede explicar a mí cómo funciona. Hoy actúo en un gran proveedor, y este deseo de migrar a este sistema. También me gustaría saber cómo funciona esto en la interconexión entre centros de datos y la WAN porque no he encontrado mucha documentación en la web.
>>> 
>>> Gracias,
>>> Yudi Oliveira.
>>> _______________________________________________
>>> LACNOG mailing list
>>> LACNOG en lacnic.net <mailto:LACNOG en lacnic.net>
>>> https://mail.lacnic.net/mailman/listinfo/lacnog <https://mail.lacnic.net/mailman/listinfo/lacnog>
>>> Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog <https://mail.lacnic.net/mailman/options/lacnog>
>> 
>> 
>> 
>> _______________________________________________
>> LACNOG mailing list
>> LACNOG en lacnic.net <mailto:LACNOG en lacnic.net>
>> https://mail.lacnic.net/mailman/listinfo/lacnog <https://mail.lacnic.net/mailman/listinfo/lacnog>
>> Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog <https://mail.lacnic.net/mailman/options/lacnog>
> 
> _______________________________________________
> LACNOG mailing list
> LACNOG en lacnic.net <mailto:LACNOG en lacnic.net>
> https://mail.lacnic.net/mailman/listinfo/lacnog <https://mail.lacnic.net/mailman/listinfo/lacnog>
> Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog <https://mail.lacnic.net/mailman/options/lacnog>
> _______________________________________________
> LACNOG mailing list
> LACNOG en lacnic.net
> https://mail.lacnic.net/mailman/listinfo/lacnog
> Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog

------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <https://mail.lacnic.net/pipermail/lacnog/attachments/20160726/50a12429/attachment.html>