Saltar al contenido

La épica historia del éxodo de Dropbox desde el imperio de la nube amazónica

julio 2, 2021


Durante la mayor parte de su existencia, Dropbox se ejecutó en parte en Amazon y en parte fuera. Si un grupo de personas compartía algunos archivos a través de Dropbox, la empresa almacenaba los archivos en el Servicio de almacenamiento simple de Amazon, o S3, mientras alojaba todos los metadatos relacionados con esos archivos: a quién pertenecían, a quién se le permitía descargarlos y más — en sus propias máquinas dentro de su propio espacio de centro de datos.

Trabajando junto a vicepresidente de infraestructura Akhil Gupta, un ex Googler, y otros, Cowling diseñó un sistema de software de gran alcance que permitiría a Dropbox almacenar cientos de petabytes de datos (datos suficientes para llenar cientos de millones de unidades de memoria USB) y almacenarlos de manera mucho más eficiente que la compañía alguna vez lo hizo en Amazon S3. Llamaron a este sistema Magic Pocket. «Dropbox se concibió como un lugar donde guardas todas tus cosas, no se pierden y siempre puedes acceder a ellas». Dice Gupta. «Un bolsillo mágico».

Christie Hemm Klok / CON CABLE

En esencia, construyeron su propio Amazon S3, excepto que adaptaron su software a sus propios problemas técnicos particulares. «No hemos construido un reemplazo similar», dice Agarwal. «Hemos construido algo que está personalizado para nosotros».

Incluso cuando Dropbox todavía estaba en Amazon, el minorista en línea también estaba comenzando a actuar como un competidor de Dropbox, ofreciendo su propio servicio de intercambio de archivos, una preocupación obvia para la empresa más pequeña, aunque la versión de Amazon de este servicio en particular carece del usuario. -amistad y puro reconocimiento de marca de la omnipresente carpeta azul de Dropbox. Pero según Agarwal, la razón principal para salir de la nube de Amazon es la economía en bruto, no la política. «Tienes que pensar en estos grandes [tech] jugadores como países, vecinos amistosos, aunque podría haber algunas escaramuzas aquí y allá «, dice.» Amazon es muchas cosas, pero no creo que lo principal sea ser un proveedor de almacenamiento en la nube como nosotros «.

Será mejor que así sea. Porque Dropbox realmente lo ha hecho todo. Sí, creó su propio software para sus propias necesidades. Pero también fue un paso más allá. La empresa también adaptó su hardware. Dropbox diseñó sus propias computadoras.

Demasiado grande para escalar

Durante años, gigantes de Internet como Google, Facebook, Microsoft y Amazon han diseñado su propio hardware de centro de datos: servidores informáticos, conmutadores de red y, en algunos casos, hardware para almacenar grandes cantidades de datos. Estas empresas no tuvieron más remedio que construir todo esto: sus imperios en línea crecieron tanto que usar equipos tradicionales era demasiado caro y demasiado difícil. Necesitaban una nueva clase de hardware que fuera más barato, más aerodinámico y más maleable. Así que lo construyeron, trabajando junto a fabricantes de hardware y proveedores de piezas en Asia y en otros lugares.

Hoy en día, Google crea más servidores que casi nadie en la Tierra, y ni siquiera vende servidores. Lo mismo ocurre con Amazon y Microsoft. Y dado que esas empresas también ejecutan servicios de computación en la nube, muchas otras empresas ahora ejecutan su software en máquinas forjadas fuera del control de los proveedores de hardware tradicionales. Esto es particularmente cierto después de que Facebook abrió los diseños de su equipo personalizado. Ahora, un grupo de proveedores, incluidos fabricantes asiáticos como Quanta, venden productos basados ​​en hardware de Facebook.

Rami Aljamal fue testigo directo de este movimiento. Construyó esta nueva generación de máquinas optimizadas dentro de Twitter y en el nuevo Brazo DCS de Dell: un esfuerzo por recuperar parte del mercado que la empresa perdió cuando empresas como Google comenzaron a diseñar su propio hardware. Ahora, diseña máquinas en Dropbox. Al igual que Google, Amazon y Microsoft, Dropbox decidió que necesitaba máquinas que se ajustaran a sus necesidades únicas.

Dropbox almacena enormes cantidades de datos, por lo que necesitaba máquinas adecuadas para esa tarea. Y eso es lo que Aljamal y su equipo construyeron, trabajando en un laboratorio dentro de la sede de Dropbox en San Francisco, justo enfrente del AT&T Park, hogar de los Giants. A estas máquinas las llaman Diskotech. “Lo que más nos importa es el disco”, dice Aljamal. «Ahí es donde están todos los bytes». Con solo un pie y medio por tres pies y medio por seis pulgadas, cada caja de Diskotech contiene hasta un petabyte de datos, o un millón de gigabytes. Solo 50 de estas máquinas podrían almacenar todo lo que los seres humanos hayan escrito.

Cambio de neumáticos

Cowling y el equipo comenzaron a trabajar en el software Magic Pocket en el verano de 2013 y pasaron unos seis meses creando el código inicial. Pero este fue un paso relativamente pequeño. Una vez que se construyó el sistema, tenían que asegurarse de que funcionara. Tuvieron que llevarlo a miles de máquinas dentro de múltiples centros de datos. Tuvieron que adaptar el software a su nuevo hardware. Y sí, tenían que sacar todos esos datos de Amazon.

Christie Hemm Klok / CON CABLE

Todo el proceso duró dos años. Un proyecto como este, no hace falta decirlo, es un desafío técnico. Pero también es un desafío logístico. Mover esa cantidad de datos a través de Internet es una cosa. Mover tantas máquinas a centros de datos es otra. Y tenían que hacer ambas cosas, ya que Dropbox seguía prestando servicios a cientos de millones de personas. «Es como un automóvil en movimiento», dice Dan Williams, un ex ingeniero de la red de Facebook que supervisó gran parte de la expansión física, «y desea poder cambiar una llanta mientras sigue conduciendo». En otras palabras, mientras realizaba todos estos cambios, Dropbox no podía cerrarse por sí solo. No podía decirles a los cientos de millones de usuarios que confiaban en Dropbox que sus archivos no estaban disponibles temporalmente. Irónicamente, una de las mejores medidas de éxito para esta empresa masiva sería que los usuarios no se dieran cuenta de que había sucedido.

Una vez que Cowling y su equipo crearon el código inicial, lo probaron en una red de hardware bastante estándar, una especie de versión en la sombra de Dropbox que hacía malabares con aproximadamente el 20 por ciento de los datos almacenados en Amazon. Prometieron probar el código durante 180 días sin encontrar un error importante, incluso colgando un reloj de cuenta regresiva en la pared de la sede de Dropbox. Y cuando apareció un error después de dos meses, un error que podría haber visto los datos almacenados en el lugar equivocado, reiniciaron el reloj. En total, la prueba tomó ocho meses.



Source link

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *