Size: a a a

2016 September 02
DevOps News
Bouke van der Bijl в своем блоге привел Proof of concept атаки на локальные базы данных, запущенные на компьютерах разработчиков и доступные по http, например #redis, #memcached или #elasticsearch с использованием вебсайта в интернете и DNS-записи с маленьким TTL
#PoC  #hack
http://bouk.co/blog/hacking-developers/
источник
2016 September 03
DevOps News
На хабре перевод майской статьи о GitLab Container Registry - реестре образов Docker, интегрированом в GitLab
#GitLab #docker #automation #CI
https://habrahabr.ru/company/softmart/blog/309102/
источник
DevOps News
Пару недель назад Amazon анонсировал #aws ALB - Application Load Balancer, балансировщик нагрузки для контейнеров и микросервисов.
Подробный обзор возможностей by Convox по ссылке
#containers #architecture #microservices #aws_alb
https://convox.com/blog/alb/
источник
2016 September 04
DevOps News
С появлением #AWS #Lambda появились последователи так называемого serverless-подхода. Вместо аренды виртуальных машин, почему бы не абстрагироваться полностью от ОС и не писать приложение для AWS Lambda? Это может в некоторых случаях позволить полностью сосредоточиться на разработке непосредственно кода.
https://gojko.net/2016/08/27/serverless.html
#serverless #aws #lambda
источник
DevOps News
В данной статье рассказыватеся о событиях, влияющих на несколько баз данных. Их сложно распознать и они могут стать серьезной проблемой при построении архитектуры сервиса. Казалось бы работавший многие месяцы код может в один момент привести к проблемам, когда системе не удастся изменить данные во всех необходимых базах. Один из подходов к решению данной проблемы описан в данной статье.
http://www.grahamlea.com/2016/08/distributed-transactions-microservices-icebergs/
#architecture #transactions #consistency
источник
DevOps News
На днях Facebook поделился опытом эксплуатации Apache Spark на 60+ ТБ сжатых массивах данных. Статья посвящена проблемам с которыми они столкнулись и методам их решения.
https://databricks.com/blog/2016/08/31/apache-spark-scale-a-60-tb-production-use-case.html
#spark #bigdata #facebook
источник
DevOps News
На github'е SoundCloud обнаружилось небольшой gem, призванное помочь обновлять структуры данных больших Ruby on Rails приложениях при обновлении версий. Данный модуль позволяет мигрировать данные без использования alter. Подход чем-то похож на таковой у Facebook и может быть полезен даже в отрыве от Ruby.
https://github.com/soundcloud/lhm
#mysql #ruby #ror #migration #soundcloud
источник
2016 September 08
DevOps News
GitHub опубликовал немного подробностей о устройстве своего Distributed git (Spokes). Статья фокусируется на доступности сервиса и средствах восстановления после инцидентов.
http://githubengineering.com/building-resilience-in-spokes/

#github #highavailability #ha #git #dgit #spokes
источник
DevOps News
Серия блог-постов, рассказывающая о статистике на примере котиков.
http://www.statcats.ru/p/blog-page_29.html
источник
2016 September 09
DevOps News
Yahoo выложил в OpenSource систему доставки сообщений Pulsar. Она создавалась как горизонтально-масштабируемая альтернатива Kafk'е для близкого к Real-Time применения (99% процентиль задержки доставки сообщения должен быть меньше 5мс).
Внутри самой Yahoo инсталяция Pulsar передает более 100 млрд сообщений в день по более чем 1.4 млн топиков со средней задержкой 5мс.
http://siliconangle.com/blog/2016/09/08/yahoo-open-sources-pulsar-a-low-latency-alternative-to-apache-kafka/
#messagequeue #yahoo #messages #queues #kafka #pulsar
источник
2016 September 13
DevOps News
Организация доступа через ssh может оказаться не такой тривиально задачей, особенно в большой компании. Facebook опубликовал статью о том, как они решают проблему доступов у себя без использования LDAP авторизации.
https://code.facebook.com/posts/365787980419535/scalable-and-secure-access-with-ssh/
источник
DevOps News
У btrfs наконец появилась вики страничка с актуальным статусом каждого компонента (по мнению разработчиков):
https://btrfs.wiki.kernel.org/index.php/Status
источник
2016 September 14
DevOps News
Когда в вашей инфраструктуре появляется слишком много контейнеров возникает потребность в отдельных балансировщиках нагрузки для DHCP. Facebook выложил свое решение в OpenSource и выпустил статью про то зачем им пришлось сделать еще один балансер и почему чистый anycast не подошел для этой задачи.
https://code.facebook.com/posts/1734309626831603/dhcplb-an-open-source-load-balancer/
источник
2016 September 21
DevOps News
Опубликованы записи докладов с конференции Strange Loop 2016. Конференция посвящена в основном разработке и архитектуре высоконагруженных приложений, но также есть доклады на более приземленные темы.
https://www.youtube.com/playlist?list=PLcGKfGEEONaDvuLDFFKRfzbsaBuVVXdYa
#conference #video #development
источник
2016 September 23
DevOps News
GitHub начал публиковать заметки про свой балансировщик нагрузки. В будущем обещают опубликовать и часть исходного кода.
http://githubengineering.com/introducing-glb/
#github #loadbalancer #lb #ha #hl #highavailability
источник
2016 September 26
DevOps News
На YouTube обнаружились записи Intermediate Go Programming Tutorial от O'Reilly. Не очень понятно опубликованы ли они официально или по ошибке (видео 9 и 13 можно найти на канале, но они не включены в плейлист).
https://www.youtube.com/playlist?list=PLkmJREe6CMdnCsikhw7anHZTBgSKn7CyH
#oreilly #golang #tutorials
источник
2016 September 29
DevOps News
Uber делает более миллиона записей в секунду в свои Cassandra-кластера. При этом для отказоустойчивости и простоты масштабирования они используют Mesos. Интересно как и почему? Тогда читайте новую статью в highscalability блоге.

http://highscalability.com/blog/2016/9/28/how-uber-manages-a-million-writes-per-second-using-mesos-and.html

#uber #cassandra #mesos #highavailability #highload #hl #ha
источник
2016 October 04
DevOps News
Так как я поехал на LinuxCon Europe 2016, то новостей от конкретно меня пока не будет, зато я сделал маленький канал где буду флудить конспектами докладов и фоточками
https://telegram.me/linuxconnotes

#linuxcon #notes #talks
источник
2016 October 15
DevOps News
O'Reilly выложил немного бесплатных книжек по разным языкам программирования (Java, Python, C++, общее по инженирингу):
http://www.oreilly.com/programming/free/
#oreilly #books
источник
DevOps News
Оказывается, Twitch активно использует PostgreSQL - более 125 хостов только под него. В своем блоге они опубликовали историю того как они  масштабируют postgres на несколько регионов в Амазоне.
https://blog.twitch.tv/how-twitch-uses-postgresql-c34aa9e56f58
#twitch #postgresql #postgres #amazon #aws
источник