Bouke van der Bijl в своем блоге привел Proof of concept атаки на локальные базы данных, запущенные на компьютерах разработчиков и доступные по http, например #redis, #memcached или #elasticsearch с использованием вебсайта в интернете и DNS-записи с маленьким TTL #PoC #hack http://bouk.co/blog/hacking-developers/
Пару недель назад Amazon анонсировал #aws ALB - Application Load Balancer, балансировщик нагрузки для контейнеров и микросервисов. Подробный обзор возможностей by Convox по ссылке #containers #architecture #microservices #aws_alb https://convox.com/blog/alb/
С появлением #AWS #Lambda появились последователи так называемого serverless-подхода. Вместо аренды виртуальных машин, почему бы не абстрагироваться полностью от ОС и не писать приложение для AWS Lambda? Это может в некоторых случаях позволить полностью сосредоточиться на разработке непосредственно кода. https://gojko.net/2016/08/27/serverless.html #serverless #aws #lambda
В данной статье рассказыватеся о событиях, влияющих на несколько баз данных. Их сложно распознать и они могут стать серьезной проблемой при построении архитектуры сервиса. Казалось бы работавший многие месяцы код может в один момент привести к проблемам, когда системе не удастся изменить данные во всех необходимых базах. Один из подходов к решению данной проблемы описан в данной статье. http://www.grahamlea.com/2016/08/distributed-transactions-microservices-icebergs/ #architecture #transactions #consistency
На github'е SoundCloud обнаружилось небольшой gem, призванное помочь обновлять структуры данных больших Ruby on Rails приложениях при обновлении версий. Данный модуль позволяет мигрировать данные без использования alter. Подход чем-то похож на таковой у Facebook и может быть полезен даже в отрыве от Ruby. https://github.com/soundcloud/lhm #mysql #ruby #ror #migration #soundcloud
Yahoo выложил в OpenSource систему доставки сообщений Pulsar. Она создавалась как горизонтально-масштабируемая альтернатива Kafk'е для близкого к Real-Time применения (99% процентиль задержки доставки сообщения должен быть меньше 5мс). Внутри самой Yahoo инсталяция Pulsar передает более 100 млрд сообщений в день по более чем 1.4 млн топиков со средней задержкой 5мс. http://siliconangle.com/blog/2016/09/08/yahoo-open-sources-pulsar-a-low-latency-alternative-to-apache-kafka/ #messagequeue #yahoo #messages #queues #kafka #pulsar
Когда в вашей инфраструктуре появляется слишком много контейнеров возникает потребность в отдельных балансировщиках нагрузки для DHCP. Facebook выложил свое решение в OpenSource и выпустил статью про то зачем им пришлось сделать еще один балансер и почему чистый anycast не подошел для этой задачи. https://code.facebook.com/posts/1734309626831603/dhcplb-an-open-source-load-balancer/
Опубликованы записи докладов с конференции Strange Loop 2016. Конференция посвящена в основном разработке и архитектуре высоконагруженных приложений, но также есть доклады на более приземленные темы. https://www.youtube.com/playlist?list=PLcGKfGEEONaDvuLDFFKRfzbsaBuVVXdYa #conference #video #development
GitHub начал публиковать заметки про свой балансировщик нагрузки. В будущем обещают опубликовать и часть исходного кода. http://githubengineering.com/introducing-glb/ #github #loadbalancer #lb #ha #hl #highavailability
На YouTube обнаружились записи Intermediate Go Programming Tutorial от O'Reilly. Не очень понятно опубликованы ли они официально или по ошибке (видео 9 и 13 можно найти на канале, но они не включены в плейлист). https://www.youtube.com/playlist?list=PLkmJREe6CMdnCsikhw7anHZTBgSKn7CyH #oreilly #golang #tutorials
Uber делает более миллиона записей в секунду в свои Cassandra-кластера. При этом для отказоустойчивости и простоты масштабирования они используют Mesos. Интересно как и почему? Тогда читайте новую статью в highscalability блоге.
Так как я поехал на LinuxCon Europe 2016, то новостей от конкретно меня пока не будет, зато я сделал маленький канал где буду флудить конспектами докладов и фоточками https://telegram.me/linuxconnotes
O'Reilly выложил немного бесплатных книжек по разным языкам программирования (Java, Python, C++, общее по инженирингу): http://www.oreilly.com/programming/free/ #oreilly #books
Оказывается, Twitch активно использует PostgreSQL - более 125 хостов только под него. В своем блоге они опубликовали историю того как они масштабируют postgres на несколько регионов в Амазоне. https://blog.twitch.tv/how-twitch-uses-postgresql-c34aa9e56f58 #twitch #postgresql #postgres #amazon #aws