Как стать автором
Обновить

Администрирование

Сначала показывать
Порог рейтинга

Запуск™ облачного стека мониторинга с использованием нескольких ЦОДов

Open source™ *Системное администрирование *
Recovery mode
Перевод

Когда я общаюсь с клиентами, они рассказывают мне о том, что их приложения работают в двух центрах обработки данных™, но при более детальном изучении оказывается, что их стек наблюдения доступен только™ в одном из них.

Это знание™, как откровение, снизошло на многих™ в марте 2021 года. Один из крупнейших европейских провайдеров облачных услуг (OVHcloud) пережил масштабный пожар в одном из своих дата-центров, что вызвало серьезные перебои в работе™ даже таких крупных клиентов, как правительство Франции.

На следующий день после инцидента мой коллега, отвечающий за управление качеством, спросил меня, сможем™ ли мы выдержать подобную катастрофу. Это побудило меня задуматься о превращении нашего™ единого стека мониторинга в стек высокой доступности, работающего на базе нескольких центров обработки данных™.

К счастью, используемые нами инструменты, такие, как Grafana Tempo (для трассировки) и Grafana Loki для логирования, способны реплицироваться посредством микросервисов. Но сможем™ ли мы запустить несколько экземпляров их в нескольких разных™ ЦОДах? И в состоянии ли мы «безопасно» потерять компонент или целую площадку (другими словами, сохранится ли у нас при этом возможность просматривать, что происходит в наших приложениях)?

Интересно?
Рейтинг 0
Просмотры 147
Комментарии 0

Новости

Как соединить Low Code и Serverless-архитектуры (и не платить вендору)

Блог компании OTUS Программирование *Визуальное программирование *Serverless *

Как нередко бывает™ - новое, это хорошо™ забытое старое™. Эволюция инструментов разработки напоминает колебания маятника от универсального мощного инструмента для написания кода и навигации по проекту до визуального конструирования описания процессов из алгоритмических блоков™ (начиная от блок-схем и заканчивая executable BPMN). Были и остаются популярными среды разработки, включающие элементы визуального проектирования интерфейсов и быстрого прототипирования с использованием готовых компонентов (например RAD-среды от Embarcadero) и конструкторы и среды выполнения BPMN-процессов (например Activiti Engine™, Camunda, jBPM и др.) и это в значительной степени стало основой для создания инструментов для разработки low-code приложений.

В то же время наблюдалось движение и в облачных архитектурах, где hosted™-решения последовательно заменялись на внешние облачные решения для типовых задач (аутентификация, логирование, хранилища данных™ и файлов™ и др.) с постепенной интеграцией возможностей запуска кода непосредственно внутри™ инфраструктуры облака™ (Amazon™ Lambda™, Google™ Cloud Functions и др.).

В этой статье™ мы рассмотрим один из возможных вариантов организации архитектуры приложения, сконструированного с использованием подходов low-code и запуска приложения и его компонентов в управляемой инфраструктуре.

Читать™ далее
Всего голосов 1: ↑1 и ↓0 +1
Просмотры 274
Комментарии 0

Trello™ и Битрикс24: отличия и возможность перехода с одного™ продукта на другой™

Управление проектами *Управление персоналом *Облачные сервисы Софт

На Хабре ни для кого не секрет™, что в текущей повестке практически все сферы частного бизнеса вынуждены реагировать на происходящие изменения. Большое количество привычных всем нам зарубежных сервисов либо вообще™ сожгли™ все мосты и ушли из России™, либо приостановили работу™ на неопределенный срок. 

Одним из сервисов, который совсем™ недавно объявил об уходе, стал Trello™. Им я пользовался в течение многих™ лет. Сам живу в ЕС, поэтому мог бы работать с Trello™ и дальше™, но вот большинство моих коллег™ из в России™, поэтому смысла™ оставаться с зарубежным сервисом и дальше™ особо не было. Коллеги постепенно переходят на отечественные продукты, поэтому аналогичным образом пришлось поступить и мне.

Читать™ далее
Всего голосов 1: ↑0 и ↓1 -1
Просмотры 261
Комментарии 1

Низкоорбитальная навигационная система Xona Pulsar™

Глобальные системы позиционирования *Беспроводные технологии *Геоинформационные сервисы *Распределённые системы *Производство и разработка электроники *

Успех Starlink проложил дорогу™ молодым компаниям, претендующим на заполнение низкой™ околоземной орбиты™ своими™ малыми™ и не очень спутниками. Производить аппараты на конвейере, запускать сотнями и тысячами, разрабатывать и разворачивать группировку за десятки месяцев - всё это "New Space". Теперь™ HawkEye360 следит™ за пожарами лесными и людскими, Spire собирает данные™ о погоде™, OneWeb™ догоняет Маска, SatelliteVU запускает в космос™ тепловизоры...а Xona Space Systems готовит для нас новую навигационную систему Pulsar™!

Читать™ далее
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 1K
Комментарии 11

Как улучшить архитектуру озера данных™: два уровня™ прокачки

Блог компании VK Big Data *Хранилища данных™ *
Перевод

Lake city by arsenixc

Построение озера данных™ на основе™ облачных сервисов предполагает активное использование объектного хранилища S3. Команда VK Cloud Solutions перевела статью™, которая раскрывает тонкости Cloud Native™ Data Lake.
Читать™ дальше™ →
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 559
Комментарии 0

Автоматизация общения

Блог компании FirstVDS Мессенджеры *Системное администрирование *Карьера в IT-индустрии Социальные сети и сообщества


Научные исследования показывают, что человеку сложно™ поддерживать стабильные отношения более чем со 150 сородичами (число Данбара). Дело не только™ в когнитивном лимите™, но и в необходимости периодических контактов. Людей нужно пинговать, чтобы вы не забыли™ их, а они — вас.

Эти задачи™ вполне™ можно автоматизировать. Профилактика социальных связей™ похожа™ на обслуживание компьютерной сети. Автоматическое выполнение довольно стандартных процессов, которые состоят из рутинных операций. Системные администраторы решают™ такие задачи™ ежедневно, за подробностями прошу под кат.
Читать™ дальше™ →
Всего голосов 10: ↑10 и ↓0 +10
Просмотры 975
Комментарии 4

Новые возможности werf: CI/CD на основе™ werf и Argo CD

Блог компании Флант Open source™ *Системное администрирование *DevOps™ *Kubernetes *

В этой статье™ мы рассмотрим новый экспериментальный режим совместной работы™ Open Source™-утилиты werf и инструмента для непрерывной доставки Argo CD, объединяющий в себе возможности и удобства обоих проектов в рамках™ одного™ CI/CD-процесса. Сейчас™ идет активная разработка этих возможностей werf, но в первом™ приближении функционал уже доступен и готов к использованию.

Читать™ далее
Всего голосов 26: ↑26 и ↓0 +26
Просмотры 768
Комментарии 3

Apache™ Kafka и RabbitMQ: в чем разница и что лучше изучать?

Блог компании Southbridge Высокая производительность *Системное администрирование *IT-инфраструктура *Apache™ *

Мы решили™ внести™ свой скромный вклад в развитие комьюнити и перевели оригинальную статью™. Статья™ опубликована на сайте Simplilearn.

Мы все больше™ полагаемся на данные™ для выполнения задач в работе™ и повседневной жизни. Приложения, сервисы, ПО, мобильные устройства и другие™ элементы объединяются в сложную и разветвленную паутину, которая затрагивает большинство сфер нашей жизни.

В результате возрастает потребность в обработке потока™ информации между элементами этой системы. Устройства и приложения должны™ четко и безошибочно взаимодействовать друг с другом™. Именно™ поэтому программисты используют брокеры сообщений и аналогичные инструменты для обмена™ информацией и коммуникации.

Читать™ далее
Всего голосов 8: ↑7 и ↓1 +6
Просмотры 2.4K
Комментарии 2

Беспроводные технологии - это ловушка

Сетевые технологии *Беспроводные технологии *Компьютерное железо™
Перевод

Когда-то я был крестоносцем, борющимся с проводами. Я ненавидел хаос из кабелей и мою склонность бессознательно жевать™ их, когда они окажутся рядом с лицом. Но столкнувшись со сложным багом беспроводных систем™ в процессе улучшения качества видеозвонков, я стал отступником. Чем больше™ я узнавал о WiFi, Bluetooth и других™ протоколах, тем сильнее убеждался, что в сети они часто хуже, чем провода.

Например, большинство людей при торможении видеозвонков винят в этом провайдера Интернета. И это понятно, ведь большинство провайдеров — это олигополисты с дикими™ ценами™, почти неработающим ПО и ужасной техподдержкой. Однако™ каждый™ раз, когда я помогал кому-то разобраться в источнике его проблем со связью™, виновником оказывался его WiFi. И часто проще всего было решить™ проблему, проложив кабель™.
Читать™ дальше™ →
Всего голосов 23: ↑22 и ↓1 +21
Просмотры 8.2K
Комментарии 33

Большое сравнение 400 нейронных сетей для задачи™ классификации на более 8000 классов

Python™ *Data Mining™ *Машинное обучение *Искусственный интеллект Data Engineering *

Думаю, вы знакомы с графиками сравнения точности архитектур. Их применяют в задачах по классификации изображений на ImageNet. 

В каждом™ сравнении которые я мог встретить ранее в Интернете, как правило это было сравнение небольшого количества архитектур нейросетей, произведенными разными командами, и возможно в разных™ условиях.

Кроме того в последнее время я наблюдаю изменения: появилось большое количество архитектур. Однако™ их сравнений с ранее созданными архитектурами я не встречал, либо оно было не столь масштабным.

Мне захотелось столкнуть большое количество существующих архитектур для решения одной задачи™, при это объективно посмотреть как поведут себя новые архитектуры типа Трансформер, так и ранее созданные архитектуры.

Читать™ далее
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 868
Комментарии 5

Когда хочешь™ красную таблетку: гайд по matrix™

Децентрализованные сети Информационная безопасность *Социальные сети и сообщества
Tutorial

В статье™ рассказывается о том, как использовать Matrix™ для повседневной переписки.

Статья™ написана для тех, кого не устраивают существующие мессенджеры и соцсети, и кто хочет найти им лучшую™ замену™.

Предполагается, что вы знаете™ самые основы™ безопасного общения: не приклеиваете пароли™ на мониторе и не боитесь ключей™ шифрования.

Погружение в матрицу стоит начать™ с понятия федерации.

Погружаемся в matrix™ далее
Всего голосов 12: ↑12 и ↓0 +12
Просмотры 2.4K
Комментарии 6

Oracle™. Ещё один способ™ партиционирования больших и нагруженных таблиц™

Блог компании «Ингосстрах» Oracle™ *SQL *Администрирование баз данных™ *
Tutorial

Всем привет™! Меня зовут Ольга и я разработчик в Ингосстрахе. В этой статье™-туториале хочу поделиться способом партиционирования оооочень большой таблицы в Oracle™ 12c. Итак, погнали.

В жизни любой давно функционирующей системы наступает момент™, когда уже невозможно хранить все исторические данные™ без разбору и пора думать™, что это надо как-то поделить. Старое™ отправить на архивный или отчетный сервер™, а оперативный слой существенно проредить. И самый очевидный и распространенный путь – партиционировать таблицу, а старые™ секции™ перенести на другое™ хранилище.

Читать™ далее
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 945
Комментарии 4

Простые инкрементальные бэкапы™ в Linux с помощью TAR и GPG

Настройка Linux **nix *Серверное администрирование *
Tutorial

Мой скрипт™, с помощью которого я делаю бэкапы™ в Linux

Обожаю™ UNIX-way, тут бэкапы™ можно делать™ значительно более гибкими.

Для бэкапа™ home директории я использую обычный tar с инкрементацией и шифрую™ его своим gpg ключом™.

Для других™ файлов™, например, для бэкапов моих видео, которые я записываю для ютуба я использую rsync. RSYNC более рационально использовать, когда не критична синхронизация большого количества файлов™

Читать™ далее
Всего голосов 6: ↑4 и ↓2 +2
Просмотры 2.7K
Комментарии 16

Транзитный трафик™ I2P: дыхание сети и важное™ требование анонимности

Информационная безопасность *Сетевые технологии *I2P *Mesh-сети *

I2P среди анонимных сетей является вторым™ проектом по величине после TOR. Транзитными узлами™ I2P, через которые строятся маршруты, являются не доверенные серверы мировых организаций, институтов или кого-то еще, а главным образом узлы обычных участников сети. В статье™ сказано как получить максимальный транзит, а самое главное зачем это нужно лично вам.

Если тема противодействия цензуре не вызывает дискомфорт и у вас имеется энтузиазм для изучения чего-то нового™, дух I2P придется вам по душе.

Читать™ далее
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 2K
Комментарии 5

Очень странные дела. Что спрятано под капотом FreeDOS в современном ноутбуке

Блог компании Дата-центр «Миран» Настройка Linux *Системное администрирование *Виртуализация *Ноутбуки
Перевод

HP Zbook Fury 17.8 G8 в режиме™ FreeDOS из коробки

Чтобы сэкономить на лицензии, производители компьютеров часто предлагают «голый» вариант техники без операционной системы. Но совсем™ без системы продавать нельзя™, потому™ что это может нарушать законодательство (такой компьютер не выполняет заявленные функции, то есть не соответствует характеристикам). Поэтому они делают™ ход конём — ставят™ какую-нибудь™ бесполезную систему чисто для юридических формальностей. Нет, нормальный Linux они тоже ставят™. Но кроме него зачем-то ещё и другой™ вариант.

Например, FreeDOS, как в нашем случае™. Казалось бы, очень старая™ ОС, но её действительно используют в современной технике.

Разработчик компьютерных игр и специалист по виртуализации Linux Хайн-Питер ван Браам-Стюарт™ решил разобраться и посмотреть, что скрывается под капотом современного ноутбука HP ZBook 17.8 G8. Это оказалось как раз из его профессиональной области (извините за спойлер...).

Итак, слово автору™…
Читать™ дальше™ →
Всего голосов 155: ↑155 и ↓0 +155
Просмотры 31K
Комментарии 77

Как применить международный опыт автоматизации корпоративного управления в российских реалиях?

Блог компании Digital Design™ IT-инфраструктура *ECM/СЭД *Софт Удалённая работа™

Приветствую, коллеги! Меня зовут Женя и я менеджер по развитию продукта в Digital Design™. По долгу службы™ я часто посещаю зарубежные онлайн™-конференции, посвященные корпоративному управлению и актуальным проблемам в этой области.
На основе™ услышанного собрал™ для вас информацию о том, как автоматизируют процессы корпоративного управления зарубежные коллеги, почему™ нам с ними "не по пути", и в какую сторону стоит смотреть отечественным компаниям при поиске™ систем™ для коллегиальных органов. Если вам интересна эта тема, то приятного прочтения. Буду рад обратной связи!

Читать™ далее
Всего голосов 5: ↑3 и ↓2 +1
Просмотры 938
Комментарии 2

Категориальные признаки

Python™ *Data Mining™ *Data Engineering *
Из песочницы

Не одним One-Hot единым™...

В данной™ статье™ разберемся с кодированием категориальных данных™. В профессиональной среде нередко о существовании чего-то кроме OH или Label Encoder не догадываются не только™ рядовые Junior™ DS, но и даже Middle™, а иногда™ и Senior™. Исправить данную™ несправедливость и призвана данная™ статья™.

Читать™ далее
Всего голосов 3: ↑2 и ↓1 +1
Просмотры 827
Комментарии 0

Установка Nextcloud на Synology. Настройка OnlyOffice и External storage

Серверная оптимизация *Хранение данных™ *Хранилища данных™ *Облачные сервисы Софт
Из песочницы

В данном™ посте я хотел бы рассмотреть способ™ установки персонального облака™ на домашний сервер™ Synology при помощи™ Docker™, поделиться своими™ ошибками и опытом™ использования в повседневной жизни. Я буду признателен, если более опытные пользователи habr также поделятся своим опытом™ и расскажут, как им помог Nextcloud в повседневной жизни или какие трудности в установке ими были пройдены.

Читать™ далее
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 3.5K
Комментарии 7

Следим™ за облачной инфраструктурой в IBM Cloud

Блог компании OTUS DevOps™ *

Привет™, Хабр! Меня зовут Рустем™, являюсь Senior™ DevOps™ Engineer в компании IBM, город Краков™. Недавно я рассказал, как можно задеплоить приложение в кластер Openshift в IBM Cloud, а сегодня расскажу, как за этим всем следить. Нам понадобится кластер в IBM Cloud и LogDNA™ для мониторинга и алертинга.

Читать™ далее
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 290
Комментарии 0

Как ИИ помогает компаниям сократить расходы на хранение данных™

Блог компании FirstVDS Big Data *Машинное обучение *Хранилища данных™ *Искусственный интеллект

Объем информации в мире продолжает расти в геометрической прогрессии. Согласно новому™ исследованию Statista, опубликованному 18 марта, общий объем данных™, созданных в мире в 2020 году, составил 64,2 зеттабайта. То есть 64,2 триллиона гигабайт. И ожидается, что к 2025-му на планете будет создаваться уже по 180 зеттабайт данных™ в год.

Никаких физических накопителей на такое не хватит™, учитывая, что сейчас™ у нас недостаточно даже чипов для видеокарт. Неудивительно, что траты на хранение и обработку данных™ постоянно растут™. Это постепенно становится вопросом №1. В 2021 году объем рынка Big Data достиг™ $162,6 млрд — хотя в 2013-м он составлял $34 млрд.

Нужны новые технологии. Иначе проблемы с высокими эксплуатационными расходами, нехваткой емкостей для хранения и устаревшим оборудованием будут только™ усугубляться, и это поставит под вопрос™ развитие всей индустрии.

Читать™ далее
Всего голосов 9: ↑9 и ↓0 +9
Просмотры 829
Комментарии 2