My<cod/>.net
Результаты поиска
Найдено результатов: 13
Географически распределённый MySQL
Приветствую all.
Есть желание географически распределить проект, и начать с одной из его состовляющих: MySQL. Интересны ответы тех, кто вплотную работал с этой БД и не в теории знает как работают различные схемы географически распределенной балансировки.
Текущая схема примерно следующая: один веб-сервер и два сервера БД в режиме «master-slave». К одному идут запросы только на чтение, к другому преимущественно на запись, оба сервера БД стоят рядом и соединены кроссом. Есть идея сделать схему немного посложнее и ввести в строй еще несколько серверов в другой стране, при этом настроить репликацию БД. Каналы и там и там хорошие, но задержки уже больше чем при соединении серверов «попа-в-попу». Кто реализовывал такие схемы: что можете сказать?
- Реально или есть какие-то известные проблемы?
- Может репликационный трафик можно как-то жать, для экономии канала?
- Стоит использовать встроенный в MySQL ssl или лучше паковать все в OpenVPN?
- Какие подводные (или даже вполне надводные) камни встретятся, если к этому еще прибавить master-master?
- Кто чего скажет о кластерных типах БД в MySQL?
Добавлю, что в первую очередь, естественно интересуют практические знания, чем теоретические.
Amazon EC2
Насколько он хорош как замена стандартному хостингу(аренде сервера)? В плане реальной стоимости на выходе, и производительности в работе? Можно ли получить гарантированные ресурсы сопоставимые с выделенным сервером?
Если есть опыт развертывания крупных проектов — буду очень рад услышать отзыв.
Существуют ли в природе облачные хостинги, представляющих несколько территориально разделённых нод в виде одного сервера?
Периодически изучаю тему облаков. Судя по всем определениям, облака — это некие сферические кони в вакууме, которые как-то (без разницы как) решают сложные технические проблемы создания распределённых систем, и предоставляющих сервис пользователю на более высоком логическом уровне. Что там внутри облаков, как они работают — пользователя волновать не должно, на то оно и «облако», а не «набор из бубна, чешек и коврика для танцев».
Однако на деле мы пока видим либо откровенную профанацию (когда обычные dedicated- и VPS-хостинги с мгновенной активацией используют слово «cloud» в рекламных целях), либо конструкторы, где более высшего логического уровня нет (Amazon — нужно изучить все его API, чтобы собрать всё воедино, + во всех сервисах есть ньюансы).
Был момент, когда я было обрадовался, найдя vps.net — думал, что в инстанс можно объединять ноды из разных городов. Ан нет — этого делать нельзя, это всего лишь vps под красивым соусом.
P. S. Облачными хостингами интересуюсь не потому, что у меня какие-то мегахайлоад сервисы, а потому, что хочется распределённости для надёжности и скорости.
P. P. S. Нода — минимальная виртуальная единица, которой оперирует облачный хостинг, кусок компьютера. Инстанс — готовая, собранная сущность, отдающая вебсайты.
Python Remote Objects — написанный код?
Вот здесь находится сайт их проекта — библиотека, позволяющая легко организовать распределенную архитектуру программы.
Сабж следующий.
Был ли у Вас опыт написания распределенных, приложений, на питоне — можете поделиться опытом?
Любое упоминание про актуальную информацию: статьи, названия учебников, тематические порталы, опен-сурс проекты, интересные исходники, краткое резюме существующих архитектур проектов(если такие бывают) — будут встречены с радостью и одобрением.
Спасибо.
Существуют ли в природе облачные хостинги, представляющих несколько территориально разделённых нод в виде одного сервера?
Периодически изучаю тему облаков. Судя по всем определениям, облака — это некие сферические кони в вакууме, которые как-то (без разницы как) решают сложные технические проблемы создания распределённых систем, и предоставляющих сервис пользователю на более высоком логическом уровне. Что там внутри облаков, как они работают — пользователя волновать не должно, на то оно и «облако», а не «набор из бубна, чешек и коврика для танцев».
Однако на деле мы пока видим либо откровенную профанацию (когда обычные dedicated- и VPS-хостинги с мгновенной активацией используют слово «cloud» в рекламных целях), либо конструкторы, где более высшего логического уровня нет (Amazon — нужно изучить все его API, чтобы собрать всё воедино, + во всех сервисах есть ньюансы).
Был момент, когда я было обрадовался, найдя vps.net — думал, что в инстанс можно объединять ноды из разных городов. Ан нет — этого делать нельзя, это всего лишь vps под красивым соусом.
P. S. Облачными хостингами интересуюсь не потому, что у меня какие-то мегахайлоад сервисы, а потому, что хочется распределённости для надёжности и скорости.
P. P. S. Нода — минимальная виртуальная единица, которой оперирует облачный хостинг, кусок компьютера. Инстанс — готовая, собранная сущность, отдающая вебсайты.
Python Remote Objects — написанный код?
Вот здесь находится сайт их проекта — библиотека, позволяющая легко организовать распределенную архитектуру программы.
Сабж следующий.
Был ли у Вас опыт написания распределенных, приложений, на питоне — можете поделиться опытом?
Любое упоминание про актуальную информацию: статьи, названия учебников, тематические порталы, опен-сурс проекты, интересные исходники, краткое резюме существующих архитектур проектов(если такие бывают) — будут встречены с радостью и одобрением.
Спасибо.
Что такое RightScale и в каких случаях он нужен?
Кто-нибудь пользуется RightScale? Объясните, пожалуйста, для чего и кому он нужен?
Clouds or something else?
Нахожусь на распутье, стоя перед выбором решения.
Задача следующая: предоставить доступ к 16Gb данных (около 220 отдельных кусков поставляемых по отдельности и используемые самостоятельно. Что-то похожее на видео клип) для 30млн. пользователей (да, аудитория большая).
Каждый пользователь должен иметь возможность скачать любую из частей по-отдельности, но должен быть лишен возможности передавать доступ своей части иному лицу. (что-то вроде уникальных URL для каждого пользователя).
Так же перед отдачей каждого из кусков 10% данных должны быть зашифрованы асинхронными ключами. (где-то 20мб для каждого пользователя)
По специфике сервиса, один пользователь в 80% случаев свою часть будет скачивать только разово. 15% дважды и менее 5% более 2х раз.
Проблематика: мы даже представить не можем нагрузку, но аналитики подсказывают что со старта будет около 50 тыс. пользователей с 10-15% приростом в неделю в течении 3х мес. Потом даже и не знаем на каком уровне все останется.
Вопрос: можно ли как-то прикрутить под эти задачи Amazon or Azure?
Нам бы не хотелось закупать оборудование, хотим аренду мощностей для шифрованная и отдаче контента.
Спасибо.
P.s. Даже и не спрашивайте что это за сервис и почему такие условия.
Ubuntu Enterprise Cloud
Кто нибудь реально использует сабж? Интересует надежность и возможность настроить отказоустойчивое облако, без sigle point of failure. Кончено интересно также большой ли overhead в плане ресурсов?
Расположение частей распределённой базы данных
Расскажите, пожалуйста, как производят оптимизацию расположения частей распределённой базы данных? Интересуют более-менее готовые программные продукты и примеры решения задач.
Т.е., например:
есть несколько соединённых серверов под распределённую БД по всей стране, которые одновременно являются и клиентами этой БД.
В базе данных есть множество таблиц.
Есть статистика по запросам с клиентов к конкретным таблицам.
Есть некоторая цена хранения данных на определённом сервере.
Есть некоторая цена передачи, известная для каждой пары сервер-клиент.
Задача: разнести таблицы (или части таблиц) по серверам самым оптимальным образом.
Для решения задачи можно применять различные эвристические алгоритмы: генетические алгоритмы, эволюционные стратегии, муравьиные алгоритмы и т.д.
Но мне не удалось найти каких-либо более-менее готовых программных средств, которые реализовывали бы эти алгоритмы.
Существуют ли такие средства для решения этой задачи применительно к каким-нибудь БД (Oracle или другие)?
Или под каждую систему реализуется узкоспециализированное средство?
Или никто просто не парится с решением этой задачи, а данные раскидываются на глазок?
И может быть у кого-нибудь есть примеры систем с распределённой базой данных, которые были оптимизированы таким путём?
Спасибо!
Oracle
Распределенные
вычисления
Базы
данных
Поисковая
оптимизация
Генетические
алгоритмы
397 1 14:09, 8th August, 2020
397 1 14:09, 8th August, 2020