Результаты поиска

Софт для автоматического сравнения схем PostgreSQL?

Подскажите средство для автоматического сравнения схем PostgreSQL на разных базах данных. Для MySQL использовали SQLyog. Теперь пишем миграции вручную, а различающиеся данные в словарях перегонять — вообще тяжело. Кто что использует или как выкручивается?


UPD: Сами мы используем:

а) для сравнения схем — apgdiff

б) для сравнения данных — LEFT JOIN %)

Проектировщик баз данных, с хорошей визуализацией и работой с базой?

Интересно узнать какие программы созданы на сегодняшний день, и сколько плюшек какая из них имеет, основные критерии, их не много, визуализация модели базы, прямая работа от модели до самой базы, (ни как в MySQL Workbench, где модель идёт как один проект, а с базой работать другой), ну и поддержка MySQL или PostgereSQL.

Лучшая ORM для C#

Суть задачи в следующем: требуется хранить в базе данных информацию о состоянии объекта (например, следим за задвижкой на насосной станции второго подъема). Параметров по наблюдаемому агрегату может быть много — это температуры, вибрации, значения токов, процент поворота. Кроме того, необходимо сохранять так называемые временные «слепки» (значения всех параметров) состояния агрегата с заданной частотой, например раз в минуту, или по событию (при открытии задвижки), чтобы потом иметь возможность анализа каких-либо нештатных ситуаций.
Хочется работать с данными как с объектами на самом высоком уровне, имея функции запроса и записи их состояния без углубленного погружения в SQL. Подумал об использовании ORM, так как по моему мнению они именно для этого и предназначены. В общем, посоветуйте какую-нибудь стоящую систему.

Шардинг MongoDB под нагрузкой?

Как ведет себя шардинг MongoDB под нагрузкой? Особенно как влияет на загрузку системы их Map/Reduce?

Учетная запись без продолжительной активности — удалять или не удалять?

Доброго времени суток!

Как Вы считаете: если человек зарегистрировался на ресурсе, но не посещает его в течении долгого времени — нужно ли хранить его учетную запись?

Ведь на одних ресурсах — их деактивируют. На других — база продолжается ими заполнятся.
И у первого, и второго есть как и плюсы так и минусы. Как найти компромисс?

Как защитить БД с критичными данными от произвола медленных запросов?

Ситуация: есть боевой сервер, на нем — вебсервер и MySQL. С мусклем взаимодействуют, во-первых, PHP-скрипты выполняющиеся под апачем на этом сервере, а во-вторых — удаленные пользователи через TCP. Работают они с одной и той же базой. Однако, работоспособность связки «локальный апач плюс мускль» критична, а «удаленные юзеры плюс мускль» — нет.


«Удаленный» юзер запускает корявый запрос — например, REGEXP селект по неиндексированному столбцу на 20 млн строк. При этом в течение 3-5 минут тормозят все остальные запросы к этой базе, которые при обычных условиях летают. В итоге критичная веб-часть перестает отвечать с приемлемой скоростью. Как сделать так, чтобы удаленные юзеры могли посылать говнозапросы без вреда функционированию локальных подключений к БД? «Локалка» и «удаленщики» коннектятся к БД разными юзерами. Разнести базу на две — вариант не устраивает. Запас производительности на сервере есть (8 ядер, 24 гига памяти).

Про количество соединений к базе данных

Есть стандартная трехзвенка: тонкие клиенты — сервер приложений — БД. Клиентов 50 штук. Правда ли, что для приемлемого времени отклика, между сервером и БД хватит, скажем, 5 соединений?

iPhone 3Gs & Windows 7 x64

Здравствуйте! Прошу помощи коллективного разума.
Неделю назад приобрел новый iPhone 3GS. На моей машине (Acer 8942G OS: Windows 7 x64 Home Premium) он не синхронизировался и вообще в itunes не опозновался. Немного погуглив, нашел информацию о том, что имеется проблема синхронизации именно с моей ОС, и ещё грешили на чипсет intel p55 (не зню, на каком чипсете собран мой ноут, но мей би и на нем).
На другом ноуте с XP синхронизация проходит отлично.
Недолго думая запустил виртуальную машину на семёрке, установил XP. iPhone в виртуалке опознался, данные с телефона в itunes поступают, он видит мои программы, но при попытке синхронизации возникает ошибка: «Не удается синхронизировать iPhone „voftik“. Указанное имя файла является дубликатом», или еще "… файл не найден".
Помогите пожалуйста решить проблему…

Вопрос о архивации для бекапа

Все документы архивирую в 7z без сжатия, но с паролем и со скрытием имен файлов.

Подскажите, есть ли смысл в пароле так как данные не сжимаются, а просто склеиваются один за другим, и думаю возможно будут вытащены из такого архива.

Реализация транспорта данных по сети на C#

Что посоветуете использовать из существующего или для разработки собственной технологии. Требуется создать транспорт передачи данных как в локальной сети так и через интернет? Желательно использовать надстройки над HTTP для безболезненного преодоления возможных барьеров. Также буду благодарен если подскажете как не использовать Base64 при передаче, чтобы не увеличивать расход трафика.

Посоветуйте хорошее и, желательно, бесплатное ПО для бэкапов для win

Никак не могу найти хорошее ПО для автоматического создания резервных копий папок и файлов. (Желательно с возможностью инкрементального сохранения)

Хочется именно автоматическое средство — чтобы не прерывало все задания выводя на монитор ошибку типа файл занят пропустить/прервать (в 3 часа ночи в глухой сервеной эту ошибку все равно никто не прочитает, не понимаю для чего это, а во многом ПО есть)

Конечно же желательно опенсорц, под GPL… но это так, лишь пожелание.

заранее спасибо

Как импортировать переписку из Yahoo! Groups?

Есть несколько групп рассылок Yahoo! Groups, содержащие десятки тысяч сообщений. Переписка очень полезная, но искать и просматривать всё это безобразие в веб-интерфейсе ни каких нервов не хватит.

Было бы очень полезно получить всю эту почтовую переписку себе локально. Возможно ли это, и как?

Какие посоветуете средства аудита изменений данных в MSSQL?

Какие посоветуете средства для аудита изменений данных в MSSQL (нужно сохранять изменение всех полей), где связка mssql + NHibernate.

Из того что нашёл, это:

1. Повесить на тригеры в базу данных запись истории в таблицы с историей.

2. В самом NHibernate повесить обработчики в Interceptors или EventListeners и писать в таблицы с историей.

3. Использовать фичу 2008 MSSQL — Change Data Capture. Тут вопрос, стоит ли её для этого использовать, где-то читал «Основной сценарий, в котором предполагается использовать CDC — это „большие“ ETL (extraction, transformation, loading) приложения, которые асинхронно кусками перегоняют данные из OLTP системы в хранилище данных.»

Может есть готовые простые решения.

Как грамотно разработать базу данных?

Всегда при разработке нового проекта возникает вопрос как грамотно разработать базу данных в MySQL так что бы она хорошо справлялась с нагрузками и удобно было пользоваться. К примеру, есть пользователи, есть контактная инфа о пользователях, компания, привязки компаний к пользователям, транзакции, счета и т.д. ) может быть есть методика, статья, софт?

Бесплатные сервисы хранения информации

Подскажите пожалуйста таковой с приличной(>5 gb) «вместительностью» и хорошим качеством работы.

Реализация транспорта данных по сети на C#

Что посоветуете использовать из существующего или для разработки собственной технологии. Требуется создать транспорт передачи данных как в локальной сети так и через интернет? Желательно использовать надстройки над HTTP для безболезненного преодоления возможных барьеров. Также буду благодарен если подскажете как не использовать Base64 при передаче, чтобы не увеличивать расход трафика.

Посоветуйте хорошее и, желательно, бесплатное ПО для бэкапов для win

Никак не могу найти хорошее ПО для автоматического создания резервных копий папок и файлов. (Желательно с возможностью инкрементального сохранения)

Хочется именно автоматическое средство — чтобы не прерывало все задания выводя на монитор ошибку типа файл занят пропустить/прервать (в 3 часа ночи в глухой сервеной эту ошибку все равно никто не прочитает, не понимаю для чего это, а во многом ПО есть)

Конечно же желательно опенсорц, под GPL… но это так, лишь пожелание.

заранее спасибо

Как импортировать переписку из Yahoo! Groups?

Есть несколько групп рассылок Yahoo! Groups, содержащие десятки тысяч сообщений. Переписка очень полезная, но искать и просматривать всё это безобразие в веб-интерфейсе ни каких нервов не хватит.

Было бы очень полезно получить всю эту почтовую переписку себе локально. Возможно ли это, и как?

Какие посоветуете средства аудита изменений данных в MSSQL?

Какие посоветуете средства для аудита изменений данных в MSSQL (нужно сохранять изменение всех полей), где связка mssql + NHibernate.

Из того что нашёл, это:

1. Повесить на тригеры в базу данных запись истории в таблицы с историей.

2. В самом NHibernate повесить обработчики в Interceptors или EventListeners и писать в таблицы с историей.

3. Использовать фичу 2008 MSSQL — Change Data Capture. Тут вопрос, стоит ли её для этого использовать, где-то читал «Основной сценарий, в котором предполагается использовать CDC — это „большие“ ETL (extraction, transformation, loading) приложения, которые асинхронно кусками перегоняют данные из OLTP системы в хранилище данных.»

Может есть готовые простые решения.

Как грамотно разработать базу данных?

Всегда при разработке нового проекта возникает вопрос как грамотно разработать базу данных в MySQL так что бы она хорошо справлялась с нагрузками и удобно было пользоваться. К примеру, есть пользователи, есть контактная инфа о пользователях, компания, привязки компаний к пользователям, транзакции, счета и т.д. ) может быть есть методика, статья, софт?

Бесплатные сервисы хранения информации

Подскажите пожалуйста таковой с приличной(>5 gb) «вместительностью» и хорошим качеством работы.

Испольование в одной таблице пары instance_id, instance_type в Doctrine

Здравствуйте,

столкулся с проблемой в doctrine.

Представьте есть три основных таблицы — participant, team, region.
Еще одна, пусть называется log, в которой храняться абсолютно одинаковые по структуре данные — rank, points, position и так далее для каждого объекта из первых таблиц.

Необходимо сделать так, чтобы по instance_id и instance_type можно было связать две таблицы — log и какую-то из основных, в зависимости от instance_type.

На первый взгляд все довольно просто, но после того как описал через обычный Doctrine_Query::create() и leftJoin, или через Doctrine_RawQuery::create() выдается ошибка, что не можен провести «гидрацию», т.к. у объекта Log нету связи на instance.

Если кто-то стыкался с такой трудностью, подскажите, пожалуйста, решение.

Посоветуйте программу для моделирования БД MySQL под Ubuntu

Нужна программа для проектирования БД MySQL с графическим отображением связей и автоматической генерацией кода для создания таблиц.
Есть ли такая под Линукс и какая лучшая, удобная для новичка?

Подскажите лучший инструмент реализации интернет-проекта

Задача: Обучающий интернет-проект. Достаточно много графики и реакции на действия пользователя, при этом основные алгоритмы выполняются на сервере, там же хранится профиль пользователя и его успехи в обучении.
1. Является ли Flash лучшим вариантом реализации?
2. В случае успеха проекта хотелось бы иметь возможность учитывать высокую нагрузку на сервер (сотни обращений в секунду), хотя теоретически можно конечно поднять несколько серверов. Тем не менее, какие эффективные механизмы на стороне сервера выбрать (БД (учитывая высокий объем insert/update операций) + отдача результатов).

Можно отвечать на вопросы по отдельности, меня сейчас интересует всё.

Создание образа дисков на удаленной машине?

Гигантов вроде акроникса не предлагать, нужно простое решение для создания образов дисков на удаленных машинах в локальной сети на windows. На самый крайний случай возможна установка linux и использование dd, но может ли он на работающей машине под win удаленно образ создать не мешая никому я не знаю, подскажите (желательно все-таки под win решение).

GMail Mail, Calendar, & Contacts синхронизация?

Здравствуйте!

Настроенные по официальной инструкции iPhone и iPad отлично работают по простоколу Exchange через сервер m.google.com

Но, к сожалению, ни Apple Mail ни MS Outlook не хотят работать подобным образом.

Подскажите в чем проблема.

Инструмент для удобного анализа табличных данных?

Есть:

Источники табличных данных — БД, Excel, таблицы в веб-страницах…

Нужно:

— Получать из этих источнков выборки данных (с фильтрами и периодически через указанные интервалы или по расписанию)

— По этим выборкам строить графики, отчеты и другие таблицы, которые то же могут быть использованы для других выборок.

— Навешивание нотификаций на разные события типа выхода значений какого либо графика за заданный диапазон или резкое изменение данных, например, более чем на 10%…

— Графики должны строиться указанием столбцов, которые должны проецироваться на оси координат.

— Создание даш-бордов для наблюдения за графиками и отчетами в реальном времени.


Есть такое в природе?

Как мигрировать базу данных с индексами и внешними ключами с MySQL на HSQLDB?

В базе около 2 миллионов записей, в MySQL все это счастье с индексами занимает около 300 мегабайт.

Средства синхронизации на удаленных серверах БД

В процессе написания проекта, столкнулись с тем, что многим клиентам требовалось передавать заявки и справочники, и собирать данные по деятельности филиалов. А найти решение удовлетворяющее все условия не удалось. Пришли к мысли писать самим.

Какими средствами пользуетесь, учитывая указанные условия (все или любую их комбинацию)?
1. Сервера удалены на большое расстояние (разные города)
2. Нестабильный/узкий канал интернета (например связь с Камчаткой, или Магаданом)
3. Синхронизация данных в обе стороны (а не только сбор данных или рассылка справочников)

Также интересна для каких серверов БД использовались средства синхронизации.

PS. Вопрос родился из желания написать статью «как мы синхронизировали удаленные данные».

Интеграция сайта с базой данных 1С:Предприятие 8

Есть небольшой сайт (без движка) и на одну из страниц требуется выводить содержимое базы данных 1С. Может кто-нибудь сталкивался с подобным? С чего начать? Возможно есть документация или то, что может помочь решить эту проблему? Заранее благодарен.

Простой online-сервис для Базы знаний — всякой неструктурированной информации

Посоветуйте простой online-сервис для хранения всякой информации (текст, фото, приложенные файлы) — что-то типа википедии или базы знаний для ма-аленькой проектной группы (2 -4 чел.)

Информация будет скорее собираться/накапливаться, чем изменяться/редактироваться (очень редко)

Какие пожелания:
— online
— надежность
— ограничение доступа
— возможность поиска по темам и сообщениям
— ярлыки/метки
— возможность прилагать к сообщению файлы
— возможность делать сообщения как через браузер, так и отправлять их по почте

Раньше складывал файлы в расшаренную папочку, но сейчас захотелось чего-то более удобного.
Какие возникли мысли:

1. Использовать гугловский blogger.com
В качестве базы знаний использовать блог, в который можно писать и с сайта, и по почте.
По-моему, довольно удобно, но есть пара минусов:
А. нельзя прикреплять файлы (важно)
Б. поиск по такому блогу… у меня почему-то не работает (может потому что блог — закрытый, т.е. доступен только 2-м пользователям… но для гугла он же не закрыт)

2. Использовать Google.Группы
Уже лучше (можно цеплять файлы), но (!) нет меток сообщений + поиск работает также, как и п.1,
т.е. найти что-то, и тем более быстро, будет очень непросто/затруднительно.

Предполагаемый объем такой базы знаний — небольшой, на сег. день хватило бы и 1000 записей / 50 — 100 Мб вместе со всеми прилагаемыми файлами.

Подскажите, какие еще варианты подобных сервисов можно было бы приспособить для такой цели?
(желательно free или совсем недорогих)

p.s. Теоретически могу поставить на поддомен что-то несложное, типа WordPress или DokuWiki, но не хочу вникать во всякие технические вопросы, термины и т.д., т.е. желательно приспособить какой-то готовый сервис.

Схема хранения изменяющихся данных с историей

Есть около 300 тыс объектов ( например легковых автомобилей) для каждого автомобиля раз в неделю производится замер параметров ( пробег, давление в шинах, количество топлива), параметров будет в районе 20 штук, нужно все это хранить в базе.

В освновном пользователей интерисуют только последние параметры. Но иногда необходимо отвечать на вопросы типа «А как менялось давление в шинах во времени», «А какие параметры менялись на прошлой неделе»

Интуиция говорит, что наверное надо смотреть в сторону mongo, но тех задание явно говорит, что будем использовать Mysql :)

Пока родилось два варианта

1)

Первая таблица (название data)

id| object_name | param1 | param1_is_changed | param1_change_date | param2…

Вторая таблица (название data_history)

id| object_name | param1 | param1_is_changed | param1_change_date | param2… | version | change_date

При каждом изменении любого параметра, предыдущая версия записывается в data_history, у того параметра который изменился ставится влажок is_changed

2) Первая таблица (название data)

id| object_name

Вторая таблица ( хранит только последние значения)

id | object_id | param_name | param_value | date

Третья таблица ( хранит историю значений из второй таблицы)


Сейчас мы отслеживаем около 50 тыс объектов, в неделю происходит около 200 изменений в параметрах. Все параметры числовые, поэтому вопрос избыточности хранения в первом случае волнует только в плане производительности БД, но никак не места на диске. Второй метод вроде хорош, но его не очень просто реализовать используя ORM.

Ваше мнение? как спроектировать DB? как найти компромисс между эффективной БД и удобством написания приложения к ней.

Самодельное облако на ubuntu enterprise cloud?

У Ubuntu есть специальная редакция для создания частных вычислительных облаков: ubuntu enterprise cloud. О ней написано на www.ubuntu.com/cloud. У меня в распоряжении есть 5 компьютеров, на которых я хотел бы попробовать создать домашнее мини-облако (или кластер, не понимаю разницу). Взявшись это делать методом научного тыка пару дней назад, понял, что не понимаю целый ряд моментов. В результате попытка провалилась. Пошёл в гугл искать сколь угодно приличное руководство о последовательности дейтсвий. И не нашёл такого. Может вы подскажите, где можно его взять/найти?

Где Chrome хранит синхронизированные расширения?

Судя по всему, одно из установленных у меня расширений роняет Хром при попытке открыть создать новое окно или открыть новое окно в режиме инкогнито. При попытке его удалить из Хрома Хром также падает, и оно не удаляется. В гуглодокументах нашёл только синхронизированные закладки, но не расширения. Где они хранятся и можно ли их удалить вручную?

Как заставить Opera синхронизировать данные?

Настроил в опере синхронизацию через Opera Link и никогда не задумывался, как это работает, потому, что это было малоприоритетное действие для меня: пробрасывание истории и Speed Dial между домашней и рабочей машинами. Когда это возникало я не замечал, ибо волновало это меня мало, просто время от времени осознавал, что дома мне браузер подсказывает адреса, на которые я ходил только с работы.
Но…

Вчера решил осознанно и целенаправленно воспользоваться сервисом для того, чтобы пробросить несколько десятков ссылок с работы домой с помощью заметок (Notes). Прийдя домой был удивлен: ничего не синхронизировалось. Залогинился в свой кабинет Opera Link на сайте — аналогично ничего нет.

Сегодня проверил на работе настройки: Opera Link is running fine, учетные данные вписаны, синхронизация заметок включена.
Начал искать способ принудительно синхронизировать — отсутствует.
Задание интервала синхронизации в настройках отсутствует.
Допросил гугл — без результата.
Вспомнил, что иногда при закрытии опера что-то говорит про синхронизацию и просит немного подождать. Перезагрузил браузер — ничего не произошло.

Чувствую себя идиотом… Кто виноват? И что делать?

Изучение основ программирования (алгоритмы, структуры данных...)

Я работаю программистом (.NET WPF), но чувствую, что мне часто не хватает знаний основ программирования (основные алгоритмы, структуры данных, итп), те вещи, которые люди обычно изучают в вузах. Моя специальность была не программирование, поэтому ничего из этого мы не изучали. Хотелось бы самостоятельно восполнить эти пробелы.

Какие материалы вы посоветуете для изучения? Сайты, книги, сайты с задачками и.т.п.

p.s. (О существовании труда Д. Кнута я конечно-же знаю, что еще помимо него? :)

Организация хранения структуры категорий в реляционной БД?

Задача — организовать хранение некоего каталога, с достаточно разветвлённой структурой (дерево) — пускай это будет каталог продукции интернет-магазина. Для поиска элемента доступен только URI вида "/category/subcategory/another-category/and-one-more-category". Максимальная вложенность порядка 10.


Категории запрашиваются часто, меняются редко, общее количество категорий может быть порядка 100 тыс.


Так же требуется шустрая генерация «хлебных крошек». Причём ссылка на категорию («and-one-more-category») может отличаться от её заголовка («И ещё одна категория»), который используется для вывода на странице.


У меня пока одно предполагаемое решение — «в лоб» — по следам Materialized path:

таблица для категорий имеет следующую структуру


CREATE TABLE categories (

`id` INT NOT NULL AUTO_INCREMENT PRIMARY KEY,

`title` VARCHAR(50) NOT NULL,

`link` VARCHAR(50) NOT NULL,

`path` VARCHAR(1000) NOT NULL,

`title_path` VARCHAR(1000) NOT NULL

)


CREATE INDEX path_indx ON categories (`path`);


`title` — заголовок категории («И ещё одна категория»),

`link` — ссылка категории («and-one-more-category»),

`path` — путь к категории («category/subcategory/another-category/and-one-more-category»),

`title_path` — то же, что и `path`, только содержит заголовки соответствующих категорий — для быстрой генерации «хлебных крошек»


— Привлекает то, что для поиска категории не нужно никаких усилий — просто SELECT… WHERE path LIKE…

— Не пугает даже необходимость перестроения путей в случае перемещения/переименования узлов.

— Пугает избыточность подхода и вероятные размеры таблицы при большом количестве категорий. Насколько это скажется на скорости?

— Так же смущает то, что в качестве ключа для поиска используется такая длинная строка в `path` (хотя я очень сомневаюсь что она когда-либо выйдет за пределы 100 символов)


Может вынести `path` и `title_path` в отдельную таблицу? Так всё равно путь и хлебные крошки для категории требуется практически всегда, так что придётся джойнить…


Смотрю в сторону Full hierarchy, но опять же смущает возможная избыточность в таблице иерархии, тем более учитывая потенциальные количества категорий и уровни вложенности.


Как более оптимально решить задачу?

Индекс по полю integer в PostgreSQL

Что есть

Что нужно

Вопросы

• Какое дефолтное значение будет работать быстрее NULL или 0?
• То же самое, касательно character(n), NULL или ''?

Как вы упорядочиваете данные в Evernote?

Просьба к пользователям Evernote и аналогов — расскажите, как вы разбиваете информацию внутри этих систем?


Используете ли отдельные блокноты?

Пользуетесь ли тэгами?

Если да — то по какому принципу: «один тэг на заметку», «чем больше — тем лучше»?

Разбиваете ли тэги по принципу дочерний/материнский?


Спасибо!

Синхронизация заметок с gmail аккаунтом на iOS 4.1

После обновления айфона 3ж на iOS 4.1, пропала функция синхронизации заметок с gmail аккаунтом. Можно ли как нибудь исправить этот момент и вернуть всё как было в 4.0.х?

Backup контактов на телефоне

Подскажите софт для бэкапа контакт-листа под разные ОС

Восстановление пароля ICQ?

Да, да, да! О да простят меня боги, но я пользуюсь данным сервисом! :) Иногда всё же приходиться… Когда некоторые личности которые очень нужны (в частности даже заказчики), сидят исключительно в нём. Но суть-то не в этом.


По некоторым причинам, которые не считаю нужным сейчас описывать, я протерял/забыл пароль к моему акаунту.

— Захожу на — https://www.icq.com/password/, для восстановления.

— Там есть выбор, ввести email или номер ICQ.

— Т.к. регистрировался я сравнительно давно, то — О пепел на мою седую голову, email я не помню :(, поэтому ввожу номер ICQ и мне выдаёт:

We regret any inconvenicne caused.

Please try again later.


Со страницы — https://www.icq.com/help/

Линк — «How do I change my password?», вообще не работает…


Кто-нибудь сталкивался? Кто что подскажет?

Как удачнее спроектировать базу данных?

делаю небольшой сайтик для нескольких групп в универе. страничка с расписанием, файловый архив, и прочие радости. возник вопрос касательно каждодневного расписания. на страничке каждой группы будет висеть её расписание на завтра (по желанию — на любой день). на данный момент, существует две таблицы, но они пока никак не связаны друг с другом:

subjects (список предметов)
subjId (уникальный номер предмета)
subjName (полное название предмета)

groups (список групп)
groupId (уникальный номер предмета)
subjName (название группы)

необходимо сопоставить каждой отдельно взятой группе список предметов на понедельник\вторник\etc…
знание php и mysql — на начальном уровне. посему, хотел поинтересоваться у гуру, как удачнее спроектировать БД.

Шифрование данных

Суть задачи:

Обеспечить обмен данными (текст) в зашифрованном виде между группой пользователей.

Шифровать данные на стороне клиента непосредственно в браузере (JS или Flash).

Данные на сервер попадают только в зашифрованном виде, чтобы даже администратор не смог получить к ним доступ.

Вопроса два:
1. Какой метод шифрования лучше использовать?
2. Как быть с ключами шифрования?

Спасибо!

Список ВУЗов и школ мира, база данных, где взять?

Привет.

Вопрос такой — на соц. сетях, вроде одноклассников и вконтакта, ещё до регистрации пользователей, как я понимаю, был уже список ВУЗов и школ мира, чтобы пользователи не вводили (зачастую по-разному), а просто выбирали из списка.

А где такой список взять? Может есть у кого-нибудь, аль в свободном доступе база данных такая есть?

Гуглил-гуглил — не нагуглил.

Спасибо.

Сервер баз данных под Windows Mobile/Android

Как быть если требуют написать оболочку для работы с базой данных размером 1.5Гб без использования инета под Windows Mobile / Android?
Может есть SQL-подобные решения для этих платформ?

Восстановление почты в TheBat

Делаю восстановление почты в thebat, восстанавливается криво:
— не все папки на своих местах;
— у некоторых ящиков по 3-4 trash-папки.

Что посоветуете?

Синхронизация Android с Ubuntu 10.10

Возник вопрос о бэкапе контактов с Android аппаратов на Ubuntu.

Есть ли какие-нибудь приложения, которые позволяют это сделать?

Аппараты, которым нужен бэкап контактов: HTC Desire, Google Nexus One, Huawei U8230.

Программа для организации FAQ'а?

Есть необходимость структурировать информацию(FAQ) для внутреннего использования. Нужна именно программа, а не веб-движок. Хотелось бы иметь обширное категорирование и возможности назначать теги.


Есть ли что-то подобное? а то пока только поделки на делфи по 200кб нашел:)

Как перенести контакты из Google Mail в Яндекс.Почту?

С учетом того, что всякий раз когда я экспортирую контакты из Google и импортирую их в Яндекс, 90% оказываются пустыми. Еще раз повторюсь, что экспорт и импорт совершается по всем правилам Яндекса и глючит именно сам Яндекс. Кто сталкивался с подобной проблемой и как ее решил?

Резервный сервер и канал?

При падении канала в ДЦ мы оставляем клиентов без нашего сервиса, сам сервер работает но доступа очевидно к нему нет, обычно это несколько минут, но это негативно сказывается на репутации.

Есть мысль разместить дублирующие сервера в другом ДЦ, и в случае падения канала либо сервера на одном, переключать трафик на другой.

Но как это сделать наиболее грамотно пока не ясно.

Вроде есть сторонние сервисы распределения нагрузки но где гарантия что направив поток через них они сами не рухнут при ддосе или просто большой нагрузке.

Можете дать совет как поступать в таком случае?

Dropbox для отдельных папок?

Хочется сервис, похожий на Dropbox, но чтобы можно ему скормить несколько отдельных папок, которые он будет синхронизировать (онлайн)? Чтобы на другом компьютере можно было также сделать checkout отдельных папок с сервера и продолжить их синхронизировать. Нужно, чтоб работало в Mac OS, Linux и Win.


Минусы известных мне решений:

Dropbox Selective Sync beta

— синхронизируемые папки все равно должны находиться внутри Dropbox-папки


SVN

— надо где-то искать надежный сервис

— ручной коммит (не следит за изменениями файловой системы, как Dropbox)

— есть сомнения, что SVN'у понравится огромное количество больших бинарных файлов


S3+s3fs+rsync

— синхронизация вручную

— да вообще все сам, все сам :(


Кто-нибудь знает о таком?

Спасибо.

Расположение частей распределённой базы данных

Расскажите, пожалуйста, как производят оптимизацию расположения частей распределённой базы данных? Интересуют более-менее готовые программные продукты и примеры решения задач.

Т.е., например:
есть несколько соединённых серверов под распределённую БД по всей стране, которые одновременно являются и клиентами этой БД.
В базе данных есть множество таблиц.
Есть статистика по запросам с клиентов к конкретным таблицам.
Есть некоторая цена хранения данных на определённом сервере.
Есть некоторая цена передачи, известная для каждой пары сервер-клиент.

Задача: разнести таблицы (или части таблиц) по серверам самым оптимальным образом.
Для решения задачи можно применять различные эвристические алгоритмы: генетические алгоритмы, эволюционные стратегии, муравьиные алгоритмы и т.д.
Но мне не удалось найти каких-либо более-менее готовых программных средств, которые реализовывали бы эти алгоритмы.

Существуют ли такие средства для решения этой задачи применительно к каким-нибудь БД (Oracle или другие)?
Или под каждую систему реализуется узкоспециализированное средство?
Или никто просто не парится с решением этой задачи, а данные раскидываются на глазок?

И может быть у кого-нибудь есть примеры систем с распределённой базой данных, которые были оптимизированы таким путём?

Спасибо!

Объясните, зачем нужны документо-ориентированные БД (MongoDB)?

Сабж. Вот не пойму я. Приведите пожалуйста побольше практических решений примения. Для Business-сектора, например.

Как организовать резервное копирование в небольшой организации?

Есть небольшая организация. 3 компьютера, все в одном помещении. Сервера, разумеется, а может и не разумеется, ни какого нет.
Точка доступа раздает интернет к ним. На одном компьютере поднят Firebird, на нем крутится БД бухгалтерской программы. Все пользователи каждый день работают с документами в электронном виде. Сохраняют их.
Каждую ночь делается бекап бух.программы. Необходимо его как-то хранить, чтоб в случаи внештатной ситуации можно было его восстановить. Плюс нужно делать резервные копии документов.

Нужны советы по организации. Что/Как использовать?

Востановление фотографий из Aperture (после очистки обеих корзин)

Умудрился удалить 1350 фотографий в корзину Aperture, после чего очистил её.
После чего очистил корзину Mac OS X.

Только после этого включился мозг, и я решил проверить сделал ли я экспорт всех этих фотографий корректно.
Выяснилось — ничего подобного я не сделал. Бекапа конечно нет.

Диагноз — временная потеря логики и идиотизм крайней степени.
Прошу помощи и совета как восстановить фотографии.
Попробовал Data Rescue 3 — очень много файлов из кеша Chrome, некоторые фотографии повреждены — результат работы готов назвать неудовлетворительным.

Какие существуют ещё решения или альтернитивы? Macbook не перезагружал. MacOS 10.6.4, Aperture 3.1.

Спасибо за помощь и советы заранее.

Модель базы данных с историей изменений?

Требуется разработать модель базы данных (или хранилища данных), в которой бы хранилось не только актуальное состояние, как в обычных оперативных базах данных, но и вся история изменений любых атрибутов любой сущности по времени, чтобы знать все на любом временном срезе, как это делается с агрегированными данными в хранилищах данных. Но если атрибуты текстовые и агрегировать нечего, непонятно как строить такую модель. Что-то близкое к тому, что мне нужно, наверное, темпоральные базы данных. Хотелось бы узнать ссылки на книги, научные статьи, открытые проекты по этой тематике.

Чем плохо EAV решение для интернет-магазина?

Столкнулся с проблемой когда есть разные типы товаров (одежда и телевизоры имеют мало одинаковых параметров). Вижу 3 решения проблемы

• Serialized LOB самый простой, но нет поиска
  
• EAV — не сложная реализация, нет проблем при обновлении базы. В общем вроде то. Но ТУТ пишут что не оч.
  
• Ну и самый сложный и дорогой (по времени) вариант — разделения товаров на разные таблицы
  

Собственно есть мысли? Как сделать удобно для меня как программиста, чтобы не переделывать все и чтобы людям было удобно?

Запрос на обновление с условием?

Добрый день!


Люди добрые подскажите как в mysql возможно запрос на обновление с условием написать?

Например, если в поле 1 то заменяем его на 2, если 2 то заменяем на его 1.


В поле находится буква «b» и «пусто», мне надо так скажем поменять местами, т.е. букву b заменить на «пусто», а «пусто» заменить на «b».

Хранение большого объема файлов (Wi-Fi соединение) дома?

Доброго времени суток, уважаемые!



Задались вопросом с домашними на тему хранения файлов.



Дома имеется 3 устройства с wi-fi (нетбук и 2 ноутбука). Я, например, смотрю очень много сериалов и фильмов, которых уже негде хранить и надоело записывать на болванки. Папа, он очень любит музыку и фильмы, которых также накопилось очень много. Мама с сестрой тоже воюют за свободное пространство.



Что уважаемое Хабрасообщество может посоветовать в такой ситуации?



Я думал, что можно купить жесткий диск на 2-4 Тб и коробку для него, но потом подумал, что навряд ли найду что-то подобное с wi-fi, потом подумал про установку эдакого «домашнего сервера», но не очень смыслю в этом (конфигурации, содержимое).



Буду благодарен всем вашим идеям в этом плане. А именно: есть ли возможность установки просто диска с wi-fi, а если это все глупость, то посоветуйте пожалуйста конфигурации домашнего сервера (если можно, то все, что для этого необходимо: корпус, метеринка, диск, оперативная память и все-все-все, что используется в таких ситуация).



Заранее благодарен.

Расскажите, где почитать об ООДБ

Хочется войти в курс дела, потому что недавно выяснил, что BerkeleyDB — вовсе не объектная база данных.

Может кто опишет классификацию или хотя бы отправит на нормальный сайт, можно и буржуйский. Есть одна идея, сердцем чувствую, чтоб база данных для нее нужна именно объектная.

Заранее спасибо.

Архитектура базы данных для комментариев

Добрый день.

Возникла странная дилемма в реализации комментариев на сайте.

Предполагается, что будет существовать большое количество статей (собственно не статей, но суть не в этом), причем актуальные (часто запрашиваемые) только небольшая часть из них, с небольшим периодом времени эти актуальные переходят в архив (без возможности добавления новый комментариев) и появляются новые. Как лучше организовать хранение в реляционной базе данных для всех комментарием, с учетом, что главный показатель — это скорость обработки/выдачи?

Собственно пока мысли вокруг двух вариантов:
— Общая таблица комментариев (смущает возможное уменьшение скорости выдачи в процессе роста таблицы)
— Отдельная таблица для каждой статьи

Допускаю возможность, что я смотрю не под тем углом на это дело.

Файловая система для нереляционных СУБД

Какая файловая система, поддерживаемая в Linux, лучше всего подходит для нереляционных СУБД, например, для db4?

Сервис для бэкапа приличных объемов данных (около 400Гб)?

Собираюсь переезжать за границу, комп с собой везти не хочется, поэтому думаю скинуть все данные на какой нибудь онлайн бэкап сервис, а после переезда выкачать оттуда.


Глянул дропбокс — хотят 20 баксов в месяц за 100Гб, причем больше 100Гб нельзя :(


Есть ли еще сервисы, с объемом побольше?

Разделять ли содержимое объекта и данные по его расположению в иерархии?

Звучит наверное не совсем понятно, поэтому поясню:

Пусть у нас есть дерево комментариев (Nested Sets или еще что-то, в принципе не важно). Стоит ли выносить поля, не относящиеся напрямую к комментариям (lft, rgt, parent_id и т.д.) в отдельную таблицу БД? С одной стороны, мы избавляемся от привязки к конкретной структуре комментариев (всегда можно поменять NS на MP или еще что-то), а с другой — появляются сложности с объединением этих таблиц.

Имеет ли смысл конвертировать все изображения на сайте в PNG?

Представьте ситуацию

Вопрос

Аналог phpmyadmin

Добрый вечер!

Существует ли какой-то аналог phpmyadmin именно для базы mysql, но c возможностью делать формы, как например в microsoft access.
Вообще, стоит задача разработать некую веб-БД, с удобной формой поиска и управлением (редактирование, удаление, добавление и т.д.). Есть ли готовые решения? Или надо изобретать какой-то свой велосипед? :)

Двусторонняя синхронизация данных на двух серверах?

Имеется:

2 сервера на FreeBSD (#1 и #2) с работающим rsync'ом, которые находятся в разных квартирах. На каждом сервере есть по одному 500 ГБ харду, на котором хранится рабочая и личная информация.

Задача:

Сделать умную синхронизацию, которая бы умела:
1. При добавлении/удалении/изменении информации на сервер #1, она должна добавляться/удаляться/изменяться на сервере #2.
2. Аналогично п. 1 в обратном порядке.

Как делал я:

На сервере #2 добавил в крон следующие команды:

/usr/local/bin/rsync -avz -e 'ssh -p 22' --partial /hdd/docs/ rsync@78.xx.xx.xx:/hdd/docs/ # с сервера #1 на сервер #2<br/>
/usr/local/bin/rsync -avz -e 'ssh -p 22' --partial rsync@78.xx.xx.xx:/hdd/docs/ /hdd/docs/ # и наоборот<br/>

Проблема возникла, когда я стал добавлять ключи

delete-after – Удалять файлы на слейве (#2), которые не были найдены на мастере (#1), после окончания синхронизации.<br/>
Так же можно использовать delete-before, delete-during, delete-excluded и delete.<br/>

Получалось, что только что удаленные/измененные первой командой в кроне файлы на #1 заново создавались при синхронизации #2 с #1 второй командой, и наоборот.


Есть ли решение?

Какие существуют архитектуры баз данных?

Понадобилось для доклада найти и разобраться в 3-4 архитектурах удаленных баз данных. На ум приходят только файл-серверная и клиент-серверная архитектуры, но про них, к сожалению, мне писать нельзя.


С помощью гугла нашел только сервис-ориентированную архитектуру.


Пожалуйста, помогите найти еще несколько архитектур, хотя бы названия, чтобы можно было найти по ним информацию.


Спасибо.

Инструмент для совместной работы филиалов и центра

Взываю к коллективному хабраразуму. Мы ищем систему мечты для централизованного взаимодействия основной компании и компаний-партнёров. Вариантов таких сервисов масса, все не изучишь. Думаю, кто-то с подобной задачей сталкивался.

Нужно иметь возможности
• Общение по принципу форума
• Обмен фото, видео, офисные файлы. Хранение в виде централизованого структурированного хранилища.
• Публикация новостей
• Есть свой сервер, на который можно эту систему поставить. В принципе, мы не против хранить такую информацию на сервере разработчика.
• По цене лучше бесплатно или недорого. От Basecamp'а отказываемся, потому что дорого и избыточно

Желательно, чтоб система была простая, без наворотов и избыточного функционала. Нам не нужны задания, отслеживание проектов и т.п. Нам нужна единая база знаний и возможность общения. Ах, и да! Желательно на русском, не все наши партнёры сильны в английском.

Чат на PHP: узкое место БД — как решить?

Есть задача организовать простой чат с веб-интерфейсом и полной историей на действующем сайте на самописном движке (PHP5.3.3/MySQL5.1). Гугление по существующим решениям ничего хорошего не дало, либо избыточно, либо производит ощущение «наколенной поделки» и чаще всего давно не поддерживается, да и хотелось бы иметь одну архитектуру и стиль кодирования. В общем принято решение реализовать самостоятельно. С кодированием особых проблем нет, прототип реализовали, но нагрузочное тестирование с разными вариантами индексов и таблиц показало, что при уже ~20 хостах «читателей» и одним «писателем» в секунду MySQL затыкается (VDS c 1Гб RAM, мускулу половина отдана, и 2ГГц проц, nginx+php-frpm под Debian) даже на денормализованной таблице, т. к. кэшированию средствами БД запросы не поддаются (фильтры у каждого «читателя» свои, ибо приват, фильтрация в серверном приложении вряд ли будет эффективней чем в БД, как мне кажется, а у клиента недопустима). А хотелось бы на этом «железе» хотя бы 40-50 держать помимо основной нагрузки. Что может помочь? Опыта «хайлоад» нет, возникли такие идеи:

— написать демона для чата на субдомене, чтобы читал в основном потоке из БД только при старте (последние N сообщений) или редких специфичных запросах, хранил их у себя в памяти процесса (убивая старые), а писал в БД только «логи» для следующего старта (тогда фильтрация будет эффективна, имхо, плюс её можно будет осуществлять опережающе и инкрементно, храня сами сообщения в едином пуле, а для каждого читателя добавлять в список ссылок на «его» сообщения при поступлении сообщения от «писателя» лично для него или публичного, и удалять их оттуда при прочтении)

— аналогичным образом задействовать мемкэш (хотя пока с трудом представляю как обеспечить целостность, до того только с файловыми кэшами работал, которые сами не «испаряются») для обычного PHP-обработчика (то есть чтобы куча воркеров имела доступ к общему пулу сообщений и инкрементным личным спискам ссылок на них между запросами)

— перевести чат на NoSQL СУБД (какую? главная задача эффективная фильтрация по паре полей последних записей, типа WHERE timestamp > {last_time} (или id>{last_id}) AND (recipient_id IS NULL OR recipient_id={user_id}) ORDER BY timestamp (или id) DESC LIMIT {max_records} )

Что стоит попробовать или ещё какие могут быть варианты? Демона писать не хочется, так как усложнит администрирование и сервера, и собственно чата (аналог IRC команд делать?), опыта работы с кэшем и NoSQL практически нет.

Локальная и сетевая производительность СПС Гарант

Всем привет!

Есть небезызвестная справочно-правовая система ГАРАНТ, которую супруге по роду деятельности постоянно приходится использовать дома. Обычная клиент-серверная версия, запускаемая локально с жесткого диска WD10EADS (да, 5400 rpm, но в остальном не такой уж он и медленный), под Win7 x64 на Athlon X2-5200 с 8Gb RAM.

Так вот, по словам супруги, работающий с локального жесткого диска ГАРАНТ при работе с запросами к базе работает гораздо медленнее, чем такая же сетевая версия у нее на работе (запускается на древнем рабочем компьютере с сетевого файл-сервера по 100 мегабитной сети).

Я не могу понять, как такое возможно. Но если это так, за счет какой-то оптимизации ГАРАНТа под сетевую работу, то поможет ли мне запуск его с NAS (где RAID 0 + гигабитная сеть)?

P.S. К сожалению, поставить другой более быстрый диск в тот же компьютер по ряду причин (используемый корпус и т.д.) не могу.

Поиск по зашифрованной информации. Как реализовать?

Приветствую!

Есть данные которые шифруются на стороне клиента алгоритмом AES. Далее данные сохраняются на сервере.

Хранить данные в открытом виде на сервере мы не можем, такая политика конфиденциальности.

Как можно организовать поиск по этим данным?

Брать хеш (ключевые слова/теги) и искать по нему?

Спасибо!

атомарность в С++

Доброго времени суток!

Возникла задача: необходимо синхронизировать через testAndSet потоки:
int atomic testAndSet ( char *lock ) {
char var;
var = *lock;
*lock = 1;
return var;
}

Но вот с atomic проблема, а без нее никак.
Подскажите библиотеку для атомарного изменения переменной в С++?

Лёгкие для запоминания пароли

Предлагаю такую идею.
Что если подбирать пароль не по степени сложности и нечитаемости, а, наоборот, не слишком короткий, но хорошо запоминаемый?
Человеческий мозг таков, что псевдо-логичные словосочетания из знакомых слов запоминаются гораздо лучше, чем s2queY482uuj. Я взял несколько словарей, засунул их в программу, после чего замиксовал через рандомизатор. Для более простого запоминания, все слова в словосочетании начинаю с одной буквы.
Вот что, например, получается:

шкурно шмыгающий шкет
косвенно кислый кусочек
грустно годовалый горшок
бесхозяйно бисерная бусинка

и т.д.

Длина пароля получается довольно большая. Учитывая число слов в словаре, число сочетаний огромно, т.е. пароль мало того что неподбираем, несложно также сделать уникальным (как логин и пароль одновременно).
Как кому идея?
Если я переизобрёл велосипед, ткните плиз носом.
Спасибо!

P.S. Кстати, генератор словосочетаний могу выложить в свободный доступ в виде утилиты для Винды и Линукса.

Подскажите хороший учебник по Oracle

Настала необходимость начать изучать СУБД Oracle и сразу встал вопрос, какую книгу посоветуете для изучения с 0 для новичков и желательно на русском языке.

Лог программы и защита персональных данных?

В программе ведется лог. И в случае, если не удалось считать файл или найти библиотеку, адрес файла записывается в лог.

Вопрос: требуется ли адрес файла (особенно, если он лежит на сетевом адресе) скрывать, по закону защиты персональных данных, чтобы он не попал в лог?

Лог ведется как в локальный файл, но может сливаться через локальную сеть или сеть Интернет (по запросу службы поддержки).

HDD помер, как бы добыть информацию?

Есть HDD от WD на 500Гб, куплен не так давно — максимум месяца 3 назад. Еще месяц назад появились страные симптомы — через раз после ребута комп отказывался видеть жестянку, передергивание проводов на мат. плате/ж.диске давало положительный эффект и компьютер находил диск. Сейчас же комп либо видит жесткий диск но подвисает на этапе его определения, либо не видит его вообще.
Достал из другого компьютера жесткий от Hitachi — его комп видит отлично, грузится без проблем… всевозможные комбинации настроек вариантов с sata и pata и enhanced с compatible mod'ами не дали должного эффекта в виде загрузки с hitachi для того чтобы утянуть данные с WD. SMART тоже отключал в надежде что из-за него подвисание… Если подключены оба диска, зачастую идет следущее: (прриблизительно)
SATA1: IDE Hard Disk
SATA2: IDE HArd Disk
SATA1:
HITACHI *************** 80Gb
SATA2:
*дальше ничего не пишется — система как бы висит*
_____________________________________________

Есть ли какая-либо возможность (за исключением кармана с usb) в домашних условиях подключить почивший диск, или только вариант конторы, специализирущейся на восстановлении данных с дисков?

UPD #2 And once again, the day is saved thanks to the powerpuff girls Linux, в данном случае Ylmf-сборка, он сумел разглядеть в куче железа оба раздела данных, коии уже лбются на внешних хард =) удивительно, но винда его так и не видит… мистика :/
Всем спасибо за советы =)

UPD #1
в другую машину как раз сейчас воткнул. первый запуск ничего вообще не дал — только биос долго думал, во второй раз биос дал следущее:

Auto-detecting 3rd Master..IDE Hard Disk
Auto-detecting 4th Master..IDE Hard Disk
4th Master: Hitachi HD*** P210A70A, UDMA Mode-5…
Third Master Hard Disk Error, press f1 to resume

Но, опять же, при загрузке в винду эффекта ноль… счас попробую линукс, авось он больше увидит…
При старте системы оба диска «жужжат» и подуают признаки жизни, пятисотка издает звуки, наподобие как в сидироме разгонятеся диск и происходит попытка его чтения, но в следствии повреждений диска считывание не происзодит… после пары таких «заездов» диск признаков жизни не подает — как буд-то на него просто не подается питание…

Как лучше хранить настройки пользователей в базе данных?

В web-проекте планируется достаточно много настроек для пользователей. Так же в будущем их придется добавлять/убирать.
Рассматривается несколько вариантов хранения значений этих настроек:

1. Создать две таблицы (при условии, что таблица с user_id уже есть):
1) option, option_id;
2) user_id, option_id, value.
2. Хранить все в одной дополнительной таблице: user_id, all_options_format(xml|json). В данном случае все настройки будут в одну строку формата xml или json.
3. Опять же дополнительная таблица но уже вида: key(user_id, option), value.

Какой из этих вариантов на ваш взгляд предпочтительнее?

Либу на С/С++ для разпаковки всяких разных архивов?

Желательно кросс-платформенную, желательно LGPL или BSD-like. p7zip пересобрать не предлагать, 7zip тоже. Я застрелюсь раньше. Что мне нужно: открыть файлик архива, найти там нужный файл и его распаковать. Но архивы всякие разные вроде zip, bz2, tar, gzip, 7z и прочая лабуда.

Проблемы с MySQL MyISAM — дублирование записей и крэш больших таблиц

Совершенно внезапно на рабочем проекте стали твориться непонятные вещи:

• отваливаются две самые большие таблицы — одна на гигабайт и порядка 70 миллионов записей, другая на 500 мегабайт и 700 000 записей. Примерно 100-1000 инсертов в секунду в первую и 2-5 во вторую. Из второй данные активно select'ятся
• периодически по неизвестным причинам база начинает выдавать ошибку too many connections. Скрипты оптимизированы, один скрипт — один экземпляр соединения (класс БД — «одиночка»)
• сегодня ни с того ни с сего данные начали дублироваться, один запрос проходил от двух до 13 раз. Причем не один какой-то запрос, а сразу несколько, которые идут друг за другом.

Скрипты проверил, всё в порядке, давно ничего не менялась, проект со средней посещаемостью. Никаких всплесков за сегодня нет.
Сервер выделенный, настройки стандартные, ОС — CentOS. Версия MySQL — 5.0.77

В чем может быть причина? Я с подобным никогда не сталкивался, никак не могу понять, что происходит.

Посоветуйте базу данных (pure Java, Schema less, embedded, in memory)

Посоветуйте пожалуйста: pure Java, Schema less, embedded, in memory базу данных.
Чтобы использовать как кэш с возможностью поиска по свойствам объектов.

Ну или иные варианты как организовать такой кэш :)

Спасибо!

Как переконвертировать mdf в sdf? (ms sql server to ms sql server ce)?

Есть база данных в СУБД MS SQL Server.

Подскажите наиболее простой способ получить из неё бд в формате sdf (MS SQL Server Compact Edition).

Миграция с Lotus на Outlook?

В конторе внезапно решили перейти с Лотуса на Оутлук, соответственно встал вопрос — как перетащить всю переписку (за два года там нормально набралось).

Погуглив нашел несколько утилит, есть платные, есть бесплатные, но на все есть отрицательные отзывы связанные с различными подводными камнями.

Есть ли у кого подобный опыт — что порекомендуете? Необходимо сконвертить переписку с Лотуса в базу Оутлука, решение не обязательно должно быть бесплатным, в общем то до $50 готов заплатить.

Поиск данных с учетом большого числа критериев

Вот сразу вспомнилось, примерно похоже на мою задачу:
Яндекс.Маркет подбор мобилок

Взгляните на панель справа, дофига всяких критериев выбрать можно и работает очень быстро. Как делаются подобные штуки? Какие подходы используются, устройство базы данных? В идеале нужен некий универсальный механизм, который мог бы искать по любому произвольному очень большому набору критериев, по огромному количеству объектов (>100 000) с разным набором полей, делать это максимально быстро, по возможности обходясь без over 9000 серверов.

Как организовать синхронизацию очень разных данных?

Что хочется:

Иметь автоматическую\полуавтоматическую синхронизацию файлов со следующими характеристиками:

• Синхронизация как автоматическая (через интернет) так и вручную (через флешку) \ полуавтоматически (через локалку).
  
• Копия части данных хранится в интернет сторадже ( бесплатное, хотя бы 3 гига), полная копия хранится на флешке (16 гигов).
  
• Синхронизируемые каталоги могут находится в произвольном месте (кроме вложенности друг в друга).
  
• Хорошая работа с каталогами содержащими проекты под SVN и Mercurial.
  
• 3-4 машины с разными возможностями синхронизации — машина с анлим интернетом, с дорогим интернетом (т.е. через флешку большие объемы предпочтительней), ноутбук который оказывается в одной сети с первой. В некоторых случаях — не все папки нужны на каждой машине.
  
• Достаточно только под Win
  
• Было бы идеально если можно было бы синхронизировать историю SVN и Hg
  
• Если где-то что-то ломается или неправильно обновляется — можно сделать откат с рабочей\бэкапной флешки, сказав принудительно — «при сравнении такого каталога — файлы на флешке приоритетнее.»
  

Что есть сейчас:

Синхронизация через 2 утилиты: LiveMesh и SyncToy


LiveMesh умеет — синхронизация через интернет хранилище (5 гигов) и через локалку\wifi (нет ограничений). Все более-менее автоматически.

Что делает плохо — конфликты убираются в корзину, вариаций не дается. Плохо отрабатывает по SVN (ломает репозиторий), HG +SVN даже страшно пробовать. Синхронизация только целиком, не диффы, т.е. траффик жрет сильно.


SyncToy: Ручная дрезина — все каталоги задаем руками, синхронизация запускается руками.

Что делает плохо — не самый продуманный алгоритм удаления — перед удалением каталога — удалит в индивидуальном порядке каждый файл в нем. Фильтры на игнор настраиваются по индивидуальному абсолютному пути и нет маски. Ломает SVN. Очень много файлов вызывают ступор или краш ( видимо или течет память или неоптимальное использование — забивается все)


Пробовал дропбокс — мало места в инете (бесплатного), хранилище только в одном каталоге (MyDropbox), не умеет по сети (из вкусностей — история как SVN).

Рассматривал вопрос c RSync, не понравилось что надо много всего писать вручную.


Есть сильные сомнения что все это будет хорошо работать с SVN\Hg при таком тупом синхронизировании.

Немного изучал вопрос mercurial<->Svn — консолька вместо автоматического гуя пока не устраивает и слишком много ручной работы для написания батчей ( может я не в курсе и уже есть нормальные решения ?).

Собственно вопрос:

Может кто посоветует полную или частичную замену данной схемы. или хотя бы нормальную работающую схему с синхронизацией snv\hg, без обилия ручной работы.

Готов даже делать отдельную синхронизацию файлов (тут SyncToy работает вполне нормально) и синхронизацию проектов (commit в 2 разные системы, копия в инете (bitbucket) на флешке) разнести.

Функциональная структура суперВС Jaguar

Нужна информация по функциональной структуре машины Jaguar (http://top500.org/system/details/10184), которая сейчас занимает второе место по производительности в списке ТОП 500.

База названий городов и стран. Где взять?

Работаю над созданием туристического сайта. Нужно где-то взять базу всех городов и стран мира на русском языке. Наверняка где-то уже есть, только не могу найти.

Синхронизация каталогов?

Дано: компьютер под Windows Server, VPS под управлением CentOS и папка с 40 тысячами файлов.

Найти: способ что попроще и пошустрее синхронизировать папку на VPS и папку в Windows. Главой выступает папка Windows.


На обоих компьютерах рут.

Современные решения для реализации HMI/SCADA систем?

На работе стоит задача провести анализ и выбрать программный продукт для визуализации систем HMI, причем имеются требования управления элементами и динамическим обновлением показателей. Несколько упрощенно — надо отрисовать схему электрической сети, считать показания некоторого числа датчиков, отобразить все это на пульте, дать возможность диспетчеру системы проводить не только диагностику, но и настройку/изменение параметров системы. Пока акцент стоит больше на визуализации процессов, логика и операции будут добавлены несколько позже. Платформа и цена решения значения не имеют, хотя лучше бы подошло решение на Java/.NET по понятным причинам.

Что удалось нарыть состоянием на данный момент:

1) GLG Toolkit by Generic Logic (www.genlogic.com)


Кроссплатформенное (ядро на Java) решение для работы с динамической графикой, визуализацией данных и HMI. Заявлена поддержка риал-тайм систем. Нужная функциональность есть в наличии и все хорошо, только вот встроенный редактор картинок просто дикий, это же касается и кода (if pressed button name equals «exit» then exit() else if button name = «refresh» goto another_crazy_if_then(), дальше думаю еще больше). Вообще складывается впечатление что развитие тулзы остановилось где-то в начале 2000-х. Понятное дело, что нужно ехать, а не шашечки, но полтора часа потратить только на то, чтоб нарисовать обычный датчик электроэнергии — это чуток накладно.

2) CSWorks by Control System Works (www.controlsystemworks.com)


Silverlight 4 framework для HMI/SCADA/EMI/M2M решений. Есть поддержка разных источников данных, поддержка распределенных операций через веб, гибкая система оповещений и предупреждений, поддержка риал-тайм систем. Если судить по демкам, достаточно неплохой вариант. Единственное не до конца понятно, что у них есть для электросетей — на сайте отдельными пунктами выделено применение фреймворка нефтегазодобывающими, строительными, транспортными, добывающими компаниями, а также компаниями, которые занимаются водоснабжением и M2M. Даже если в этих сферах все отлично, дорисовывать нужное нам естественно никто вручную не станет.

3) Status Vision Designer by Mobiform Software Inc. (web-hmi.com)


Silverlight 3 решение для HMI/SCADA систем, используется для дизайна систем производства и контроля процессов путем создания дашбордов и отображения данных в реальном времени. Плюсами этого решения выделены высокая степень совместимости, расширяемости, поддержка клиент-серверной архитектуры. Насколько я понимаю это своего рода аналог Blend'a с возможностью публикации в веб. Плюсом является наличие похожих к нашему юзкейсов, заявлено наличие нужных контролов для задач моделирования ЭС.

4) Наборы контролов для WPF/Silverlight от Infragistics, Telerik, ComponentOne etc. Все они красивые и позволят наваять гламурные панельки-кнопочки-датчики, но есть подозрение, что задачу глобально с их помощью не решить.

Задача нетривиальная и специфичная, так что я не надеюсь на то, что кто-то даст совет, который снимет все вопросы. Но может хотя бы поделитесь опытом разработки похожих систем… Спасибо.

Структура базы данных

Подскажите пожалуйста по структуре базы данных. Нужно хранить информацию по фильмам.
К каждому фильму, относиться много информации.

а именно:

Название
Оригинальное название (анг)
Год
Страна
Слоган
Режиссер в множестве
Сценарий (в множестве)
Продюсер (в множестве)
Оператор (в множестве)
Композитор (в множестве)
Художник (в множестве)
Монтаж (в множестве)
Жанр (в множестве)
Бюджет
Сборы
Зрители
Примера
рейтинг MPAA
Продолжительность

таких фильмов будет много (порядка 80 000), и почти все однотипные, поэтому нужно как-то грамотно составить DB, что бы не было проблем в дальнейшем.

как я думал сделать:

Главная таблица (catalog) в которую заносим

id — номер фильма
name — название
name_original — оригинальное название
type — тип картины (фильм, сериал)
year — год выпуска

здесь меня смущает нужно ли здесь держать (name, name_original)… или вынести ее в отдельную таблицу

таблица с параметрами (catalog_properties)
film_id — номер фильма
property_id — номер название параметра
property_value — номер параметра

таблица с именами параметров (catalog_properties_name)
id — номер параметра
name — название параметра
code — код параметра для внутренних потребностей фронтенда

+ несколько таблиц справочников, для стран, жанров, etc

таблица для параметров что не входят в справочники (catalog_properties_data)
id — номер параметра
name — название параметра

вот здесь меня смущает что все параметры будут держаться в поле с типом varchar
а хорошо бы для
бюджет, сборы в США — interger,
премьера — date,
рейтинг MPAA — enum

разве что делать таблицу для параметров такой:

id — номер параметра
name_string — название параметра
name_integer — название параметра
name_datetime — название параметра
name_enum — название параметра

и выбирать в дальнейшем так "SELECT CONCAT_WS('', name_string, name_integer, name_datetime, name_enum) as name" но хорошо ли так ??

+ еще не знаю как поступить с описанием фильмов, это будет тип TEXT, выносить ли в отдельную таблицу все описания, или запихать в таблицу параметров, что указана выше

Asus WL-520GC + внешний винт по Ethernet

Интересует, был ли у кого опыт использования такой комбинации. Именно с этой моделью (ну или хотя бы из той же линейки).

Как оно работает? Насколько сложно всё это настроить? Какие подводные камни есть?

Сам роутер названный уже имеется в наличии и работает несколько лет, а вот внешнего винта такого, чтобы протестировать, под рукой нет. Хочу купить что-нибудь вроде Verbatim 47591, Western Digital WDH1NC10000 или Western Digital WDBACG0010HCH.

Важный вопрос — как виден такой Ethernet внешний винт для роутера? Для роутера это просто сетевое подключение и всё? А на жёстком диске что? Стоит какой-то софт? Ос? «Мини-компьютер»?

Спасибо большое заранее за помощь!

(Кстати, у этого моего роутера USB нет, поэтому только RJ-45.)

Оффлайновый аналог Дропбокса?

Очень нравится данный сервис, но по причине лимитированного интернета его использование сильно ограничено.


Может кто подскажет аналог, не требующий интернета и работающий по принципу «настроил и забыл»?

Основная сфера использования: синхронизация между десктопом и ноутбуками.

Как синхронизировать профиль Chrome (Win <-> Mac) через Dropbox?

Т.к. внутренняя синхронизация Хрома (9.0.597) практически не работает у меня работает плохо (часть закладок синхронизируется, а часть нет), то возник вопрос, о синхронизизации всего профиля с помощью Dropbox. И если на Win я без проблем нашел профиль и перенес его в папку Dropbox, поставив на него симлинк, то в Mac OS X 10.6.6 я этот профиль днем с огнем (spotlight) найти не могу. Прошерстил даже вручную все директории где бы он мог оказаться — все впустую.

В интернетах пишут, что профиль обитает здесь: ~/Library/Application Support/Chrome/Profiles/xxxxxxxx.default/ однако — нет такого пути вообще (в Application Support нет ни Google, ни Chrome, ни Google Chrome).

А теперь вопрос знатокам: где зашифровал свой профиль Chrome?

UPD. Профиль нашелся тут

С помощью симлинков удалось подцепить Хром через дропбокс к другому профилю, закладки появились, что и требовалось, появились табы, что тоже очень хорошо (в стандартной синхронизации Хрома через Google-аккаунт синхронизация табов так же не работала, подозреваю, что и все остальное работало через раз или не работало вовсе), однако иконки расширений пропали с панели (собственно как и сами расширения, хотя место под каждое отведено и при наведении на него пишется, что такой страницы нет).


Вот вопрос как их теперь вернуть (я бы их даже синхронизировать не стал, т.к. их с десяток и я их руками поставить могу)? Т.е. по сути вопрос сводится к тому, что исключить из синхронизации, чтобы все работало нормально?..

Архивирование в самодостаточные тома

Есть ли такой софт, который позволяет архивировать (со сжатием) большие объёмы данных (600—700 гигабайт), создавая при этом отдельные, самодостаточные архивы (например, размером по 1—2 гигабайта), а не просто один архив, поделённый на отдельные файлы, распаковать который можно только имея все его части.

Ключевое слово здесь: самодостаточные. То есть чтобы каждый из элементов этого большого архива можно было распаковать без проблем, не имея других его частей.

Софт для синхронизации и бекапа?

С удивлением обнаружил, что софт на подаренном мне на ДР внешнем диске Western Digital совершенно беден. Программа бэкапа позволяет выбрать типы файлов (документы, музыка ...), а не конкретные директории, а возможность синхронизации вообще не предусмотрена.


Посоветуйте пожалуйста софт дня бэкапа и синхронизации.

Требования к бэкапу у меня такие:

1. Указать сколько версий для каждого файла хранить

2. Возможность восстановления без специалзного софта — чтобы была директория с последними версиями

3. Конечно же возможность указать какие именно фолдеры бэкапировать


Спасибо

Организация прямого соединения между двумя клиентами под контролем сервера

Существует сервер, с белым(реальным) IP, есть несколько клиентов, разбросанных по интернету(динамические адреса, nat...) Необходимо организовать прямой обмен данными между клиентами.
Вопросы такие:
1) Какие протоколы лучше всего использовать для обмена данными и установки соединения?
2)Что можно почитать на эту тему (пытался гуглить, но похоже не могу правильно задать вопрос)?
3) Если кто-то подобное делал, то какие библиотеки использовались?

Mssqlserver error 9002: tempdb is full

Имеется такая ситуация:

Event Type: Error
Event Source: MSSQLSERVER
Event Category: (2)
Event ID: 17052

Description:
Error: 9002, Severity: 17, State: 6
The log file for database 'tempdb' is full. Back up the transaction log for the database to free up some log space.

Сам файл C:\Program Files\Microsoft SQL Server\MSSQL\Data\templog.ldf разросся до 9 гигабайт.
Вопрос, как его корректно очистить?

Структуры данных Sphinx & Lucene

Добрый день.
Не поделится ли кто сокровенным знанием? :)
Нужны структуры данных индексных файлов поисковиков Sphinx, Lucene. Если есть аналогичная информация по другим — тоже не откажусь, если движок достаточно шустрый. Поставленная перед собой задача — понять механизм наполнения поисковых баз и поиска по ним. Хотелось бы избежать нудного и неблагодарного кодокопательства.
Общая файловая структура Lucene описывается, но очень общая, хотелось бы поподробней.

Существует ли где-нибудь база с конспектами книг?

Ну, чтобы, не читать 500 страниц, когда нет времени, но усвоить главные мысли

Софт для визуализации данных?

Делаю курсовую работу, работа скорее гуманитарная, чем техническая.

Одна из самых важных частей в работе визуализация и наглядность результата.

Необходимо представить данные приблизительно таким образом:

Объект-Связь (связи отводится довольно важное место, необходимо подробно указывать каким образом осуществляется связь, возможно добавить, еще какие то косвенные связи)-Объект

Раньше я всегда пользовался ментальными картами (FreeMind, MindManager) в работе, но сейчас это не работает, нужно что то с более расширенным функционалом.

Что то громоздкое типа векторного редактора не совсем подходит, потому что надо гибко кроить схемы.

Результат приблизительно представляю себе так:
www.biblicalstudies.ru/HC/map.jpg

Шифрованный сетевой диск

Есть машинка под Linux'ом на нужно поднять сервис для хранения данных с шифрованием. Доступ будет с win машин. В идеале было бы монтировать диск как сетевой, на крайний случай пойдет подступ по фтп.

Чем лучше это организовать и чем шифровать?

Кэширование данных до запроса в PHP

Проблема: К базе данных происходит около 200 однотипных запросов, но одинаковых нет, каждый раз меняется по одному параметру, поэтому кэширование результата тут не подходит.

Я заранее знаю диапазон записей к которым происходит запрос, поэтому родилась такая идея — выбрать все эти данные заранее и вместо запроса уже перебирать данные в массивы.

Писать этот механизм руками неохота, скорее всего должны быть уже готовые решения, собственно и вопрос — кто-нибудь знает про что то подобное?

Слышал что в .net есть подобная штука — DataTable называется.

Архив старых записей Whois, есть ли?

Существует ли архив старых записей Whois-доменов?

Нужно узнать телефон одного человека, который был в данных Whois, но домен недавно освободился и посмотреть телефон не представляется возможным.

Truecrypt. Смонтировать образ по сети

Есть 2 машины.

1 — сервер под линуксом. На нем хочется хранить сам файл-контейнер.
2 — клиентская машина под Windows находится НЕ в локальной сети с сервером, доступ к серверу по интернету. На нем нужно монтировать файл-контейнер.
Правильно ли я понимаю, что на первой машине нужно поднять самбу, подключить диск с контейнером к виндовой машине как сетевой диск и смонтировать образ в truecrypt?

Или есть какой-то более рациональный метод? Расшаривать сетевой диск смонтированный на сервере не вариант. LUKS тоже. Не будет ли тогда truecrypt пытаться закешировать весь файл контейнер?

Спасибо.

Подскажите решения для синхронизации данных через интернет

Может есть какие-нибудь решения позволяющие синхронизировать несколько компьютеров по технологии bittorent, например?
Запускаешь приложение дома, на работе и на ноуте.
Имеешь три одинаковых копии определённой папки.
При изменении в одном месте — остальное скачивают это к себе.

То есть что-то наподобие дропбокса, но без сохранения где-то в облаке за деньги.

Для истории, добавлю тут ссылку на статью о wuala.
Остановился на этом решении.

UPD
Перехожу на это решение: habrahabr.ru/blogs/p2p/120498/
Дома удобнее через р2р обмениваться. Да и не надо заморачиваться с торговлей местом.

Экспорт MySQL с пользователями?

Встала задача перехать на другой VDS. На обоих машинах стоит ISPManager, но он отказывается делать импорт пользователя — постоянно ошибки. Решил делать в ручную, но очень не хочется создавать заново пользователей MySQL, потом их прописывать в скриптах и делать прочие сопутствующие вещи.


Можно ли как то сделать экспорт всех баз вместе с пользователями, сохранив их пароли?

Что делать если взломали E-mail

У моего друга взломали E-mail (GMail) и заблокировали доступ к нему.
Есть конкретный подозреваемый (исполнитель или заказчик) человек.

Хотелось бы у вас спросить совета, каким образом можно восстановить доступ к почте? Куда нужно обращаться? Обязательно ли ехать в офис российского Гугл? Какой алгоритм действий по восстановлению контроля?

А во-вторых, под какие статьи УК РФ попадают данные деяния? Что нужно сделать для возбуждения уголовного дела и что необходимо для того, чтобы доказаться причастность подозреваемого к совершению данного преступления?

Заранее премного благодарен за советы!

Программа для ведения архива документов с возможностью поиска

Я — юрист. Из интернета и из справочных правовых систем постоянно приходится скачивать нормативно-правовые акты и судебную практику. Необходим способ как-то систематизировать накапивающуюся информацию. Хотелось бы иметь возможность категоризации документов (а еще лучше — возможность использования тегов) и удобный поиск (чтобы создать что-то вроде персональной справочной правовой системы).

Синхронизация Android-телефона и Picasa?

Всем привет!

Задался вопросом на эту тему, перерыл маркет, но ничего подходящего не нашел (плохо искал?). Существует ли способ нормальной синхронизации фоток с камеры и моего аккаунта на Пикасе? Соответственно, автоматический, потому что руками я могу все это делать через компьютер. Чтобы я выбрал нужный альбом и в него все сыпалось регулярно. Штатная синхронизация, которая в настройках задается, существует вообще непонятно зачем. Насколько я понял, она лишь показывает все интернет-альбомы в «Галерее».

Импорт массива данных в таблицу mySQL?

Доброе время суток.


Есть задача отпарсить TXT и обновить данные в таблице используя результат парсинга.

Первая подзадача решается без проблем, а вот вторая задача решается, но решение не совсем корректное на мой взгляд.


TXT:

001-03-0027,4000.50,5<br/>
001-03-0031,8000.50,6<br/>
001-03-0028,12000.50,7<br/>
001-03-0033,16000.50,8<br/>
...<br/>

Таблица:

CREATE TABLE properties(<br/>
 ...<br/>
 id_1c VARCHAR(255) DEFAULT NULL,<br/>
 price FLOAT DEFAULT 0,<br/>
 count INT(11) DEFAULT 0,<br/>
)<br/>

Обрабатывая файл построчно я получаю 3 переменные $array['id_1c'], $array['price'], $array['count']. Которые запихиваю в запрос:

<br/>
'UPDATE properties SET price='.$array['price'].', count='.$array['count'].' WHERE id_1c = '.$array['id_1c'];<br/>

В итоге получаю количество запросов прямо пропорциональное количеству строк в файле, а их там 5000 шт.

Возможно ли как то оптимизировать данный процесс?

С учетом того, что требуется проводить мониторинг успешности обновления данных:

ID 001-03-0027: обновлен успешно<br/>
ID 001-03-0031: не найден в базе<br/>
ID 001-03-002: не найден в базе<br/>
ID 001-03-0033: обновлен успешно<br/>

Спасибо.

Формализованное описание структур данных — как?

Существует внушительное количество структур данных, с которыми приходится работать программистам и математикам.


Для каждой разновидности структур данных человечество уже придумало множество способов формализованного описания конкретной модели данных, начиная от XML-схемы и SQL DDL, и заканчивая JSON. Однако, как математически определить саму структуру так, чтобы это было грамотно и понятно читателю — решительно непонятно. Как показать, что данные будут организованы в стек или красно-черное дерево, кроме того, что написать эти термины или нарисовать картинку?


Буду благодарен за любые идеи или наводки, где подобные описания используются.

Импортирование xls файлов в базу данных psql на python

Добрый день! Как можно через python импортировать эксель таблицу в PostgreSQL? Изначально нам дан url по которому находится эксель таблица, и нужно чтобы это таблица была в бд postgreSQL, т.е. по url коду данные импортируются в базу данных PostgreSQL, как это можно сделать?