Результаты поиска

Проектировщик баз данных, с хорошей визуализацией и работой с базой?

Интересно узнать какие программы созданы на сегодняшний день, и сколько плюшек какая из них имеет, основные критерии, их не много, визуализация модели базы, прямая работа от модели до самой базы, (ни как в MySQL Workbench, где модель идёт как один проект, а с базой работать другой), ну и поддержка MySQL или PostgereSQL.

Лучшая ORM для C#

Суть задачи в следующем: требуется хранить в базе данных информацию о состоянии объекта (например, следим за задвижкой на насосной станции второго подъема). Параметров по наблюдаемому агрегату может быть много — это температуры, вибрации, значения токов, процент поворота. Кроме того, необходимо сохранять так называемые временные «слепки» (значения всех параметров) состояния агрегата с заданной частотой, например раз в минуту, или по событию (при открытии задвижки), чтобы потом иметь возможность анализа каких-либо нештатных ситуаций.
Хочется работать с данными как с объектами на самом высоком уровне, имея функции запроса и записи их состояния без углубленного погружения в SQL. Подумал об использовании ORM, так как по моему мнению они именно для этого и предназначены. В общем, посоветуйте какую-нибудь стоящую систему.

Шардинг MongoDB под нагрузкой?

Как ведет себя шардинг MongoDB под нагрузкой? Особенно как влияет на загрузку системы их Map/Reduce?

Как защитить БД с критичными данными от произвола медленных запросов?

Ситуация: есть боевой сервер, на нем — вебсервер и MySQL. С мусклем взаимодействуют, во-первых, PHP-скрипты выполняющиеся под апачем на этом сервере, а во-вторых — удаленные пользователи через TCP. Работают они с одной и той же базой. Однако, работоспособность связки «локальный апач плюс мускль» критична, а «удаленные юзеры плюс мускль» — нет.


«Удаленный» юзер запускает корявый запрос — например, REGEXP селект по неиндексированному столбцу на 20 млн строк. При этом в течение 3-5 минут тормозят все остальные запросы к этой базе, которые при обычных условиях летают. В итоге критичная веб-часть перестает отвечать с приемлемой скоростью. Как сделать так, чтобы удаленные юзеры могли посылать говнозапросы без вреда функционированию локальных подключений к БД? «Локалка» и «удаленщики» коннектятся к БД разными юзерами. Разнести базу на две — вариант не устраивает. Запас производительности на сервере есть (8 ядер, 24 гига памяти).

Про количество соединений к базе данных

Есть стандартная трехзвенка: тонкие клиенты — сервер приложений — БД. Клиентов 50 штук. Правда ли, что для приемлемого времени отклика, между сервером и БД хватит, скажем, 5 соединений?

NoSQL — особенности применения

В каком случае оправдано использование таких баз данных как MongoDB, CouchDB, Redis и некоторых других?

Имеет ли смысл ставить их вместо классического mysql, на сайте со слабой нагрузкой?

Используются ли они в связке с mysql, или работают отдельно?

Какие посоветуете средства аудита изменений данных в MSSQL?

Какие посоветуете средства для аудита изменений данных в MSSQL (нужно сохранять изменение всех полей), где связка mssql + NHibernate.

Из того что нашёл, это:

1. Повесить на тригеры в базу данных запись истории в таблицы с историей.

2. В самом NHibernate повесить обработчики в Interceptors или EventListeners и писать в таблицы с историей.

3. Использовать фичу 2008 MSSQL — Change Data Capture. Тут вопрос, стоит ли её для этого использовать, где-то читал «Основной сценарий, в котором предполагается использовать CDC — это „большие“ ETL (extraction, transformation, loading) приложения, которые асинхронно кусками перегоняют данные из OLTP системы в хранилище данных.»

Может есть готовые простые решения.

Как грамотно разработать базу данных?

Всегда при разработке нового проекта возникает вопрос как грамотно разработать базу данных в MySQL так что бы она хорошо справлялась с нагрузками и удобно было пользоваться. К примеру, есть пользователи, есть контактная инфа о пользователях, компания, привязки компаний к пользователям, транзакции, счета и т.д. ) может быть есть методика, статья, софт?

Какие посоветуете средства аудита изменений данных в MSSQL?

Какие посоветуете средства для аудита изменений данных в MSSQL (нужно сохранять изменение всех полей), где связка mssql + NHibernate.

Из того что нашёл, это:

1. Повесить на тригеры в базу данных запись истории в таблицы с историей.

2. В самом NHibernate повесить обработчики в Interceptors или EventListeners и писать в таблицы с историей.

3. Использовать фичу 2008 MSSQL — Change Data Capture. Тут вопрос, стоит ли её для этого использовать, где-то читал «Основной сценарий, в котором предполагается использовать CDC — это „большие“ ETL (extraction, transformation, loading) приложения, которые асинхронно кусками перегоняют данные из OLTP системы в хранилище данных.»

Может есть готовые простые решения.

Как грамотно разработать базу данных?

Всегда при разработке нового проекта возникает вопрос как грамотно разработать базу данных в MySQL так что бы она хорошо справлялась с нагрузками и удобно было пользоваться. К примеру, есть пользователи, есть контактная инфа о пользователях, компания, привязки компаний к пользователям, транзакции, счета и т.д. ) может быть есть методика, статья, софт?

Испольование в одной таблице пары instance_id, instance_type в Doctrine

Здравствуйте,

столкулся с проблемой в doctrine.

Представьте есть три основных таблицы — participant, team, region.
Еще одна, пусть называется log, в которой храняться абсолютно одинаковые по структуре данные — rank, points, position и так далее для каждого объекта из первых таблиц.

Необходимо сделать так, чтобы по instance_id и instance_type можно было связать две таблицы — log и какую-то из основных, в зависимости от instance_type.

На первый взгляд все довольно просто, но после того как описал через обычный Doctrine_Query::create() и leftJoin, или через Doctrine_RawQuery::create() выдается ошибка, что не можен провести «гидрацию», т.к. у объекта Log нету связи на instance.

Если кто-то стыкался с такой трудностью, подскажите, пожалуйста, решение.

Посоветуйте программу для моделирования БД MySQL под Ubuntu

Нужна программа для проектирования БД MySQL с графическим отображением связей и автоматической генерацией кода для создания таблиц.
Есть ли такая под Линукс и какая лучшая, удобная для новичка?

Подскажите лучший инструмент реализации интернет-проекта

Задача: Обучающий интернет-проект. Достаточно много графики и реакции на действия пользователя, при этом основные алгоритмы выполняются на сервере, там же хранится профиль пользователя и его успехи в обучении.
1. Является ли Flash лучшим вариантом реализации?
2. В случае успеха проекта хотелось бы иметь возможность учитывать высокую нагрузку на сервер (сотни обращений в секунду), хотя теоретически можно конечно поднять несколько серверов. Тем не менее, какие эффективные механизмы на стороне сервера выбрать (БД (учитывая высокий объем insert/update операций) + отдача результатов).

Можно отвечать на вопросы по отдельности, меня сейчас интересует всё.

Средства синхронизации на удаленных серверах БД

В процессе написания проекта, столкнулись с тем, что многим клиентам требовалось передавать заявки и справочники, и собирать данные по деятельности филиалов. А найти решение удовлетворяющее все условия не удалось. Пришли к мысли писать самим.

Какими средствами пользуетесь, учитывая указанные условия (все или любую их комбинацию)?
1. Сервера удалены на большое расстояние (разные города)
2. Нестабильный/узкий канал интернета (например связь с Камчаткой, или Магаданом)
3. Синхронизация данных в обе стороны (а не только сбор данных или рассылка справочников)

Также интересна для каких серверов БД использовались средства синхронизации.

PS. Вопрос родился из желания написать статью «как мы синхронизировали удаленные данные».

Интеграция сайта с базой данных 1С:Предприятие 8

Есть небольшой сайт (без движка) и на одну из страниц требуется выводить содержимое базы данных 1С. Может кто-нибудь сталкивался с подобным? С чего начать? Возможно есть документация или то, что может помочь решить эту проблему? Заранее благодарен.

Простой online-сервис для Базы знаний — всякой неструктурированной информации

Посоветуйте простой online-сервис для хранения всякой информации (текст, фото, приложенные файлы) — что-то типа википедии или базы знаний для ма-аленькой проектной группы (2 -4 чел.)

Информация будет скорее собираться/накапливаться, чем изменяться/редактироваться (очень редко)

Какие пожелания:
— online
— надежность
— ограничение доступа
— возможность поиска по темам и сообщениям
— ярлыки/метки
— возможность прилагать к сообщению файлы
— возможность делать сообщения как через браузер, так и отправлять их по почте

Раньше складывал файлы в расшаренную папочку, но сейчас захотелось чего-то более удобного.
Какие возникли мысли:

1. Использовать гугловский blogger.com
В качестве базы знаний использовать блог, в который можно писать и с сайта, и по почте.
По-моему, довольно удобно, но есть пара минусов:
А. нельзя прикреплять файлы (важно)
Б. поиск по такому блогу… у меня почему-то не работает (может потому что блог — закрытый, т.е. доступен только 2-м пользователям… но для гугла он же не закрыт)

2. Использовать Google.Группы
Уже лучше (можно цеплять файлы), но (!) нет меток сообщений + поиск работает также, как и п.1,
т.е. найти что-то, и тем более быстро, будет очень непросто/затруднительно.

Предполагаемый объем такой базы знаний — небольшой, на сег. день хватило бы и 1000 записей / 50 — 100 Мб вместе со всеми прилагаемыми файлами.

Подскажите, какие еще варианты подобных сервисов можно было бы приспособить для такой цели?
(желательно free или совсем недорогих)

p.s. Теоретически могу поставить на поддомен что-то несложное, типа WordPress или DokuWiki, но не хочу вникать во всякие технические вопросы, термины и т.д., т.е. желательно приспособить какой-то готовый сервис.

Схема хранения изменяющихся данных с историей

Есть около 300 тыс объектов ( например легковых автомобилей) для каждого автомобиля раз в неделю производится замер параметров ( пробег, давление в шинах, количество топлива), параметров будет в районе 20 штук, нужно все это хранить в базе.

В освновном пользователей интерисуют только последние параметры. Но иногда необходимо отвечать на вопросы типа «А как менялось давление в шинах во времени», «А какие параметры менялись на прошлой неделе»

Интуиция говорит, что наверное надо смотреть в сторону mongo, но тех задание явно говорит, что будем использовать Mysql :)

Пока родилось два варианта

1)

Первая таблица (название data)

id| object_name | param1 | param1_is_changed | param1_change_date | param2…

Вторая таблица (название data_history)

id| object_name | param1 | param1_is_changed | param1_change_date | param2… | version | change_date

При каждом изменении любого параметра, предыдущая версия записывается в data_history, у того параметра который изменился ставится влажок is_changed

2) Первая таблица (название data)

id| object_name

Вторая таблица ( хранит только последние значения)

id | object_id | param_name | param_value | date

Третья таблица ( хранит историю значений из второй таблицы)


Сейчас мы отслеживаем около 50 тыс объектов, в неделю происходит около 200 изменений в параметрах. Все параметры числовые, поэтому вопрос избыточности хранения в первом случае волнует только в плане производительности БД, но никак не места на диске. Второй метод вроде хорош, но его не очень просто реализовать используя ORM.

Ваше мнение? как спроектировать DB? как найти компромисс между эффективной БД и удобством написания приложения к ней.

Организация хранения структуры категорий в реляционной БД?

Задача — организовать хранение некоего каталога, с достаточно разветвлённой структурой (дерево) — пускай это будет каталог продукции интернет-магазина. Для поиска элемента доступен только URI вида "/category/subcategory/another-category/and-one-more-category". Максимальная вложенность порядка 10.


Категории запрашиваются часто, меняются редко, общее количество категорий может быть порядка 100 тыс.


Так же требуется шустрая генерация «хлебных крошек». Причём ссылка на категорию («and-one-more-category») может отличаться от её заголовка («И ещё одна категория»), который используется для вывода на странице.


У меня пока одно предполагаемое решение — «в лоб» — по следам Materialized path:

таблица для категорий имеет следующую структуру


CREATE TABLE categories (

`id` INT NOT NULL AUTO_INCREMENT PRIMARY KEY,

`title` VARCHAR(50) NOT NULL,

`link` VARCHAR(50) NOT NULL,

`path` VARCHAR(1000) NOT NULL,

`title_path` VARCHAR(1000) NOT NULL

)


CREATE INDEX path_indx ON categories (`path`);


`title` — заголовок категории («И ещё одна категория»),

`link` — ссылка категории («and-one-more-category»),

`path` — путь к категории («category/subcategory/another-category/and-one-more-category»),

`title_path` — то же, что и `path`, только содержит заголовки соответствующих категорий — для быстрой генерации «хлебных крошек»


— Привлекает то, что для поиска категории не нужно никаких усилий — просто SELECT… WHERE path LIKE…

— Не пугает даже необходимость перестроения путей в случае перемещения/переименования узлов.

— Пугает избыточность подхода и вероятные размеры таблицы при большом количестве категорий. Насколько это скажется на скорости?

— Так же смущает то, что в качестве ключа для поиска используется такая длинная строка в `path` (хотя я очень сомневаюсь что она когда-либо выйдет за пределы 100 символов)


Может вынести `path` и `title_path` в отдельную таблицу? Так всё равно путь и хлебные крошки для категории требуется практически всегда, так что придётся джойнить…


Смотрю в сторону Full hierarchy, но опять же смущает возможная избыточность в таблице иерархии, тем более учитывая потенциальные количества категорий и уровни вложенности.


Как более оптимально решить задачу?

Индекс по полю integer в PostgreSQL

Что есть

Что нужно

Вопросы

• Какое дефолтное значение будет работать быстрее NULL или 0?
• То же самое, касательно character(n), NULL или ''?

Как удачнее спроектировать базу данных?

делаю небольшой сайтик для нескольких групп в универе. страничка с расписанием, файловый архив, и прочие радости. возник вопрос касательно каждодневного расписания. на страничке каждой группы будет висеть её расписание на завтра (по желанию — на любой день). на данный момент, существует две таблицы, но они пока никак не связаны друг с другом:

subjects (список предметов)
subjId (уникальный номер предмета)
subjName (полное название предмета)

groups (список групп)
groupId (уникальный номер предмета)
subjName (название группы)

необходимо сопоставить каждой отдельно взятой группе список предметов на понедельник\вторник\etc…
знание php и mysql — на начальном уровне. посему, хотел поинтересоваться у гуру, как удачнее спроектировать БД.

Список ВУЗов и школ мира, база данных, где взять?

Привет.

Вопрос такой — на соц. сетях, вроде одноклассников и вконтакта, ещё до регистрации пользователей, как я понимаю, был уже список ВУЗов и школ мира, чтобы пользователи не вводили (зачастую по-разному), а просто выбирали из списка.

А где такой список взять? Может есть у кого-нибудь, аль в свободном доступе база данных такая есть?

Гуглил-гуглил — не нагуглил.

Спасибо.

Сервер баз данных под Windows Mobile/Android

Как быть если требуют написать оболочку для работы с базой данных размером 1.5Гб без использования инета под Windows Mobile / Android?
Может есть SQL-подобные решения для этих платформ?

Программа для организации FAQ'а?

Есть необходимость структурировать информацию(FAQ) для внутреннего использования. Нужна именно программа, а не веб-движок. Хотелось бы иметь обширное категорирование и возможности назначать теги.


Есть ли что-то подобное? а то пока только поделки на делфи по 200кб нашел:)

Расположение частей распределённой базы данных

Расскажите, пожалуйста, как производят оптимизацию расположения частей распределённой базы данных? Интересуют более-менее готовые программные продукты и примеры решения задач.

Т.е., например:
есть несколько соединённых серверов под распределённую БД по всей стране, которые одновременно являются и клиентами этой БД.
В базе данных есть множество таблиц.
Есть статистика по запросам с клиентов к конкретным таблицам.
Есть некоторая цена хранения данных на определённом сервере.
Есть некоторая цена передачи, известная для каждой пары сервер-клиент.

Задача: разнести таблицы (или части таблиц) по серверам самым оптимальным образом.
Для решения задачи можно применять различные эвристические алгоритмы: генетические алгоритмы, эволюционные стратегии, муравьиные алгоритмы и т.д.
Но мне не удалось найти каких-либо более-менее готовых программных средств, которые реализовывали бы эти алгоритмы.

Существуют ли такие средства для решения этой задачи применительно к каким-нибудь БД (Oracle или другие)?
Или под каждую систему реализуется узкоспециализированное средство?
Или никто просто не парится с решением этой задачи, а данные раскидываются на глазок?

И может быть у кого-нибудь есть примеры систем с распределённой базой данных, которые были оптимизированы таким путём?

Спасибо!

Объясните, зачем нужны документо-ориентированные БД (MongoDB)?

Сабж. Вот не пойму я. Приведите пожалуйста побольше практических решений примения. Для Business-сектора, например.

Модель базы данных с историей изменений?

Требуется разработать модель базы данных (или хранилища данных), в которой бы хранилось не только актуальное состояние, как в обычных оперативных базах данных, но и вся история изменений любых атрибутов любой сущности по времени, чтобы знать все на любом временном срезе, как это делается с агрегированными данными в хранилищах данных. Но если атрибуты текстовые и агрегировать нечего, непонятно как строить такую модель. Что-то близкое к тому, что мне нужно, наверное, темпоральные базы данных. Хотелось бы узнать ссылки на книги, научные статьи, открытые проекты по этой тематике.

Чем плохо EAV решение для интернет-магазина?

Столкнулся с проблемой когда есть разные типы товаров (одежда и телевизоры имеют мало одинаковых параметров). Вижу 3 решения проблемы

• Serialized LOB самый простой, но нет поиска
  
• EAV — не сложная реализация, нет проблем при обновлении базы. В общем вроде то. Но ТУТ пишут что не оч.
  
• Ну и самый сложный и дорогой (по времени) вариант — разделения товаров на разные таблицы
  

Собственно есть мысли? Как сделать удобно для меня как программиста, чтобы не переделывать все и чтобы людям было удобно?

Запрос на обновление с условием?

Добрый день!


Люди добрые подскажите как в mysql возможно запрос на обновление с условием написать?

Например, если в поле 1 то заменяем его на 2, если 2 то заменяем на его 1.


В поле находится буква «b» и «пусто», мне надо так скажем поменять местами, т.е. букву b заменить на «пусто», а «пусто» заменить на «b».

Расскажите, где почитать об ООДБ

Хочется войти в курс дела, потому что недавно выяснил, что BerkeleyDB — вовсе не объектная база данных.

Может кто опишет классификацию или хотя бы отправит на нормальный сайт, можно и буржуйский. Есть одна идея, сердцем чувствую, чтоб база данных для нее нужна именно объектная.

Заранее спасибо.

Архитектура базы данных для комментариев

Добрый день.

Возникла странная дилемма в реализации комментариев на сайте.

Предполагается, что будет существовать большое количество статей (собственно не статей, но суть не в этом), причем актуальные (часто запрашиваемые) только небольшая часть из них, с небольшим периодом времени эти актуальные переходят в архив (без возможности добавления новый комментариев) и появляются новые. Как лучше организовать хранение в реляционной базе данных для всех комментарием, с учетом, что главный показатель — это скорость обработки/выдачи?

Собственно пока мысли вокруг двух вариантов:
— Общая таблица комментариев (смущает возможное уменьшение скорости выдачи в процессе роста таблицы)
— Отдельная таблица для каждой статьи

Допускаю возможность, что я смотрю не под тем углом на это дело.

Файловая система для нереляционных СУБД

Какая файловая система, поддерживаемая в Linux, лучше всего подходит для нереляционных СУБД, например, для db4?

Аналог phpmyadmin

Добрый вечер!

Существует ли какой-то аналог phpmyadmin именно для базы mysql, но c возможностью делать формы, как например в microsoft access.
Вообще, стоит задача разработать некую веб-БД, с удобной формой поиска и управлением (редактирование, удаление, добавление и т.д.). Есть ли готовые решения? Или надо изобретать какой-то свой велосипед? :)

Какие существуют архитектуры баз данных?

Понадобилось для доклада найти и разобраться в 3-4 архитектурах удаленных баз данных. На ум приходят только файл-серверная и клиент-серверная архитектуры, но про них, к сожалению, мне писать нельзя.


С помощью гугла нашел только сервис-ориентированную архитектуру.


Пожалуйста, помогите найти еще несколько архитектур, хотя бы названия, чтобы можно было найти по ним информацию.


Спасибо.

Инструмент для совместной работы филиалов и центра

Взываю к коллективному хабраразуму. Мы ищем систему мечты для централизованного взаимодействия основной компании и компаний-партнёров. Вариантов таких сервисов масса, все не изучишь. Думаю, кто-то с подобной задачей сталкивался.

Нужно иметь возможности
• Общение по принципу форума
• Обмен фото, видео, офисные файлы. Хранение в виде централизованого структурированного хранилища.
• Публикация новостей
• Есть свой сервер, на который можно эту систему поставить. В принципе, мы не против хранить такую информацию на сервере разработчика.
• По цене лучше бесплатно или недорого. От Basecamp'а отказываемся, потому что дорого и избыточно

Желательно, чтоб система была простая, без наворотов и избыточного функционала. Нам не нужны задания, отслеживание проектов и т.п. Нам нужна единая база знаний и возможность общения. Ах, и да! Желательно на русском, не все наши партнёры сильны в английском.

Чат на PHP: узкое место БД — как решить?

Есть задача организовать простой чат с веб-интерфейсом и полной историей на действующем сайте на самописном движке (PHP5.3.3/MySQL5.1). Гугление по существующим решениям ничего хорошего не дало, либо избыточно, либо производит ощущение «наколенной поделки» и чаще всего давно не поддерживается, да и хотелось бы иметь одну архитектуру и стиль кодирования. В общем принято решение реализовать самостоятельно. С кодированием особых проблем нет, прототип реализовали, но нагрузочное тестирование с разными вариантами индексов и таблиц показало, что при уже ~20 хостах «читателей» и одним «писателем» в секунду MySQL затыкается (VDS c 1Гб RAM, мускулу половина отдана, и 2ГГц проц, nginx+php-frpm под Debian) даже на денормализованной таблице, т. к. кэшированию средствами БД запросы не поддаются (фильтры у каждого «читателя» свои, ибо приват, фильтрация в серверном приложении вряд ли будет эффективней чем в БД, как мне кажется, а у клиента недопустима). А хотелось бы на этом «железе» хотя бы 40-50 держать помимо основной нагрузки. Что может помочь? Опыта «хайлоад» нет, возникли такие идеи:

— написать демона для чата на субдомене, чтобы читал в основном потоке из БД только при старте (последние N сообщений) или редких специфичных запросах, хранил их у себя в памяти процесса (убивая старые), а писал в БД только «логи» для следующего старта (тогда фильтрация будет эффективна, имхо, плюс её можно будет осуществлять опережающе и инкрементно, храня сами сообщения в едином пуле, а для каждого читателя добавлять в список ссылок на «его» сообщения при поступлении сообщения от «писателя» лично для него или публичного, и удалять их оттуда при прочтении)

— аналогичным образом задействовать мемкэш (хотя пока с трудом представляю как обеспечить целостность, до того только с файловыми кэшами работал, которые сами не «испаряются») для обычного PHP-обработчика (то есть чтобы куча воркеров имела доступ к общему пулу сообщений и инкрементным личным спискам ссылок на них между запросами)

— перевести чат на NoSQL СУБД (какую? главная задача эффективная фильтрация по паре полей последних записей, типа WHERE timestamp > {last_time} (или id>{last_id}) AND (recipient_id IS NULL OR recipient_id={user_id}) ORDER BY timestamp (или id) DESC LIMIT {max_records} )

Что стоит попробовать или ещё какие могут быть варианты? Демона писать не хочется, так как усложнит администрирование и сервера, и собственно чата (аналог IRC команд делать?), опыта работы с кэшем и NoSQL практически нет.

Подскажите хороший учебник по Oracle

Настала необходимость начать изучать СУБД Oracle и сразу встал вопрос, какую книгу посоветуете для изучения с 0 для новичков и желательно на русском языке.

Как лучше хранить настройки пользователей в базе данных?

В web-проекте планируется достаточно много настроек для пользователей. Так же в будущем их придется добавлять/убирать.
Рассматривается несколько вариантов хранения значений этих настроек:

1. Создать две таблицы (при условии, что таблица с user_id уже есть):
1) option, option_id;
2) user_id, option_id, value.
2. Хранить все в одной дополнительной таблице: user_id, all_options_format(xml|json). В данном случае все настройки будут в одну строку формата xml или json.
3. Опять же дополнительная таблица но уже вида: key(user_id, option), value.

Какой из этих вариантов на ваш взгляд предпочтительнее?

Проблемы с MySQL MyISAM — дублирование записей и крэш больших таблиц

Совершенно внезапно на рабочем проекте стали твориться непонятные вещи:

• отваливаются две самые большие таблицы — одна на гигабайт и порядка 70 миллионов записей, другая на 500 мегабайт и 700 000 записей. Примерно 100-1000 инсертов в секунду в первую и 2-5 во вторую. Из второй данные активно select'ятся
• периодически по неизвестным причинам база начинает выдавать ошибку too many connections. Скрипты оптимизированы, один скрипт — один экземпляр соединения (класс БД — «одиночка»)
• сегодня ни с того ни с сего данные начали дублироваться, один запрос проходил от двух до 13 раз. Причем не один какой-то запрос, а сразу несколько, которые идут друг за другом.

Скрипты проверил, всё в порядке, давно ничего не менялась, проект со средней посещаемостью. Никаких всплесков за сегодня нет.
Сервер выделенный, настройки стандартные, ОС — CentOS. Версия MySQL — 5.0.77

В чем может быть причина? Я с подобным никогда не сталкивался, никак не могу понять, что происходит.

Посоветуйте базу данных (pure Java, Schema less, embedded, in memory)

Посоветуйте пожалуйста: pure Java, Schema less, embedded, in memory базу данных.
Чтобы использовать как кэш с возможностью поиска по свойствам объектов.

Ну или иные варианты как организовать такой кэш :)

Спасибо!

Поиск данных с учетом большого числа критериев

Вот сразу вспомнилось, примерно похоже на мою задачу:
Яндекс.Маркет подбор мобилок

Взгляните на панель справа, дофига всяких критериев выбрать можно и работает очень быстро. Как делаются подобные штуки? Какие подходы используются, устройство базы данных? В идеале нужен некий универсальный механизм, который мог бы искать по любому произвольному очень большому набору критериев, по огромному количеству объектов (>100 000) с разным набором полей, делать это максимально быстро, по возможности обходясь без over 9000 серверов.

База названий городов и стран. Где взять?

Работаю над созданием туристического сайта. Нужно где-то взять базу всех городов и стран мира на русском языке. Наверняка где-то уже есть, только не могу найти.

Структура базы данных

Подскажите пожалуйста по структуре базы данных. Нужно хранить информацию по фильмам.
К каждому фильму, относиться много информации.

а именно:

Название
Оригинальное название (анг)
Год
Страна
Слоган
Режиссер в множестве
Сценарий (в множестве)
Продюсер (в множестве)
Оператор (в множестве)
Композитор (в множестве)
Художник (в множестве)
Монтаж (в множестве)
Жанр (в множестве)
Бюджет
Сборы
Зрители
Примера
рейтинг MPAA
Продолжительность

таких фильмов будет много (порядка 80 000), и почти все однотипные, поэтому нужно как-то грамотно составить DB, что бы не было проблем в дальнейшем.

как я думал сделать:

Главная таблица (catalog) в которую заносим

id — номер фильма
name — название
name_original — оригинальное название
type — тип картины (фильм, сериал)
year — год выпуска

здесь меня смущает нужно ли здесь держать (name, name_original)… или вынести ее в отдельную таблицу

таблица с параметрами (catalog_properties)
film_id — номер фильма
property_id — номер название параметра
property_value — номер параметра

таблица с именами параметров (catalog_properties_name)
id — номер параметра
name — название параметра
code — код параметра для внутренних потребностей фронтенда

+ несколько таблиц справочников, для стран, жанров, etc

таблица для параметров что не входят в справочники (catalog_properties_data)
id — номер параметра
name — название параметра

вот здесь меня смущает что все параметры будут держаться в поле с типом varchar
а хорошо бы для
бюджет, сборы в США — interger,
премьера — date,
рейтинг MPAA — enum

разве что делать таблицу для параметров такой:

id — номер параметра
name_string — название параметра
name_integer — название параметра
name_datetime — название параметра
name_enum — название параметра

и выбирать в дальнейшем так "SELECT CONCAT_WS('', name_string, name_integer, name_datetime, name_enum) as name" но хорошо ли так ??

+ еще не знаю как поступить с описанием фильмов, это будет тип TEXT, выносить ли в отдельную таблицу все описания, или запихать в таблицу параметров, что указана выше

Mssqlserver error 9002: tempdb is full

Имеется такая ситуация:

Event Type: Error
Event Source: MSSQLSERVER
Event Category: (2)
Event ID: 17052

Description:
Error: 9002, Severity: 17, State: 6
The log file for database 'tempdb' is full. Back up the transaction log for the database to free up some log space.

Сам файл C:\Program Files\Microsoft SQL Server\MSSQL\Data\templog.ldf разросся до 9 гигабайт.
Вопрос, как его корректно очистить?

Существует ли где-нибудь база с конспектами книг?

Ну, чтобы, не читать 500 страниц, когда нет времени, но усвоить главные мысли

Кэширование данных до запроса в PHP

Проблема: К базе данных происходит около 200 однотипных запросов, но одинаковых нет, каждый раз меняется по одному параметру, поэтому кэширование результата тут не подходит.

Я заранее знаю диапазон записей к которым происходит запрос, поэтому родилась такая идея — выбрать все эти данные заранее и вместо запроса уже перебирать данные в массивы.

Писать этот механизм руками неохота, скорее всего должны быть уже готовые решения, собственно и вопрос — кто-нибудь знает про что то подобное?

Слышал что в .net есть подобная штука — DataTable называется.

Импортирование xls файлов в базу данных psql на python

Добрый день! Как можно через python импортировать эксель таблицу в PostgreSQL? Изначально нам дан url по которому находится эксель таблица, и нужно чтобы это таблица была в бд postgreSQL, т.е. по url коду данные импортируются в базу данных PostgreSQL, как это можно сделать?

Где можно найти фрилансера для выполнения поступающих задач, на постоянной основе?

Добрый день. Нуждаемся в специалисте который сможет ипортировать базы номеров с формата ексель в телефон, а так же который смог бы заниматься массовой рассылкой сообщений в вотсап уже имеющейся базе клиентов. Заранее благодарна.