Всем доброго времени суток!
Как считаете, насколько перспективно сейчас идти в разработку BI, DWH? Какое будущее у этих направлений? Насколько в ближайшем будущем будут востребованы специалисты?

Считаю, что не перспективно.


ХД будет становиться все больше, а клиенты будут становиться умнее. И если само внедрение SAP ERP может быть продиктовано некими политическими мотивами, получением всяческого международного признания и повышения надежности компании в глазах иностранных инвесторов, то внедрять еще и ХД для этого не обязательно. ХД и аналитику начинают внедрять, когда понимают необходимость всего это функционала. По функциональности же и характеристикам продукт от SAP уступает конкурентам (в первую очередь - по скорости работы и цене внедрения и владения). Во всяком случае - в настоящее время и в России (ходят же слухи, что в других странах и делать-то ничего не надо - активировал стандартный конктент и получил в ХД все транзакционные данные и почти все отчеты ). Так что конкуренты (типа Cognos, MS AS) будут жать. Что им ответит SAP - увидим, полная интеграция с BO и лецинзирование BO начиная с нетвивера (как с BI - если есть лицензии на невививер или ERP, то и BI туда входит) - наверно помогли бы, но почему-то кажется, что так не будет. И аргумент потратить дополнительно денег, чтобы "отчеты стали красивее и сотрудникам проще" для большинства российских руководителей таковым не является. те самые сотрудники вполне могут остаться вечером и отформатировать отчетность так, чтобы руководству понравилось.


В ближайшем будущем, боюсь, будут все больше востребованы как можно более дешевые специалисты выдающие как можно больше кубов, признаков, показателей и отчетов за как можно меньшее время. А там уж что победит - технический прогресс или разум. Мне кажется, что сейчас обычная тенденция заключается в предпочтении увеличения числа и мощности серверов, обслуживающих ХД (а также прикручиванию всяких прибамбасов типа DWH "акселераторов"), нежели работе с дорогим специалистом, способным качественно оптимизировать ХД. И качественно разработать его структуру...

Никаких перспектив в ближайшем будущем.

Для контраста: а вот тут цветет полный оптимизм - http://sql.ru/forum/actualthread.aspx?tid=656513

PS Топикстартеру, не верьте никому

Я-то пошел почитать, думал там и правда... Вы считаете полным оптимизмом фразы о том, что ХД перспективнее ЕРП (на самом деле - какой-то бред, не бывает никаких ХД, пока нет систем, готовых поставлять информацию для ХД), потому что оно дешевое и на нем можно сэкономить... настолько дешево, что можно какую-то опенсорсную шнягу продавать чуть не в каждый ларек... но на этом форуме, кстати, есть место для оптимизма - почему-то специалистам по MS AS платят существенно ниже, чем специалистам по BW (это связано, имхо, с тем, что у большинства бизнес пользователей MS SQL Server и Cognos не ассоциируется со сверхбольшими мега хранилищами, в этой нише больше разрекламированы Oracle, Microstrategy и тот же SAP BW)... во всяком случае - платили. А тенденция - к тому, чтобы платили мало всем... внедряя в "ларьках" ХД много денег не зарубишь... да и что там за требования у "ларьков"? 20 тысяч фактов в месяц? Это может быть проблемой, пожалуй, только для SAP BW, остальным для "переваривания" такого числа данных хватит среднего ПК даже при неумелом проектировании.

ИМХО.

Ушел в сторону от мысли. На том форуме есть место для оптимизма, потому что
а) там больше всего спецов по MS AS и Cognos. И как раз именно эти специалисты станут более востребованы (но без увеличения уровня оплаты труда, не питайте иллюзий)
б) Новое приложение SAP - SAP BPC... ставится отдельно от SAP ERP (и, похоже, никак не связано с ним) и для БД использует, насколько я понял, тот же MS SQL Server. Так что - бывшие консультанты по SAP BW теряют все свои преимущества на новом продукте, а вот знание и умение MIcrosoft SQL Server и его всяческих DTS-ов будет преимуществом. Поэтому немного увеличится покупаемость специалистов по MS AS, MS SQL (а все специалисты по MS AS разбираются и в MS SQL). Имхо, как-то так.

перспектив сейчас у всех примерно одни и те же, не надо питать иллюзий, что потребность в ERP системах будет расти по мере сокращения издержек. новых проектов практически нет, так что скоро все "пойдут в сад".
нормальный специалист по WHM как раз менее ориентирован на конкретную специфику, все ХД построены по схожему принципу и велосипед никто не изобретает. а что касается MSSQL и других продуктов, то я бы советовал не путать божий дар с яичницей. как показывает практика, все это умирает на большом объеме данных. уж хотя бы Oracle для приличия можно сказать, но никак не MSSQL с форточками.

MS AS - это MOLAP, а у любой MOLAP есть такое понятие как взрыв базы данных после определенного объёма. О терабайтах там даже мечтать нельзя. Так что дело не в маркетинге, а в технологической платформе.

Чья практика-то показывает и на каких больших объемах? Имхо - все современные серьезные БД (Oracle, MS SQL, IBM DB2) работают на ПРИМЕРНО одних и тех же технологиях и ПРИМЕРНО одинаково масштабируются. Даже на MySQL сейчас, уверен, при желании можно построить что-то довольно большое. И результаты будут разнится, при правильном построении ХД с учетом особенностей, не более чем на 20%. А Oracle уже какое-то время назад, ИМХО, не предлагал ничего сверх уникального по сравнению с MS SQL - во всяком случае наблюдал в то время холивар дискуссию на тему что круче, SQL или Oracle, и должен признать, что хотя сторонниками Oracle и назывались некоторые приятные вещи, но определяющими они не выглядели.


Ну, лично видел и принимал участие в строительстве транзакционного ХД, которое с 2.5 миллионами записей в основной таблице достаточно нормально жило. Сверху на нем еще была налитика от MS AS. Сейчас там впроед бы около 4 млн записей. Вполне неплохо, имхо. Во всяком случае BW довольно успешно дохнет часто и на паре сотен тысяч. Так что зря Вы считаете MSSQL столь уж неприличным.

Во первых - MS AS поддерживает варианты MOLAP, ROLAP и HOLAP.
Во вторых - ROLAP, это вообще, строго говоря, не OLAP сервер, а генератор и визульаный редактор SQL запросов.
В третьих - если говорить про ROLAP, то тоже не об Oracle, а о Microstrategy со специализированной БД Terradata.
В четвертых - чтобы БД не взрывались (если они, конечно, действительно "взрываются", лично я с таким не сталкивался) делается не один куб, а много. Данные там делятся по временным периодам, а отчеты строятся на мультипровайдере.

не знаю, как это BI дохнет на нескольких сотнях, тут дело в кривых руках, а для аналитики 4 миллиона записей, это даже не начальный уровень, это в ландшафте разработки такое количество записей бывает, а если речь идет о массивах фактов в 4 миллиона, то тут, мягко говоря, SAP BI и не нужен.

расскажите, как мелкософт отработает на кубике в 60 млн.записей, а лучше в 100 млн. и тогда, может быть, мы сравним.

Не исключено, конечно. Или мог быть слабый сервер. Вот хотел привести пример и запустил стандартный экстрактор 0HR_PY_1 (для небольшой демки используется), сначала он бодро насосал 900 тыс. записей за три минуты и я уж подумал, что ошибся, но потом вспомнил, что это только в ПСА и надо еще перенести данные в куб, запустил перенос - 21 пакет по 10 тысяч нормально, а на 22-м заморозило его и он упал в дамп, удалил незавершенный пакет и снова запустил - на этот раз он обработал 170 пакетов и довольно быстро (видимо потому что в пса были данные еще и с ранних пакетов, а загрузка - полная), но упал в дамп на 166-м пакете. DBIF_RSQL_SQL_ERROR. А ведь после постройки демонстрации оно нормально грузилось (но помнится, что грузилось столько записей довольно довольно долго, хотел вот вспомнить точно, но логи убились, а теперь оно грузит быстро в пса и вообще не грузит в куб. Не очень-то надежно для системы на которой предполагается работать с 60-100 млн. записей.
Правда система для разработки - слабенькая. Но у нас для MS SQL тоже был не очень-то крутой даже по тем временам.


Не могу. С удовольствием бы поработал с такими объемами, но почему-то на проектах, куда я попадал, не так много фактов загружалось в ХД. И для SQL Server не было столько данных у нас. Если показатели агрегируемые, то тут проблем нет никаких - это все может довольно неплохо работать, если поделить данные по нескольким кубам. Если неаггрегируемые, то тогда непонятно, но возможно, что новый сервер (у нас был 2000) гораздо полнее может использовать мощности новых серверов. Во всяком случае, купленный SAP BPC, который позиционируется как основное приложение для планирования и консолидации, работает пока в полной мере именно (и только) на MS SQL сервер. И невивер, насколько я знаю, тоже может ставится и на Оракл и на MS SQL. Так что я бы не отзывался столь уничижительно о SQL Server и его аналитических службах.

Вообще же - нет смысла спорить, я только "за", если SAP BW всех победит и будет выглядеть намного более надежным, быстрым и удобным, по сравнению с любыми другими продуктами! Но вот ПОКА я, все же, считаю, что в перспективе SAP BI и проч. будут смещаться в сторону более низкой ценовой категории и будет все более серьезно теснится конкурентами.

ну что по цене, то тут я спорить не буду, поскольку честно скажу - не в теме.