Текущее время: Пн, июн 23 2025, 01:09

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 17 ]  На страницу 1, 2  След.
Автор Сообщение
 Заголовок сообщения: Оптимальные dimension
СообщениеДобавлено: Пт, июн 03 2011, 18:33 
Старший специалист
Старший специалист

Зарегистрирован:
Чт, фев 16 2006, 15:46
Сообщения: 451
Откуда: Россия
А вот скажите, есть ли какая-нибудь программа, которая рассчитает оптимальный разброс признаков по измерениям куба?

_________________
Ян Владимирович,
http://www.vladimirovich.net


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Пн, июн 06 2011, 05:33 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Ср, фев 09 2011, 07:19
Сообщения: 753
Откуда: Сибирь
Пол: Мужской
а что значит оптимальный разброс?

_________________
Ешьте рыбу, в ней фосфор.
__
Чат в Telegram по SAP BW: http://t.me/BW_SAP


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Пн, июн 06 2011, 09:01 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Пт, авг 04 2006, 20:56
Сообщения: 1006
Откуда: 37 МИКРОРАЙОН
Пол: Мужской
SAP_INFOCUBE_DESIGNS


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Пн, июн 06 2011, 11:42 
Старший специалист
Старший специалист

Зарегистрирован:
Чт, фев 16 2006, 15:46
Сообщения: 451
Откуда: Россия
Цитата:
а что значит оптимальный разброс?


Точного математического определения я дать не могу. Но, вот, предположим у вас есть три признака, которые вам нужно разбить на два измерения.

Есть три варианта

(A+B), (C)
(A+C), (B)
(A), (B+C)

Нужно считать, сколько каких уникальных комбинаций в каждом из трёх случаев. Но если признаков больше - то не понятно, как быть, слишком уж много вариантов нужно перебирать.

_________________
Ян Владимирович,
http://www.vladimirovich.net


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Пн, июн 06 2011, 11:45 
Старший специалист
Старший специалист

Зарегистрирован:
Чт, фев 16 2006, 15:46
Сообщения: 451
Откуда: Россия
Цитата:
SAP_INFOCUBE_DESIGNS


Эта программа пишет, как у нас всё плохо

Я и сам знаю, что плохо

Мне нужен ответ, как сделать лучше

_________________
Ян Владимирович,
http://www.vladimirovich.net


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Пн, июн 06 2011, 14:46 
Специалист
Специалист

Зарегистрирован:
Вт, июн 10 2008, 07:22
Сообщения: 163
Откуда: Ektb
Пол: Мужской
Yanvladimirovich написал(а):
Мне нужен ответ, как сделать лучше


А сесть и посчитать на бумажке количество комбинаций значений признаков для каждого варианта измерений не вариатн?


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Пн, июн 06 2011, 16:10 
Старший специалист
Старший специалист
Аватара пользователя

Зарегистрирован:
Вт, янв 30 2007, 17:10
Сообщения: 488
А сгенерить агрегаты по статистике не вариант? И на основании предложенных вариантов агрегатов выбрать оптимальное размещение признаков по измерениям?

_________________
Карма - это суперпозиция граблей, на которые мы уже успели наступить, но которые еще не долетели...


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Пн, июн 06 2011, 17:47 
Старший специалист
Старший специалист

Зарегистрирован:
Чт, фев 16 2006, 15:46
Сообщения: 451
Откуда: Россия
Цитата:
А сесть и посчитать на бумажке количество комбинаций значений признаков для каждого варианта измерений не вариатн?


На бумажке???

Вот я сейчас смотрю, как и что нужно переразбивать. У меня 17 признаков, которые нужно разбить по 4 измерениям.

Это даёт 4^17 возможных комбинаций разбиения. Правда, это у учётом порядка , там, по-моему, меньше... Но всё равно оптимум не найти перебором.

На бумажке!!!

_________________
Ян Владимирович,
http://www.vladimirovich.net


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Пн, июн 06 2011, 17:59 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Вт, окт 11 2005, 12:10
Сообщения: 687
Откуда: Москва
Пол: Мужской
Не морочтесь. Даже если вы посчитаете оптимальную структуру для сегодняшних данных, то завтра характер данных "слегка изменится" и оптимальным будет другой набор.

Используйте простое правило:
Если есть логическая взаимосвязь между признаками -- кладите их в одно измерение (покупатель, рынок сбыта), если нет -- в разные (покупатель, дата продажи).
Ну и плюс измерение-помойка, где лежит "все остальное".
Плюс пожелание, что таблица измерения не должна быть более 1/20 от таблицы фактов (на практике я не сталкивался с таким коэффициентом никогда, всегда было существенно меньше).

_________________
Глаза боятся, а руки крюки


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Вт, июн 07 2011, 05:47 
Специалист
Специалист

Зарегистрирован:
Вт, июн 10 2008, 07:22
Сообщения: 163
Откуда: Ektb
Пол: Мужской
Yanvladimirovich написал(а):
На бумажке!!!


Имелось ввиду следующее - после логического моделирования (то что по сути описал G), возникнет лишь несколько вариантов, которые и можно примерно оценить руками.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Вт, июн 07 2011, 10:17 
Старший специалист
Старший специалист

Зарегистрирован:
Вт, дек 23 2008, 17:09
Сообщения: 315
Имхо, непонятки из-за того, что не совсем верно поставлена задача. Не признаки нужно распределять по заданным измерениям, а определять сколько будет измерений на основе имеющегося набора признаков. Как это делать, рассказал G.
И 17 признаков на 4 измерения - это как-то слишком плотно, если мы продолжаем говорить о сферическом коне в вакууме.


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Вт, июн 07 2011, 17:00 
Старший специалист
Старший специалист

Зарегистрирован:
Чт, фев 16 2006, 15:46
Сообщения: 451
Откуда: Россия
Давайте расскажу вам про проект, а заодно отвечу на ряд вопросов. Это FI, куб по главной книге на основе 0FI_GL_4.

Цитата:
Не морочтесь. Даже если вы посчитаете оптимальную структуру для сегодняшних данных, то завтра


Данных в продуктивной системе - с 2007-го года, 16 млн записей. Не думаю, что завтра всё будет слишком по-другому.

Цитата:
сли есть логическая взаимосвязь между признаками -- кладите их в одно измерение Ну и плюс измерение-помойка, где лежит "все остальное".


Именно этому интуитивному подходу я и следовал. В результате измерение-помойка содержит 9 млн уникальных записей, даже больше чем измерение - номер документа/бе/год (без номера позиции) Кстати, крайне любопытно, как вы будете жить без измерения в номер документа? На моём проекте нужна первичка для сверки. Drilldown - интересная штука, да только не работает с расчётными показателями, но ладно...

То есть, если моя интуиция даёт сбой, я могу только привлечь логику.

_________________
Ян Владимирович,
http://www.vladimirovich.net


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Вт, июн 07 2011, 17:28 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Вт, окт 11 2005, 12:10
Сообщения: 687
Откуда: Москва
Пол: Мужской
Угу, случай, по ходу, правда клинический. Такое обычно в ОДС кладут.

А что у Вас в помойке лежит?
Я так понимаю, задача сводится к тому, чтобы положить в одно измерение всякие номера и иже, поставить там галку "высокая кардинальность" и посмотреть, что получится.
Т.е. нужно сделать одно большое измерение.

_________________
Глаза боятся, а руки крюки


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Вт, июн 07 2011, 17:38 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Вт, авг 17 2004, 09:59
Сообщения: 1097
Откуда: Moscow
Пол: Мужской
Yanvladimirovich написал(а):

Именно этому интуитивному подходу я и следовал. В результате измерение-помойка содержит 9 млн уникальных записей, даже больше чем измерение - номер документа/бе/год (без номера позиции) Кстати, крайне любопытно, как вы будете жить без измерения в номер документа? На моём проекте нужна первичка для сверки. Drilldown - интересная штука, да только не работает с расчётными показателями, но ладно...

То есть, если моя интуиция даёт сбой, я могу только привлечь логику.


Номер документа выносим в отдельное измерение ставим высокая кардинальность и измерение позиции
курс по оптимизации производительности вам в помощь

_________________
In SAP we trust !


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Ср, июн 08 2011, 21:24 
Менеджер
Менеджер
Аватара пользователя

Зарегистрирован:
Вт, сен 13 2005, 10:41
Сообщения: 558
Откуда: Гондурас (округ Москвы)
Пол: Мужской
17 млн это много??? )))
1. признаки с высокой кардинальностью надо выносить в отдельные измерения, иначе они будут раздувать
dimension в линейной пропорции к числу записей (выше было сказано про это... это номер документа, чека, timestamp и любой уникальный неповторяющийся ключ)
2. признаки, число комбинаций которых не N*M, а конечное складывайте в одно измерений, даже если их будет 10 в одном измерении, а число комбинаций будет конечным - ничего страшного не произойдет, производительность не пострадает.
3. не забывайте про партицирование


Принять этот ответ
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 17 ]  На страницу 1, 2  След.

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB