Текущее время: Сб, июн 21 2025, 22:15

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 17 ]  На страницу 1, 2  След.
Автор Сообщение
 Заголовок сообщения: Оптимальные dimension
СообщениеДобавлено: Пт, июн 03 2011, 18:33 
Старший специалист
Старший специалист

Зарегистрирован:
Чт, фев 16 2006, 15:46
Сообщения: 451
Откуда: Россия
А вот скажите, есть ли какая-нибудь программа, которая рассчитает оптимальный разброс признаков по измерениям куба?

_________________
Ян Владимирович,
http://www.vladimirovich.net


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Пн, июн 06 2011, 05:33 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Ср, фев 09 2011, 07:19
Сообщения: 753
Откуда: Сибирь
Пол: Мужской
а что значит оптимальный разброс?

_________________
Ешьте рыбу, в ней фосфор.
__
Чат в Telegram по SAP BW: http://t.me/BW_SAP


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Пн, июн 06 2011, 09:01 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Пт, авг 04 2006, 20:56
Сообщения: 1006
Откуда: 37 МИКРОРАЙОН
Пол: Мужской
SAP_INFOCUBE_DESIGNS


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Пн, июн 06 2011, 11:42 
Старший специалист
Старший специалист

Зарегистрирован:
Чт, фев 16 2006, 15:46
Сообщения: 451
Откуда: Россия
Цитата:
а что значит оптимальный разброс?


Точного математического определения я дать не могу. Но, вот, предположим у вас есть три признака, которые вам нужно разбить на два измерения.

Есть три варианта

(A+B), (C)
(A+C), (B)
(A), (B+C)

Нужно считать, сколько каких уникальных комбинаций в каждом из трёх случаев. Но если признаков больше - то не понятно, как быть, слишком уж много вариантов нужно перебирать.

_________________
Ян Владимирович,
http://www.vladimirovich.net


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Пн, июн 06 2011, 11:45 
Старший специалист
Старший специалист

Зарегистрирован:
Чт, фев 16 2006, 15:46
Сообщения: 451
Откуда: Россия
Цитата:
SAP_INFOCUBE_DESIGNS


Эта программа пишет, как у нас всё плохо

Я и сам знаю, что плохо

Мне нужен ответ, как сделать лучше

_________________
Ян Владимирович,
http://www.vladimirovich.net


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Пн, июн 06 2011, 14:46 
Специалист
Специалист

Зарегистрирован:
Вт, июн 10 2008, 07:22
Сообщения: 163
Откуда: Ektb
Пол: Мужской
Yanvladimirovich написал(а):
Мне нужен ответ, как сделать лучше


А сесть и посчитать на бумажке количество комбинаций значений признаков для каждого варианта измерений не вариатн?


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Пн, июн 06 2011, 16:10 
Старший специалист
Старший специалист
Аватара пользователя

Зарегистрирован:
Вт, янв 30 2007, 17:10
Сообщения: 488
А сгенерить агрегаты по статистике не вариант? И на основании предложенных вариантов агрегатов выбрать оптимальное размещение признаков по измерениям?

_________________
Карма - это суперпозиция граблей, на которые мы уже успели наступить, но которые еще не долетели...


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Пн, июн 06 2011, 17:47 
Старший специалист
Старший специалист

Зарегистрирован:
Чт, фев 16 2006, 15:46
Сообщения: 451
Откуда: Россия
Цитата:
А сесть и посчитать на бумажке количество комбинаций значений признаков для каждого варианта измерений не вариатн?


На бумажке???

Вот я сейчас смотрю, как и что нужно переразбивать. У меня 17 признаков, которые нужно разбить по 4 измерениям.

Это даёт 4^17 возможных комбинаций разбиения. Правда, это у учётом порядка , там, по-моему, меньше... Но всё равно оптимум не найти перебором.

На бумажке!!!

_________________
Ян Владимирович,
http://www.vladimirovich.net


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Пн, июн 06 2011, 17:59 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Вт, окт 11 2005, 12:10
Сообщения: 687
Откуда: Москва
Пол: Мужской
Не морочтесь. Даже если вы посчитаете оптимальную структуру для сегодняшних данных, то завтра характер данных "слегка изменится" и оптимальным будет другой набор.

Используйте простое правило:
Если есть логическая взаимосвязь между признаками -- кладите их в одно измерение (покупатель, рынок сбыта), если нет -- в разные (покупатель, дата продажи).
Ну и плюс измерение-помойка, где лежит "все остальное".
Плюс пожелание, что таблица измерения не должна быть более 1/20 от таблицы фактов (на практике я не сталкивался с таким коэффициентом никогда, всегда было существенно меньше).

_________________
Глаза боятся, а руки крюки


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Вт, июн 07 2011, 05:47 
Специалист
Специалист

Зарегистрирован:
Вт, июн 10 2008, 07:22
Сообщения: 163
Откуда: Ektb
Пол: Мужской
Yanvladimirovich написал(а):
На бумажке!!!


Имелось ввиду следующее - после логического моделирования (то что по сути описал G), возникнет лишь несколько вариантов, которые и можно примерно оценить руками.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Вт, июн 07 2011, 10:17 
Старший специалист
Старший специалист

Зарегистрирован:
Вт, дек 23 2008, 17:09
Сообщения: 315
Имхо, непонятки из-за того, что не совсем верно поставлена задача. Не признаки нужно распределять по заданным измерениям, а определять сколько будет измерений на основе имеющегося набора признаков. Как это делать, рассказал G.
И 17 признаков на 4 измерения - это как-то слишком плотно, если мы продолжаем говорить о сферическом коне в вакууме.


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Вт, июн 07 2011, 17:00 
Старший специалист
Старший специалист

Зарегистрирован:
Чт, фев 16 2006, 15:46
Сообщения: 451
Откуда: Россия
Давайте расскажу вам про проект, а заодно отвечу на ряд вопросов. Это FI, куб по главной книге на основе 0FI_GL_4.

Цитата:
Не морочтесь. Даже если вы посчитаете оптимальную структуру для сегодняшних данных, то завтра


Данных в продуктивной системе - с 2007-го года, 16 млн записей. Не думаю, что завтра всё будет слишком по-другому.

Цитата:
сли есть логическая взаимосвязь между признаками -- кладите их в одно измерение Ну и плюс измерение-помойка, где лежит "все остальное".


Именно этому интуитивному подходу я и следовал. В результате измерение-помойка содержит 9 млн уникальных записей, даже больше чем измерение - номер документа/бе/год (без номера позиции) Кстати, крайне любопытно, как вы будете жить без измерения в номер документа? На моём проекте нужна первичка для сверки. Drilldown - интересная штука, да только не работает с расчётными показателями, но ладно...

То есть, если моя интуиция даёт сбой, я могу только привлечь логику.

_________________
Ян Владимирович,
http://www.vladimirovich.net


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Вт, июн 07 2011, 17:28 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Вт, окт 11 2005, 12:10
Сообщения: 687
Откуда: Москва
Пол: Мужской
Угу, случай, по ходу, правда клинический. Такое обычно в ОДС кладут.

А что у Вас в помойке лежит?
Я так понимаю, задача сводится к тому, чтобы положить в одно измерение всякие номера и иже, поставить там галку "высокая кардинальность" и посмотреть, что получится.
Т.е. нужно сделать одно большое измерение.

_________________
Глаза боятся, а руки крюки


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Вт, июн 07 2011, 17:38 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Вт, авг 17 2004, 09:59
Сообщения: 1097
Откуда: Moscow
Пол: Мужской
Yanvladimirovich написал(а):

Именно этому интуитивному подходу я и следовал. В результате измерение-помойка содержит 9 млн уникальных записей, даже больше чем измерение - номер документа/бе/год (без номера позиции) Кстати, крайне любопытно, как вы будете жить без измерения в номер документа? На моём проекте нужна первичка для сверки. Drilldown - интересная штука, да только не работает с расчётными показателями, но ладно...

То есть, если моя интуиция даёт сбой, я могу только привлечь логику.


Номер документа выносим в отдельное измерение ставим высокая кардинальность и измерение позиции
курс по оптимизации производительности вам в помощь

_________________
In SAP we trust !


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Оптимальные dimension
СообщениеДобавлено: Ср, июн 08 2011, 21:24 
Менеджер
Менеджер
Аватара пользователя

Зарегистрирован:
Вт, сен 13 2005, 10:41
Сообщения: 558
Откуда: Гондурас (округ Москвы)
Пол: Мужской
17 млн это много??? )))
1. признаки с высокой кардинальностью надо выносить в отдельные измерения, иначе они будут раздувать
dimension в линейной пропорции к числу записей (выше было сказано про это... это номер документа, чека, timestamp и любой уникальный неповторяющийся ключ)
2. признаки, число комбинаций которых не N*M, а конечное складывайте в одно измерений, даже если их будет 10 в одном измерении, а число комбинаций будет конечным - ничего страшного не произойдет, производительность не пострадает.
3. не забывайте про партицирование


Принять этот ответ
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 17 ]  На страницу 1, 2  След.

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: Ahrefs [Bot]


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB