Текущее время: Вт, июл 29 2025, 04:22

Часовой пояс: UTC + 3 часа


Правила форума


ВНИМАНИЕ!

Вопросы по SAP Query и Quick View - сюда



Начать новую тему Ответить на тему  [ Сообщений: 9 ] 
Автор Сообщение
 Заголовок сообщения: как правильно хранить много длинных текстов?
СообщениеДобавлено: Вт, мар 10 2009, 09:31 
Старший специалист
Старший специалист

Зарегистрирован:
Чт, мар 29 2007, 11:51
Сообщения: 330
Откуда: Yugorsk.RU
Пол: Мужской
Есть необходимость вгрузить в систему большой справочник (гдето миллион записей), содержащий достаточно длинные текстовые строки (порядка 600 символов). Кроме стандартного пула текстов stxh/stxl как ещё можно подобное хранить, чтобы минимизировать время чтения данных?
И есть-ли в частности возможность задейстовать некий полнотекстовый поиск по такому справочнику? Очень не хочется перебором искать.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: как правильно хранить много длинных текстов?
СообщениеДобавлено: Вт, мар 10 2009, 10:35 
Модератор
Модератор
Аватара пользователя

Зарегистрирован:
Пт, июн 16 2006, 00:43
Сообщения: 1686
Откуда: Москва <-> Красноярск
Пол: Мужской
Есть такой вариант


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: как правильно хранить много длинных текстов?
СообщениеДобавлено: Вт, мар 10 2009, 10:47 
Младший специалист
Младший специалист
Аватара пользователя

Зарегистрирован:
Чт, июн 21 2007, 13:09
Сообщения: 76
Откуда: Нижний Новгород
Пол: Мужской
При возникновении похожей ситуации было решено при загрузке справочника прогонять каждую строку через ФМ, сокращающий тексты :)
т.е. табличка, ракурс к ней.. поля Long_Str, Short_str
и заменяется в модуле REPLACE-ом ..
Цитата:
Министерство внутренних дел Российской Федерации -> МВД РФ

_________________
Мир прекрасен и удивителен!


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: как правильно хранить много длинных текстов?
СообщениеДобавлено: Вт, мар 10 2009, 12:15 
Старший специалист
Старший специалист

Зарегистрирован:
Чт, мар 29 2007, 11:51
Сообщения: 330
Откуда: Yugorsk.RU
Пол: Мужской
Цитата:
Министерство внутренних дел Российской Федерации -> МВД РФ


т.е. изобрели свой собственный PkZip :D
У нас так врядли получится - тексты кошмарные местами. Пока придумали просто побить на группы слов по пробелам, и хранить в плоской таблице несколькими записями. Так хоть поиск через like более менее ускорить можно. Строить свой "индекс" отдельных слов както не хочется.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: как правильно хранить много длинных текстов?
СообщениеДобавлено: Вт, мар 10 2009, 13:27 
Младший специалист
Младший специалист
Аватара пользователя

Зарегистрирован:
Чт, июн 21 2007, 13:09
Сообщения: 76
Откуда: Нижний Новгород
Пол: Мужской
Ну, на самом деле, на десяток классификаторов понадобилось около 100-150 строк в таблицу забить.. Руками, конечно, но результат примемлим стал.. А поначалу тоже казалось, что кошмар :)

_________________
Мир прекрасен и удивителен!


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: как правильно хранить много длинных текстов?
СообщениеДобавлено: Вт, мар 10 2009, 17:32 
Начинающий
Начинающий

Зарегистрирован:
Ср, фев 18 2009, 18:14
Сообщения: 3
Пол: Мужской
Может как вариант создать TREX сервер и подключить его к вашему SAP серверу?
TREX сервер предназначен для хранения и поиска информации, думаю если подключить его на отдельную машину, то он будет прекрасно работать с таким массивом информации


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: как правильно хранить много длинных текстов?
СообщениеДобавлено: Ср, мар 11 2009, 07:52 
Старший специалист
Старший специалист

Зарегистрирован:
Чт, мар 29 2007, 11:51
Сообщения: 330
Откуда: Yugorsk.RU
Пол: Мужской
можно поподробнее, что есть такое TREX ?


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: как правильно хранить много длинных текстов?
СообщениеДобавлено: Ср, мар 11 2009, 11:41 
Начинающий
Начинающий

Зарегистрирован:
Ср, фев 18 2009, 18:14
Сообщения: 3
Пол: Мужской
TREX - стандартный поисковый механизм SAP для индексации и дальнейшего поиска документов.
Как это выглядит в действительности:
Скачиваете дестрибутив TREX (незнаю, есть ли он в свободном доступе, но думаю найти можно)
Инсталлируете на сервер (лучше отдельный, для улучшения производительности)
Настраиваете gateway, RFC и др для TREX (если знаете как - очень просто, если не знаете, сложновато, но реально. гайдов хватает)
Создаете индекс в системе SAP (в индекс включаете свой справочник)
Подключаете индекс к TREX и индексируете.
Ищете в индексе нужные вам фразы, слова

т.к. TREX поддерживает русский язык, то можно использовать лингвистический поиск, fuzzy поиск и тп.
также TREX поддреживает удобное управление индексами (добавить/удалить новый элемент, переиндексировать и тп)

почитать можно тут:
https://www.sdn.sap.com/irj/sdn/nw-ente ... b055e9d4e4

PS быстро, с нуля сделать будет очень трудно, но реально. Если что - обращайтесь :D


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: как правильно хранить много длинных текстов?
СообщениеДобавлено: Пт, июл 09 2010, 18:02 
Начинающий
Начинающий
Аватара пользователя

Зарегистрирован:
Вт, ноя 10 2009, 09:53
Сообщения: 10
Пол: Мужской
Может немного не в тему, но не хочу создавать новую.
Есть массив данных с длинными текстами (200 символов) и порядка 6 млн записей. Поиск хотим сделать на TREX Почитал все что можно и попробовал прикинуть конфигурацию сервера(ов) для TREX и меня переклинило. По всем букварям выходит, что потребуется крутейшая машина (x86_64 8 ядер и т.д.), да и не одна, а минимум 2 (Master и Slave). Основная проблемма не с объемом данных, а с поисковыми запросами (примерно 5-9 запросов в секунду) т.к. есть ограничение на 4 запроса в секунду.
Может я не правильно все понял и всо гораздо лучше?

_________________
Изображение Законы природы еще никто не отменял


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 9 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: Google [Bot]


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB