Текущее время: Пн, июл 21 2025, 01:05

Часовой пояс: UTC + 3 часа


Правила форума


ВНИМАНИЕ!

Вопросы по SAP Query и Quick View - сюда



Начать новую тему Ответить на тему  [ Сообщений: 9 ] 
Автор Сообщение
 Заголовок сообщения: как правильно хранить много длинных текстов?
СообщениеДобавлено: Вт, мар 10 2009, 09:31 
Старший специалист
Старший специалист

Зарегистрирован:
Чт, мар 29 2007, 11:51
Сообщения: 330
Откуда: Yugorsk.RU
Пол: Мужской
Есть необходимость вгрузить в систему большой справочник (гдето миллион записей), содержащий достаточно длинные текстовые строки (порядка 600 символов). Кроме стандартного пула текстов stxh/stxl как ещё можно подобное хранить, чтобы минимизировать время чтения данных?
И есть-ли в частности возможность задейстовать некий полнотекстовый поиск по такому справочнику? Очень не хочется перебором искать.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: как правильно хранить много длинных текстов?
СообщениеДобавлено: Вт, мар 10 2009, 10:35 
Модератор
Модератор
Аватара пользователя

Зарегистрирован:
Пт, июн 16 2006, 00:43
Сообщения: 1686
Откуда: Москва <-> Красноярск
Пол: Мужской
Есть такой вариант


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: как правильно хранить много длинных текстов?
СообщениеДобавлено: Вт, мар 10 2009, 10:47 
Младший специалист
Младший специалист
Аватара пользователя

Зарегистрирован:
Чт, июн 21 2007, 13:09
Сообщения: 76
Откуда: Нижний Новгород
Пол: Мужской
При возникновении похожей ситуации было решено при загрузке справочника прогонять каждую строку через ФМ, сокращающий тексты :)
т.е. табличка, ракурс к ней.. поля Long_Str, Short_str
и заменяется в модуле REPLACE-ом ..
Цитата:
Министерство внутренних дел Российской Федерации -> МВД РФ

_________________
Мир прекрасен и удивителен!


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: как правильно хранить много длинных текстов?
СообщениеДобавлено: Вт, мар 10 2009, 12:15 
Старший специалист
Старший специалист

Зарегистрирован:
Чт, мар 29 2007, 11:51
Сообщения: 330
Откуда: Yugorsk.RU
Пол: Мужской
Цитата:
Министерство внутренних дел Российской Федерации -> МВД РФ


т.е. изобрели свой собственный PkZip :D
У нас так врядли получится - тексты кошмарные местами. Пока придумали просто побить на группы слов по пробелам, и хранить в плоской таблице несколькими записями. Так хоть поиск через like более менее ускорить можно. Строить свой "индекс" отдельных слов както не хочется.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: как правильно хранить много длинных текстов?
СообщениеДобавлено: Вт, мар 10 2009, 13:27 
Младший специалист
Младший специалист
Аватара пользователя

Зарегистрирован:
Чт, июн 21 2007, 13:09
Сообщения: 76
Откуда: Нижний Новгород
Пол: Мужской
Ну, на самом деле, на десяток классификаторов понадобилось около 100-150 строк в таблицу забить.. Руками, конечно, но результат примемлим стал.. А поначалу тоже казалось, что кошмар :)

_________________
Мир прекрасен и удивителен!


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: как правильно хранить много длинных текстов?
СообщениеДобавлено: Вт, мар 10 2009, 17:32 
Начинающий
Начинающий

Зарегистрирован:
Ср, фев 18 2009, 18:14
Сообщения: 3
Пол: Мужской
Может как вариант создать TREX сервер и подключить его к вашему SAP серверу?
TREX сервер предназначен для хранения и поиска информации, думаю если подключить его на отдельную машину, то он будет прекрасно работать с таким массивом информации


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: как правильно хранить много длинных текстов?
СообщениеДобавлено: Ср, мар 11 2009, 07:52 
Старший специалист
Старший специалист

Зарегистрирован:
Чт, мар 29 2007, 11:51
Сообщения: 330
Откуда: Yugorsk.RU
Пол: Мужской
можно поподробнее, что есть такое TREX ?


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: как правильно хранить много длинных текстов?
СообщениеДобавлено: Ср, мар 11 2009, 11:41 
Начинающий
Начинающий

Зарегистрирован:
Ср, фев 18 2009, 18:14
Сообщения: 3
Пол: Мужской
TREX - стандартный поисковый механизм SAP для индексации и дальнейшего поиска документов.
Как это выглядит в действительности:
Скачиваете дестрибутив TREX (незнаю, есть ли он в свободном доступе, но думаю найти можно)
Инсталлируете на сервер (лучше отдельный, для улучшения производительности)
Настраиваете gateway, RFC и др для TREX (если знаете как - очень просто, если не знаете, сложновато, но реально. гайдов хватает)
Создаете индекс в системе SAP (в индекс включаете свой справочник)
Подключаете индекс к TREX и индексируете.
Ищете в индексе нужные вам фразы, слова

т.к. TREX поддерживает русский язык, то можно использовать лингвистический поиск, fuzzy поиск и тп.
также TREX поддреживает удобное управление индексами (добавить/удалить новый элемент, переиндексировать и тп)

почитать можно тут:
https://www.sdn.sap.com/irj/sdn/nw-ente ... b055e9d4e4

PS быстро, с нуля сделать будет очень трудно, но реально. Если что - обращайтесь :D


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: как правильно хранить много длинных текстов?
СообщениеДобавлено: Пт, июл 09 2010, 18:02 
Начинающий
Начинающий
Аватара пользователя

Зарегистрирован:
Вт, ноя 10 2009, 09:53
Сообщения: 10
Пол: Мужской
Может немного не в тему, но не хочу создавать новую.
Есть массив данных с длинными текстами (200 символов) и порядка 6 млн записей. Поиск хотим сделать на TREX Почитал все что можно и попробовал прикинуть конфигурацию сервера(ов) для TREX и меня переклинило. По всем букварям выходит, что потребуется крутейшая машина (x86_64 8 ядер и т.д.), да и не одна, а минимум 2 (Master и Slave). Основная проблемма не с объемом данных, а с поисковыми запросами (примерно 5-9 запросов в секунду) т.к. есть ограничение на 4 запроса в секунду.
Может я не правильно все понял и всо гораздо лучше?

_________________
Изображение Законы природы еще никто не отменял


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 9 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB