Содействие - исключение из 3-го закона Ньютона.

Амальгама

Информация о пользователе

Привет, Гость! Войдите или зарегистрируйтесь.


Вы здесь » Амальгама » Reductor Sapiens » Новая теория памяти – прорыв или утопия? #2


Новая теория памяти – прорыв или утопия? #2

Сообщений 1291 страница 1320 из 2001

1

.

Отредактировано Шарпер (2021-12-04 22:51:04)

0

1291

#p170677,DoctorLector написал(а):

запросто

Идея богатая, но устройство можно взять попроще

https://pict.belvedor.com/2/25/225a1fbebfafb037b19f250a371a74f5.jpg

0

1292

#p170675,Шарпер написал(а):

Ну значит я не способен объяснить азы счета загибанием пальцев

Всё проще. Ты никого не сможешь научить методу, которого не существует.

#p170675,Шарпер написал(а):

Стесняюсь спросить, а  в чем смысл этого действа?

Чтобы убедиться в том, что логарифмирование не даёт возможности хранить меньше значащих цифр. Там всё подробно описано.

#p170673,Шарпер написал(а):

Вы с чего решили, что упорядочивание по возрастанию касается нашего способа?

А можно как-то по существу что-то одно излагать, а не нести пургу обо всём подряд?

#p170675,Шарпер написал(а):

Если Вы про таблицу, то хранить надо

Откуда опять таблица? Вроде уже разговор про формулы. С помощью формулы буквенное слово перекодируется в число, числу присваивается номер. Я ничего не путаю? А потом хранить надо, но это только если про таблицу, а не про формулу. И хранить непонятно что - то ли число, то ли номер, то ли слово, то ли что еще. Я верно излагаю? Ничего не перепутал?

#p170675,Шарпер написал(а):

Ну еще раз разберите символьные таблицы, которые работают как фильтры входных данных

И на хрена все эти формулы, если эти твои таблицы и с символами работают?

#p170675,Шарпер написал(а):

Поэтому я и не стал спорить

Еще бы. Тут уж слишком всё очевидно, чтобы с этим спорить.

#p170675,Шарпер написал(а):

Помятуя, что тексты у нас только для наглядности, углубляться в состав слов не вижу смысла.

Тут не смысла не видно, а возможности, причем даже теоретической. Невозможно разобрать где какая часть слова, оперируя численными кодами, в которых даже элементарного соответствия между буквой и цифрами нет, когда числовая кодировка приставки "под-" будет кардинально разной даже для слов "подштанники" и "подштанникам".

0

1293

#p170683,Zagar написал(а):

Всё проще. Ты никого не сможешь научить методу, которого не существует.

Метода вычисления индекса многомерного массива не существует?

#p170683,Zagar написал(а):

Чтобы убедиться в том, что логарифмирование не даёт возможности хранить меньше значащих цифр. Там всё подробно описано.

А зачем Вы хотите их хранить? Вы какой-то другой способ изобретаете? Мне ни разу непонятно за каким чертом Вы восстанавливаете исходное значение из его логарифма. Зачем?

#p170683,Zagar написал(а):

А можно как-то по существу что-то одно излагать, а не нести пургу обо всём подряд?

А что надо добавить к тому, что упорядочивание по возрастанию имеет отношение только к примеру, но не к предлагаемому способу, как почему-то решили вы? Я совершенно серьезно спрашиваю, потому что не понимаю претензии

#p170683,Zagar написал(а):

Откуда опять таблица? Вроде уже разговор про формулы.

С таблицами нагляднее, а разницы никакой

#p170683,Zagar написал(а):

С помощью формулы буквенное слово перекодируется в число, числу присваивается номер. Я ничего не путаю? А потом хранить надо, но это только если про таблицу, а не про формулу. И хранить непонятно что - то ли число, то ли номер, то ли слово, то ли что еще. Я верно излагаю? Ничего не перепутал?

Я вообще не сильно понял что Вы хотите сказать или спросить. Что Вам непонятно с хранением кода? Вы вообще понимаете зачем этот код нужен?

#p170683,Zagar написал(а):

И на хрена все эти формулы, если эти твои таблицы и с символами работают?

Для того, чтобы напрасно не занимать память. Но на таблицах фильтрация совпадений наглядна

#p170683,Zagar написал(а):

Еще бы. Тут уж слишком всё очевидно, чтобы с этим спорить.

Ну ОК

#p170683,Zagar написал(а):

Тут не смысла не видно, а возможности

Зачем Вы опять пытаетесь опровергнуть уже давно реализованное? Мне просто лень отвлекаться на стороннюю тему

0

1294

#p170690,Шарпер написал(а):

Метода вычисления индекса многомерного массива не существует?

Речь была про то, как из длинного числового кода сделать короткий. Метода сделать это не приведено. О многомерных массивах речи не было совсем, они тут ни при чем.

#p170690,Шарпер написал(а):

Вы вообще понимаете зачем этот код нужен?

Не очень. Ну вроде как для того, чтобы узнать есть ли закодированное слово где-то в памяти или нет. Угадал?

#p170690,Шарпер написал(а):

Зачем Вы опять пытаетесь опровергнуть уже давно реализованное? Мне просто лень отвлекаться на стороннюю тему

То, что реализовано, реализовано не тобой и не с помощью обсуждаемого метода. В твоем методе это невозможно реализовать в принципе, и это не стороняя тема, а строго по существу.

0

1295

#p170694,Zagar написал(а):

Речь была про то, как из длинного числового кода сделать короткий. Метода сделать это не приведено. О многомерных массивах речи не было совсем, они тут ни при чем.

Как это не приведено, если 100499 раз было сказано - пересчитать в порядке поступления, что самое простое. Ну иди прологарифмировать по Лукомору. Пока все получается и мне это все больше нравится

#p170694,Zagar написал(а):

Не очень. Ну вроде как для того, чтобы узнать есть ли закодированное слово где-то в памяти или нет. Угадал?

Да. И логарифм от него тоже вполне пригоден, если настолько же уникален и укладывается в разрядность машинного слова. Ничего больше от кода не требуется

#p170694,Zagar написал(а):

То, что реализовано, реализовано не тобой и не с помощью обсуждаемого метода. В твоем методе это невозможно реализовать в принципе, и это не стороняя тема, а строго по существу.

С чего вдруг? Какая разница что кодировать - слово или его часть? Впрочем, неважно.

0

1296

#p170696,Шарпер написал(а):

Какая разница что кодировать - слово или его часть

Можно кодировать слоги, их не так уж и много.
Перейти к слоговому письму, каким были многие древние письменности.

Еще можно записывать только согласные буквы, выкидывая гласные, как это принято в некоторых восточных языках.
Это даст некоторую экономию памяти...

0

1297

#p170696,Шарпер написал(а):

пересчитать в порядке поступления, что самое простое

И как имея номера слов от 1 до 10 узнать есть ли среди них слово "шарпер"?
А если есть и это слово номер 7, то по какой причине нельзя было этот номер присвоить самому слову "шарпер", а не его числовому коду?

#p170696,Шарпер написал(а):

Ну иди прологарифмировать по Лукомору

Это не уменьшает объема требуемой памяти.

#p170696,Шарпер написал(а):

С чего вдруг? Какая разница что кодировать - слово или его часть?

Вот есть два слова, которые отличаются ровно на одну букву. В одном слове 6 букв, во втором 5, при этом 5 из них одни и те же, дубликат. То есть за счет фильтрации дубликатов можно сократить количество хранимых символов с 11 до 6, то есть почти вдвое. Это существенная экономия памяти, игра стоит свеч.
По формуле Шарпера их числовые коды 1019371734 и 30890052. Их логарифмы по основанию 2, соответственно, 29.925033109 и 24.880638964, а порядковые номера по величине 2 и 1. Мне нужна пошаговая инструкция как на основании этой численной информации отфильтровать дубликат, чтобы освободить почти что половину памяти.

#p170696,Шарпер написал(а):

Впрочем, неважно.

В твоей формуле это как раз важно. Потому как в общем случае отдельно закодированная по твоей формуле часть слова и ее кодировка в составе слова не будут иметь между собой ничего общего. Ну вот из вышеприведенного примера: слово 30890052 является частью слова 1019371734. Это тебе как-то помогает выделить часть из слова?

0

1298

#p170700,Zagar написал(а):

И как имея номера слов от 1 до 10 узнать есть ли среди них слово "шарпер"?

Так слово будет ассоциировано с этим номером, т.е. в пределе находиться по адресу заданному этим номером.
"шарпер" (на входе) -> код -> номер -> "шарпер" (в памяти)

#p170700,Zagar написал(а):

А если есть и это слово номер 7, то по какой причине нельзя было этот номер присвоить самому слову "шарпер", а не его числовому коду?

Можно, но с большими проблемами проверки посимвольным сравнением наличия слова "шарпер" а пвмяти, чтобы выйти на номер 7, что обессмысливает все действо

"шарпер" (на входе) -> поиск "шарпер" в памяти -> 7.

#p170700,Zagar написал(а):

Это не уменьшает объема требуемой памяти.

Какой памяти? Подо что требуемой? Под перечисление миллиона номеров? При том, что ненужными становятся целые массивы символьных ключей и отфильтровываются дубликаты?

#p170700,Zagar написал(а):

то существенная экономия памяти, игра стоит свеч.

Это не самоцель, а  побочный результат, который может и не получиться

#p170700,Zagar написал(а):

Их логарифмы по основанию 2, соответственно, 29.925033109 и 24.880638964, а порядковые номера по величине 2 и 1.

Вообще-то логарифмы предложены в качестве возможной альтернативы пересчету с присвоением номеров

#p170700,Zagar написал(а):

Мне нужна пошаговая инструкция,

Придется подождать, я ее еще не придумал, так что воспользуйитесь пока табличным вариантом

#p170700,Zagar написал(а):

В твоей формуле это как раз важно

Я не понял, Вы хотите вернуться к кодировке частей слов?

+1

1299

#p170698,Лукомор написал(а):

Перейти к слоговому письму

Мы же движемся к кодовой версии иероглифического

0

1300

#p170706,Шарпер написал(а):

Мы же движемся к кодовой версии иероглифического

И я о том же...
Каждый иероглиф кодирует один слог.
Я не зря помянул слоговое письмо...

0

1301

#p170705,Шарпер написал(а):

Придется подождать, я ее еще не придумал

http://www.kolobok.us/smiles/light_skin/rofl.gif

0

1302

#p170705,Шарпер написал(а):

Какой памяти? Подо что требуемой?

Под хранение числовых кодов слов в дополнение к хранению самих слов.

#p170705,Шарпер написал(а):

При том, что ненужными становятся целые массивы символьных ключей

Что за символьные ключи? Это слова, записанные буквами, или что?

#p170705,Шарпер написал(а):

отфильтровываются дубликаты

Ну как отфильтровываются? Возможно, когда-то будут отфильтровываться, но пока что....

#p170705,Шарпер написал(а):

...Придется подождать, я ее еще не придумал

#p170705,Шарпер написал(а):

Я не понял, Вы хотите вернуться к кодировке частей слов?

Нет, я вообще против кодировки, которая суть ненужное извращение с очень узким функциональным назначением, я за прямую  работу с символами.

0

1303

#p170713,Zagar написал(а):

Под хранение числовых кодов слов в дополнение к хранению самих слов.

Эти коды вид хеш-значений, а хеши  всегда хранятся.

#p170713,Zagar написал(а):

Что за символьные ключи? Это слова, записанные буквами, или что?

Да. Специальные поля по которым осуществлется поиск. Плюс к ним еще и индексные, двоичные

#p170713,Zagar написал(а):

Ну как отфильтровываются? Возможно, когда-то будут отфильтровываться, но пока что....

Совмещением. Символьную табличку внимательно посмотрите. Аналогия - система сит, которая на проход сортирует  дробь по размерам. На примере таблиц более чем наглядно совмещение. На вычислении д.б. то же самое, но я еще не отлаживал

#p170713,Zagar написал(а):

я за прямую  работу с символами.

Компьютеры заточены под числа, так что ничего не получится. Ну или изобретать не символьную машину, а геометрическую.

0

1304

#p170710,Лукомор написал(а):

Шарпер

    Придется подождать, я ее еще не придумал

http://www.kolobok.us/smiles/light_skin/rofl.gif

Подпись автора

    Лукомор (год рождения: 195http://www.kolobok.us/smiles/light_skin/shok.gif

Сам такой -

#p170618,Лукомор написал(а):

Шарпер

    А лргарифм при потере точности коллизий не выдаст?

А я откуда знаю...
Проверять надо

Подпись автора

    Лукомор (год рождения: 195http://www.kolobok.us/smiles/light_skin/shok.gif

0

1305

#p170700,Zagar написал(а):

Мне нужна пошаговая инструкция как на основании этой численной информации отфильтровать дубликат,

#p170705,Шарпер написал(а):

Придется подождать, я ее еще не придумал, так что воспользуйитесь пока табличным вариантом

Таки слушайте сюда! Отсюда уже будет проистекать!(с)
При ближайшем рассмотрении выяснилось, что табличный и вычислительный способы не являются в точности эквивалентными. Если в табличном варианте хранится вся предыстория получения результирующего кода, то при вычислении результат получается сразу, а вся предыстория утрачивается.
И шо вы таки из под себя думаете, бегемота это затруднение остановило? Тогда можно было подумать, что вы плохо думаете за бегемотоф! Но мы знаем, что вы таки думаете за бегемотов хорошо. Так вот вы правы - если на пути встретилась трудность то это ее собственные трудности.
Мы просто возьмем и расширим наш служебный кодовый список на промежуточные значения буквенных  сочетаний. (напоминаю, текст служит примером). Эти буквенные сочетания могут не означать ничего, а могут являться самостоятельным словом и совпадать с частью ранее записанной более длинной словоформы, которое явит нам свой собственный код и адрес конца совпадения. Заполняться список кодов сочетаний будет исключительно уникальными сочетаниями по факту их необнаружения в списке. Совпадающие сочетания с ранее зарегистрированными в списке будут отфильтрованы не хуже чем табличным способом. Список может быть линейным, а может быть сложносвязанным, а значения преобразованными логарифмированием или еще как-то.

Что же касается объема списка, то при условии что мы с многократным запасом берем кол-во действующих словоформ равным миллиону, то при средней длине слова 6 букв, список займет 6 000 000 узлов или около 48 Мб на 64 битном компе, что ничтожно мало для языка.

Проверяйте!

0

1306

#p170718,Шарпер написал(а):

Таки слушайте сюда! Отсюда уже будет проистекать!(с)

Ой вэй! И кто  тут у нас под одесского строится?  http://www.kolobok.us/smiles/standart/smile3.gif

0

1307

#p170718,Шарпер написал(а):

при средней длине слова 6 букв

Если считать средневзвешенное значение, то и до 5 не дотянет. А то я русского устного языка не знаю.

+1

1308

#p170729,Лукомор написал(а):

Ой вэй! И кто  тут у нас под одесского строится?  http://www.kolobok.us/smiles/standart/smile3.gif

Не веришь, станиславский?  http://www.kolobok.us/smiles/light_skin/aggressive.gif

0

1309

#p170730,DoctorLector написал(а):

до 5 не дотянет.

По корпусу литературного русского считается 5.9

0

1310

#p170715,Шарпер написал(а):

На примере таблиц более чем наглядно совмещение. На вычислении д.б. то же самое, но я еще не отлаживал

#p170718,Шарпер написал(а):

При ближайшем рассмотрении выяснилось, что табличный и вычислительный способы не являются в точности эквивалентными.

Я бы сказал, что они вообще ничего общего не имеют.

#p170715,Шарпер написал(а):

Компьютеры заточены под числа, так что ничего не получится

Весьма спорное утверждение. В двоичных кодах давно никто софт не пишет, да даже и ассемблером вряд ли кто-то пользуется. А в языках программирования, даже довольно старых, давно существуют арифметические операции с символьными строками. Ну то есть можно из одного набора символов вычесть другой и если получается ноль, то эти два набора идентичны. Это по сути не символьная, а арифметическая операция. То есть сравнение слов можно делать очень быстро.
А про то, что ничего не получится - неправда. Я сам могу написать на паскале прогу, которая может из потока слов фильтровать уникальные. Получится в любом случае, вопрос только в скорости и требуемом объеме памяти. И для меня не очевидно, что подход с кодированием дает какой-то выигрыш.

#p170718,Шарпер написал(а):

Эти буквенные сочетания могут не означать ничего, а могут являться самостоятельным словом и совпадать с частью ранее записанной более длинной словоформы

То есть кроме слова "шарпер" записываем также слова "ш", "ша", "шар", шарп" и "шарпе"?

#p170718,Шарпер написал(а):

Что же касается объема списка, то при условии что мы с многократным запасом берем кол-во действующих словоформ равным миллиону, то при средней длине слова 6 букв, список займет 6 000 000 узлов или около 48 Мб на 64 битном компе, что ничтожно мало для языка.

При символьной записи миллиона слов по 6 букв каждое тоже потребуется 48 МБ. И перелопатить такой объем информации можно за доли секунды. Задачка ерундовая. Не понимаю из-за чего весь сыр-бор?

0

1311

#p170733,Zagar написал(а):

Я бы сказал, что они вообще ничего общего не имеют.

Имеют, иначе бы матрицы не изображали бы таблицами

#p170733,Zagar написал(а):

Весьма спорное утверждение. В двоичных кодах давно никто софт не пишет,

Спорное для тех, кто забыл что такое машинный код. Ну так еще Декарт аналогично втирал (покойный В.Арнольд писал), что истинная геометрия только аналитическая, хотя без инструментов ни одного определения не получить

#p170733,Zagar написал(а):

А в языках программирования, даже довольно старых, давно существуют арифметические операции с символьными строками. Ну то есть можно из одного набора символов вычесть другой и если получается ноль, то эти два набора идентичны. Это по сути не символьная, а арифметическая операция. То есть сравнение слов можно делать очень быстро.

Можно. За счет быстродействия железа и можно вообще не думать почему человек с таким низким быстродействием мозга решает задачи на понимание текста от нефиг делать,а суперкомпьютер нет. А считает плохо. Вывод = заточен не под арифметику

#p170733,Zagar написал(а):

А про то, что ничего не получится - неправда

Я просто случай через "А", "Ж", "П", "О" не рассматривал.  http://www.kolobok.us/smiles/light_skin/yahoo.gif

#p170733,Zagar написал(а):

не очевидно, что подход с кодированием дает какой-то выигрыш.

А Колумб вообще плыл в Индию. Цель не в выигрыше по производительности или экономии памяти, цель в решении задач, например, понимания смысла или адекватного перевода на основе понимания опять же смысла.

#p170733,Zagar написал(а):

То есть кроме слова "шарпер" записываем также слова "ш", "ша", "шар", шарп" и "шарпе"?

Типа того

#p170733,Zagar написал(а):

При символьной записи миллиона слов по 6 букв каждое тоже потребуется 48 МБ. И перелопатить такой объем информации можно за доли секунды. Задачка ерундовая. Не понимаю из-за чего весь сыр-бор?

Правильно! Но вся фишка в том, что обычным способом приходится не эти 48 МБ шерстить, а терабайты произвольно расположенных в памяти данных в символьном формате с несчитанными дубликатами размеченными ключевыми хеш-таблицами. Я пример сортировки текста "Войны и мира" приводил.

0

1312

#p170733,Zagar написал(а):

То есть кроме слова "шарпер" записываем также слова "ш", "ша", "шар", шарп" и "шарпе"?

На всякий случай уточню, что записываются не все эти слова, а именно одно слова "шарпер" кодами вместо букв с "нарастающим итогом" для каждой следующей буквы. А все эти промежуточные "ш", "ша", "шар", шарп" будут внутри

Отредактировано Шарпер (2022-01-26 23:46:29)

0

1313

#p170729,Лукомор написал(а):

кто  тут у нас под одесского

Кстати, когда 40 лет назад я был в Одессе, то был страшно разочарован ни разу не услышав характерные речевые обороты. Зато я понял, что самые красивые девушки вовсе не в Саратове и даже не в Киеве. Мда-с...

0

1314

И еще интересная побочка у записи слов кодами - не нужно хранить исходники в символьном формате, поскольку они на раз восстанавляваются из кодов.

0

1315

Анекдот в тему:

Учительница классу:
- Тема следующего занятия "Устройство мозга человека". Принесите завтра
с собой молоток, зубило и зеленку.

0

1316

#p170741,Шарпер написал(а):

Зато я понял, что самые красивые девушки вовсе не в Саратове и даже не в Киеве

Это были приезжие...

+1

1317

#p170741,Шарпер написал(а):

Кстати, когда 40 лет назад я был в Одессе, то был страшно разочарован ни разу не услышав характерные речевые обороты.

В то время эти речевые обороты вполне уже можно было слышать на Брайтон-бич.
Хотя я их вполне себе слышал и 20 лет назад в Одессе.
Просто я тогда в Облэнерго работал...  http://www.kolobok.us/smiles/standart/smile3.gif

Отредактировано Лукомор (2022-01-27 07:45:11)

0

1318

#p170746,Лукомор написал(а):

Облэнерго

Последний вариант проверял?

0

1319

#p170747,Шарпер написал(а):

Последний вариант проверял?

Вариант чего?!  http://www.kolobok.us/smiles/user/Mauridia_44.gif

Отредактировано Лукомор (2022-01-27 12:45:40)

0

1320

#p170734,Шарпер написал(а):

Имеют, иначе бы матрицы не изображали бы таблицами

Ну так матрицы и изображают таблицами. А формулы нет.

#p170734,Шарпер написал(а):

Я просто случай через "А", "Ж", "П", "О" не рассматривал.

Да? Я думал, что рассмотрение именно в таком аспекте у нас тут по умолчанию работает.

#p170734,Шарпер написал(а):

Спорное для тех, кто забыл что такое машинный код

То есть для практически всех.
Ну то есть можно поговорить об усовершенствовании конструкции паровоза, когда на дворе эпоха электромобилей.
Хотя мы говорим даже не о конструкции паровоза, а о частной конструкции пароперегревателя в его котле. Ну наверное, это как-то можно использовать в Тесле, но непонятно как и зачем.

#p170734,Шарпер написал(а):

Цель не в выигрыше по производительности или экономии памяти, цель в решении задач, например, понимания смысла или адекватного перевода на основе понимания опять же смысла.

Мы даже и не начинали обсуждать вопросы смысла. Я тебе предлагал поговорить о куда более интересных вещах, типа как генерировать гипотезы фамилий от общего знания о лошадинной природе фамилии, но ты не захотел про это говорить.
Вместо этого мы обсуждаем чисто кодерскую задачку по поиску символьных последовательностей. Проблема не в том, что от нее до смысла далеко, проблема в том, что это просто вообще не в ту сторону.

#p170734,Шарпер написал(а):

Но вся фишка в том, что обычным способом приходится не эти 48 МБ шерстить, а терабайты произвольно расположенных в памяти данных в символьном формате с несчитанными дубликатами размеченными ключевыми хеш-таблицами. Я пример сортировки текста "Войны и мира" приводил.

Если ты правда хочешь решать сложные задачи поиска и анализа текстовой информации, то тебе в любом случае придется иметь дело с этими терабайтами. Потому что важно не только знать какие слова есть в тексте, но и где именно, в каком контексте и пр.
А сортировка текста "Войны и мира" - очень частная задача, незначительный сегмент задач поиска. Я так вообще не понимаю, кому нужен список уникальных слов, используемых в "Войне и мире", кроме упоротого лингвиста, который напишет статью про то, сколько уникальных слов в "Войне и мире". Зачем и кому этот список может быть нужен еще?
Я вот со школы помню, что в "Войне и мире" есть только три слова, содержащие букву "ф": флот, флаг и анафема. Я от этого знания не стал лучше разбираться в "Войне и мире", флагах, флотах и анафемах. Ну и зачем мне или кому-то еще это знание, кроме как замусоривать мозги?

#p170735,Шарпер написал(а):

На всякий случай уточню, что записываются не все эти слова, а именно одно слова "шарпер" кодами вместо букв с "нарастающим итогом" для каждой следующей буквы. А все эти промежуточные "ш", "ша", "шар", шарп" будут внутри

И тебя не смущает, что числовые коды слов "шарпер" и "шарпе" (те самые 1019371734 и 30890052, соответственно) не имеют между собой никаких общих цифровых пересечений и что ты даже не сможешь понять, что эти два кода имеют друг другу какое-то отношение, пока не раскодируешь их обратно в символы?

+2


Вы здесь » Амальгама » Reductor Sapiens » Новая теория памяти – прорыв или утопия? #2