Нейронные сети и машинное обучение

Регистрация
06.04.2019
Сообщения
3 446
Репутация
117
Баллы
0
Адрес
Москва
Лайки
371
Пол
мужской
Решил я тут на досуге, заняться передовой темой!
Пока, задача стоит так... Есть помойка из документов. Формат определен: MS Word, MS Excel. Все в формате XML.
Количество документов = 10 000- 15 000.
Надо написать и обучить нейронную сеть, распознавать тип документа, и выставить в озере данных ТЭГи. Типы строго определены: договор, сводка, ежедневная отчетность, привязка к сущностям реального мира.!
Язык программирования C#. Хранилище документов в BLOB на SAP Adaptive Server Interprise!
...................
Что вы мучаетесь
Вживите себе чип и станете всемогущим без усилий
И не умрёте никогда
)))
 
Регистрация
12.02.2017
Сообщения
6 640
Репутация
66
Баллы
0
Адрес
СССР
Лайки
2169
Пол
мужской
Автор подборки рассказывает о достижениях программистов людей. При чём тут нейросети? Если люди даже и используют их механизм, то это достижение наблюдательности, систематизации фактуры и переноса её в алгоритмы для программ, самими людьми, пользующимися техническими механизмами. Это сродни самому тривиальному использованию логарифмической линейки, ну как механизма для расчётов. Но не станем же мы утверждать, что это именно линейка решает задачи.:90:
 
Регистрация
12.02.2017
Сообщения
6 640
Репутация
66
Баллы
0
Адрес
СССР
Лайки
2169
Пол
мужской
Самое распространенное оружие - это кухонный нож. Но никого особо не заботит что он может попасть не в те руки.
Как это верно! Надо работать над духовностью людей нынче много интенсивнее, в ногу с тех прогрессом. Иначе всё будет превращаться в орудия расправы над другими.:19:
 
Регистрация
12.02.2017
Сообщения
6 640
Репутация
66
Баллы
0
Адрес
СССР
Лайки
2169
Пол
мужской
Говорит как эзотерик, а апеллирует фактурой ортодоксальной науки(белки, хромосомы, ...). Тогда нужны и исследования в рамках науки, либо чисто философский подход. Что-то тут у него не состыковывается.:55::90:
 
Регистрация
06.11.2019
Сообщения
632
Репутация
0
Баллы
0
Лайки
481
Пол
женский
Говорит как эзотерик, а апеллирует фактурой ортодоксальной науки(белки, хромосомы, ...). Тогда нужны и исследования в рамках науки, либо чисто философский подход. Что-то тут у него не состыковывается.:55::90:
Думаю, это тот момент, когда наука начинает доказывать философские истины, известные еще из древних знаний.
 
Регистрация
12.02.2017
Сообщения
6 640
Репутация
66
Баллы
0
Адрес
СССР
Лайки
2169
Пол
мужской
Ну и что ты тут выставил ржачку и обеспокоенность? Ты думаешь что нейронные сети что-то существенное могут? Приведи пример этого. Только обоснованно, не так, как приведенный выше кореспондёр, просто говорит водичкой про то о чём не соображает.
 
Регистрация
12.02.2017
Сообщения
6 640
Репутация
66
Баллы
0
Адрес
СССР
Лайки
2169
Пол
мужской
Думаю, это тот момент, когда наука начинает доказывать философские истины, известные еще из древних знаний.
Не могу утверждать, но в цитируемых древних писаниях есть намёк на истину, хоть и не в форме научного формализма. Древние зашли гораздо дальше, чем нынешние знатоки. Это просто сквозит из их писаний. Даже плохо переведенных и плохо понятых.
 

Dev

Форум
Регистрация
09.02.2017
Сообщения
6 226
Репутация
94
Баллы
0
Лайки
4720
Пол
мужской
Не могу утверждать, но в цитируемых древних писаниях есть намёк на истину, хоть и не в форме научного формализма. Древние зашли гораздо дальше, чем нынешние знатоки. Это просто сквозит из их писаний. Даже плохо переведенных и плохо понятых.
Я привык обсуждать вкус устриц с тем кто их побывал.

От себя приведу один пример. ИНС разработанная Duke University, определяет рак по маммограмме с чувствительностью 59%. Показатель человека-радиолога 10-20%
 
Регистрация
12.02.2017
Сообщения
6 640
Репутация
66
Баллы
0
Адрес
СССР
Лайки
2169
Пол
мужской
Я привык обсуждать вкус устриц с тем кто их побывал.

От себя приведу один пример. ИНС разработанная Duke University, определяет рак по маммограмме с чувствительностью 59%. Показатель человека-радиолога 10-20%
Ты проникнулся основательно в разработки нейросетей? Ты знаешь ОСНОВАТЕЛЬНО принципы их построения?:90: Знаток устриц ты наш.:27:
А статистика это для масс. Это не знание.:55:Настоящие аргументы, для глубокого обсуждения, начинаются с концепций и принципов относительно конкретного этого вопроса. Далее теории его процессов и модели его построения.
 

Dev

Форум
Регистрация
09.02.2017
Сообщения
6 226
Репутация
94
Баллы
0
Лайки
4720
Пол
мужской
Ты проникнулся основательно в разработки нейросетей? Ты знаешь ОСНОВАТЕЛЬНО принципы их построения?:90: Знаток устриц ты наш.:27:
да. Выше даже писал свою. Вы тему прочитайте с начала!

А статистика это для масс. Это не знание.:55:Настоящие аргументы, для глубокого обсуждения, начинаются с концепций и принципов относительно конкретного этого вопроса. Далее теории его процессов и модели его построения.
С философией и прочей "теорией сакральных знаний древних" вам в другую тему. Тут чисто технические аспекты!
 
Регистрация
12.02.2017
Сообщения
6 640
Репутация
66
Баллы
0
Адрес
СССР
Лайки
2169
Пол
мужской
да. Выше даже писал свою. Вы тему прочитайте с начала!


С философией и прочей "теорией сакральных знаний древних" вам в другую тему. Тут чисто технические аспекты!
Выше только водичка про достижения, яко бы нейросетей. Никаких принципов реализации и логики. :55:Кто-то нечто говорит, что нейросети что-то осуществляют и всё. А как осуществляют? Какие механизмы? Построения какие? Принципы? Ничего этого не приведено. А приписать нечто достигнутое можно, при желании, к кому и к чему угодно.:26:
 

Dev

Форум
Регистрация
09.02.2017
Сообщения
6 226
Репутация
94
Баллы
0
Лайки
4720
Пол
мужской
Выше только водичка про достижения, яко бы нейросетей. Никаких принципов реализации и логики. :55:Кто-то нечто говорит, что нейросети что-то осуществляют и всё. А как осуществляют? Какие механизмы? Построения какие? Принципы? Ничего этого не приведено. А приписать нечто достигнутое можно, при желании, к кому и к чему угодно.:26:
Простейшие принципы работы ИНС представлены в двух роликах стартового поста!
Сверточные нейронные сети, скорее всего на их принципе построена система описана выше, немного сложнее.
Если вам интересно, могу рассказать основы Сверточных ИНС!
 
Регистрация
12.02.2017
Сообщения
6 640
Репутация
66
Баллы
0
Адрес
СССР
Лайки
2169
Пол
мужской
Простейшие принципы работы ИНС представлены в двух роликах стартового поста!
Сверточные нейронные сети, скорее всего на их принципе построена система описана выше, немного сложнее.
Если вам интересно, могу рассказать основы Сверточных ИНС!
Мне интересно всё, что имеет реальное воплощение, только не всегда принципы построения увязываются с реально полученными результатами.:90:Выше упомянутое, скорее всего, просто желаемое, чем следуемое из возможностей нынешних, общедоступных построений нейросетей.
 

Dev

Форум
Регистрация
09.02.2017
Сообщения
6 226
Репутация
94
Баллы
0
Лайки
4720
Пол
мужской
Мне интересно всё, что имеет реальное воплощение, только не всегда принципы построения увязываются с реально полученными результатами.:90:
Увязываются или нет - это вопросы веры. а с верой обычно в церковь ходят!
Ну а мы оперируем фактами, которые не являются секретными и практически все в открытом доступе!
 
Регистрация
14.03.2018
Сообщения
7 981
Репутация
0
Баллы
15
Лайки
1777
Пол
мужской
Награды
pero
Прокатит! Но две проблемы.
1. LIKE с первым "%" "убивает" индекс, и ты улетаешь в Table Scan. :02: Что уже не гуд.
2. а где храниться "договор"? В теле документа данного "слова" может и не быть... Отдельно? Тогда встает вопрос кто и как делает эту TAG-ировку. Но об этом чуть позже!


И это тоже!

Что имеем сейчас. Есть хранилище данных. Файлы хранятся в BLOB. Так же к каждому файлу есть набор ТAGs.
Кладет "баба Маша" договор (.docx) в хранилище и приписывает еще ярлыки (TAG). Например.
Договор номер 123 от 09.09.09 г о оказании услуг по покраске забора с компанией " ООО рога и копыта".
В тагах, она должна сделать примерно следующее...
1. Договор
2. 123
3. 09.09.09
4. покраска
5. забор
6 "рога и копыта".

Далее уже поиск осуществляется по даным тегам. В том числе и через LIKE.
Но "баба Маша", как правило, умнее калькулятора в руках ничего не держала! И Тэги указывает на основании треска в пятке ее левой ноги.
Но самое интересное, что "Баба Маша" работая все время с договорами, слово "договор" в тегах вообще не пишет! :02: Для нее это обыденность и она на это просто не обращает внимание!
И заставить "Бабу Машу" правильно заполнять тэги - это из цикла фэнтази. А у меня таких "баб Маш" штук 100, и все работают со своими данными. А общее количество уже перевалило за 20 млн документов и 2 ТБ неструктурированных (верней плохо структурированных) данных!
Основная цель НС определить эти тэги, без участия "Баб Маш". Хотя бы на уровне классификации документа!
Тоесть что это... Договор, финансовый отчет, сводка о обработке транспорта за сутки, отчет о проделано работе, акт выполненных работ, товаросопроводительный документ, номинация, расчетный листок, приказ, объяснительная записка, итд!
То есть даже наведения порядка по тегу класификация документа, уже
У меня похожая система.
Там, когда Баба Маша аплоадает документ, она должна выбрать тип (title) из дропдауна.
Под каждый тип, будут требования metadata, которые она должна ввести, так же существуют hard-coded scanning параметры, например, пасспорт каждной страны, номер пасспорта будет сканироваться/читаться в определённом месте (набивать номер паспорта в ручную Бабе Маше не доверяют).
Кроме этого есть spreadsheet templates, которые тоже сканируются по заданным параметрам.
 
Регистрация
12.02.2017
Сообщения
6 640
Репутация
66
Баллы
0
Адрес
СССР
Лайки
2169
Пол
мужской
Увязываются или нет - это вопросы веры. а с верой обычно в церковь ходят!
Ну а мы оперируем фактами, которые не являются секретными и практически все в открытом доступе!
Факты чего? Не факт что некие приведенные выше технические достижения достижения именно нейросетей, как таковых, как обособленных и самостоятельных образований. Убери человека и эти сети зациклятся в своей немощности.:154::19:
 
Регистрация
14.03.2018
Сообщения
7 981
Репутация
0
Баллы
15
Лайки
1777
Пол
мужской
Награды
pero
то есть как минимум по двум слоям получаем 100 млн связей. Как бы обучать такую сеть я буду до "ишачей пасхи"...
Другой вариант это брать нутро, текст и составлять словарь по словам. и кормить НС именно векторами из этого словаря... Но это тоже, тот еще геморой с составлением словаря
Короче надо пробывать, играться с количеством слоев смотреть как себя НС будет вести...
Делай как Гугл делает.
Сначала всё тупо индексируй.

Дальше создавай таблицы по интересам, где клювевые слова и фразы будут систематизироваться по колличеству и комбинациям относительно отдельных документов.

Дальше у тебя будет таблица с тегами, где ты можешь присваивать отдельным документам - теги определяющие какие-то характерестики этого документа, включая тип, title, ключевые слова.
 
Регистрация
12.02.2017
Сообщения
6 640
Репутация
66
Баллы
0
Адрес
СССР
Лайки
2169
Пол
мужской
Делай как Гугл делает.
Сначала всё тупо индексируй.

Дальше создавай таблицы по интересам, где клювевые слова и фразы будут систематизироваться по колличеству и комбинациям относительно отдельных документов.

Дальше у тебя будет таблица с тегами, где ты можешь присваивать отдельным документам - теги определяющие какие-то характерестики этого документа, включая тип, title, ключевые слова.
Вот,вот. Именно созданные человеком, а не сетью, алгоритмы и правила. :19:
 
Сверху Снизу