Конвертация: правильная миграция данных в 1С

Миграция данных между различными конфигурациями – задача не из тривиальных. Путей решения как всегда несколько, но не все они оптимальны. Попробуем разобраться в нюансах переноса данных и выбрать универсальную стратегию решения подобных вопросов.

Проблема миграции данных (речь сугубо о продуктах компании 1С) из одного решение в другое возникла не вчера. Компания «1С» прекрасно понимает, с какими трудностями сталкиваются разработчики во время создания миграций, поэтому всячески старается помогать инструментами.

За время развития платформы, компания представила ряд универсальных инструментов, а также технологий, упрощающих перенос данных. Они встроены во все типовые решения и проблема миграций между идентичными конфигурациями в целом решилась. Победу лишний раз подтверждает тесная интеграция типовых решений.

С миграциями между не типовыми решениями ситуация несколько сложней. Широкий выбор технологий позволяет разработчикам самостоятельно выбирать оптимальный с их точки зрения способ решения задачи.

Рассмотрим некоторые из них:

• обмен через текстовые файлы;
• использование планов обмена;
• XML;
• JSON
• и т.д.

У каждого из них свои плюсы и минусы. Если резюмировать, то главным минусом будет – многословность. Самостоятельная реализация алгоритмов миграции чревата существенными временными затратами, а также долгим процессом отладки. Про дальнейшее сопровождение подобных решений даже говорить не хочется.

Сложность, дороговизна сопровождения, подтолкнули компанию «1С» на создание универсального решения. Технологии, позволяющей максимально упростить разработку и поддержку миграций. В итоге идея реализовалась в виде отдельной конфигурации – «Конвертация данных».

Конвертация данных

Конвертация данных - типовое решение, самостоятельная конфигурация. Любой пользователь, обладающий подпиской “ИТС:Проф” может совершенно бесплатно загрузить этот пакет с сайта поддержки пользователей или диска ИТС. Установка выполняется стандартным способом - как и все остальные типовые решения от 1С.

Теперь немного о плюсах решения. Начнем с самого главного - универсальность. Решение не заточено на определенные конфигурации/версии платформы. Одинаково хорошо работает как с типовыми конфигурациями, так и самописными. Разработчики получают в распоряжение универсальную технологию и стандартизированный подход к созданию новых миграций. Универсальность решения позволяет подготавливать миграции даже для отличных от «1С:Предприятие» платформ.

Второй жирный плюс - визуальные средства. Простые миграции создаются без программирования. Да-да, без единой строчки кода! Только ради этого стоит один раз потратить время на изучение технологии, а потом использовать бесценные навыки многократно.

Третьим плюсов я бы отметил отсутствие ограничений на дистрибуцию данных. Разработчик сам выбирает способ доставки данных в конфигурацию приемник. Из коробки доступно два варианта: выгрузка в xml файл и прямое соединение с информационной базой (COM/OLE).

Изучаем архитектуру

Мы уже знаем, конвертация данных способна творить чудеса, но пока не совсем понятно, в чем же выражаются технические плюсы. Первое, что необходимо усвоить - в основе любой миграции данных (конвертации) лежат правила обмена. Правила обмена - обычный xml файл с описанием структуры, в которую будут выгружаться данные из ИБ. Сервисная обработка, осуществляющая выгрузку/загрузку данных, анализирует правила обмена и на их основании выполняет выгрузку. Во время загрузки происходит обратный процесс.

Конфигурация “КД” – своего рода визуальный конструктор, с помощью которого разработчик создает правила обмена. Выполнять выгрузку данных она не умеет. За это отвечают дополнительные внешние сервисные обработки, входящие в дистрибутив КД. Их несколько (XX в имени файла - номер версии платформы):

• MDXXExp.epf - обработка позволяет выгружать описание структуры информационной базы в xml файл. Описание структуры загружается в КД для дальнейшего анализа и создания правил обмена.
• V8ExchanXX.epf - осуществляет выгрузку/загрузку данных из информационной базы в соответствии с правилами обмена. В большинстве типовых конфигураций обработка присутствует из коробки (см. пункт меню “Сервис”). Обработка универсальна и не привязывается к каким-то определенным конфигурациям/правилам.

Хорошо, теперь на основании всего вышесказанного, определим этапы разработки новой конвертации:

1. Определение задачи. Необходимо четко понимать какие данные требуется переносить (из каких объектов конфигурации) и самое главное куда переносить.
2. Подготовка описания структур конфигураций (Источника/Приемника) для последующей загрузки в КД. Задача решается сервисной обработкой MDXXExp.epf.
3. Загрузка подготовленных описаний структур в ИБ.
4. Создание правил обмена при помощи визуальных средства КД.
5. Выполнение выгрузки/загрузки по созданным правилам конвертации данных путем использования обработки V8ExchanXX.epf.
6. Отладка правил обмена (при необходимости).

Простейшая конвертация

Для демонстрации нам потребуется две развернутые конфигурации. Я решил остановиться на варианте: “Управление торговлей” 10-й редакции и небольшим самописным решением. Задача будет заключаться в переносе данных из типовой конфигурации «УТ». Для краткости назовем самописное решение “Приемник”, а управление торговлей “Источником”. Решать задачу начнем с переноса элементов справочника «Номенклатура».

Первым делом взглянем на схему конвертации данных и перечитаем список действий, которые необходимо проделать. Затем запускаем конфигурацию “Источник” и открываем в ней сервисную обработку MD82Exp.epf.

Интерфейс обработки не блещет изобилием настроек. Пользователю лишь требуется указать типы объектов метаданных, которые не попадут в описание структуры. В большинстве случае эти настройки изменять не приходится, т.к. особого смысла в выгрузки движений по регистрам накопления (как пример) нет.

Движение правильней формировать во время проведения документов в приемнике. Все движения будут сделаны документом самостоятельно после переноса. Второй аргумент в защиту настроек по умолчанию - сокращение размера файла с выгрузкой.

Некоторые документы (особенно в типовых конфигурациях) формируют движения по множеству регистров. Выгрузка всего этого хозяйства сделает результирующий XML файл чересчур большим. Это может затруднить последующую транспортировку и загрузку в базу приемник. Чем больше файл с данными, тем больше потребуется оперативной памяти для его обработки. За свое практику мне довелось столкнуться с неприлично большими файлами выгрузки. Такие файлы напрочь отказывались разбираться стандартными средствами.

Итак, оставляем все настройки по умолчанию и делаем выгрузку описания конфигурации в файл. Аналогичную процедуру повторяем для второй базы.

Открываем КД и в главном меню выбираем “Справочники” -> “Конфигурации”. Справочник хранит описания структур всех конфигураций, которые помогут быть использованы для создания конвертаций. Мы один раз загружаем описание конфигурации, а потом можем использовать ее многократно для создания различных конвертаций.

В окне справочника нажмем кнопку “Добавить” и в появившемся окне выберем файл с описанием конфигурации. Отмечаем флажок “Загрузить в новую конфигурацию” и кликаем по кнопке “Выполнить загрузку”. Аналогичные действия проделываем с описанием структуры второй конфигурации.

Теперь все готово для создания правил обмена. В главном меню КД выбираем “Справочники” -> “Конвертации”. Добавляем новый элемент. В окне создания новой конвертации требуется указать: конфигурацию источник (выбираем УТ) и конфигурацию приемник (выбираем «Приемник»). Далее открываем вкладку “Дополнительно” и заполняем следующие поля:

• имя файла правил обмена - под таким именем будут сохраняться созданные правила обмена. Имя файла можно менять в любое время, но выгодней задать его сейчас. В будущем это сэкономит время. Правила для демонстрационного примера я назвал: «rules-ut-to-priemnik.xml».
• наименование - название конвертации. Название может быть абсолютно любым, я ограничился “Демо. УТ в Приемник”.

Все, нажимаем “Ok”. Сразу же перед нами появляется окно с вопросом создать все правила автоматически. Согласие на столь заманчивое предложение даст мастеру команду автоматически проанализировать описание выбранных конфигураций и самостоятельно сгенерировать правила обмена.

Сразу расставим точки над “и”. Ничего серьезного мастер сгенерировать не сможет. Однако, со счетов эту возможность сбрасывать не стоит. Если необходимо наладить обмен между идентичными конфигурациями, то услуги мастера будут весьма кстати. Для нашего примере предпочтительней ручной режим.

Рассмотрим подробней окно “Настройки правил обмена”. Интерфейс может показаться слегка запутанным - большое количество вкладок, напичканных элементами управления. На самом деле все не так сложно, к этому безумству начинаешь привыкать через несколько часов работы с приложением.

На данном этапе нас интересуют две вкладки: “Правила конвертации объектов” и “Правила выгрузки данных”. На первой мы должны настраивать правила соответствия, т.е. сопоставлять объекты двух конфигураций. На второй же, определять возможные объекты, которые будут доступны пользователю для выгрузки.

Во второй половине вкладки “Правила конвертации объектов” расположена дополнительная панель с двумя вкладками: “Конвертация свойств” и “Конвертация значений”. Первая будет отбирать свойства (реквизиты) выбранного объекта, а вторая необходима для работы с предопределенными значениями (например, предопределенные элементы справочников или элементы перечисления).

Отлично, теперь создадим правила конвертации для справочников. Выполнить это действие можно двумя вариантами: воспользоваться мастером синхронизации объектов (кнопка “Синхронизация объектов”) или добавить соответствия для каждого объекта вручную.

Для экономии места воспользуемся первым вариантом. В окне мастера снимаем флажки с группы “Документы” (нас интересуют только справочники) и раскрываем группу “Справочники”. Внимательно пролистываем список и смотрим названия справочников, которые можно сопоставить.

В моем случае таких справочников три: Номенклатура, Организации и Склады. Есть еще справочник Клиенты, выполняющий ту же самую смысловую нагрузку, что и “Контрагенты” из конфигурации “УТ”. Правда, мастер не смог их сопоставить в силу отличных имен.

Исправить эту недоработку мы можем самостоятельно. Находим в окне «Соответствия объектов» справочник «Клиенты», а в колонке «Источник» выбираем справочник «Контрагенты». Затем устанавливаем флажок в колонке «Тип» и нажимаем кнопку “Ok”.

Мастер синхронизации объектов предложит автоматически создать правила конвертации свойств всех выбранных объектов. Сопоставление свойств будет происходить по именам и для нашей демонстрации этого будет вполне достаточно, соглашаемся. Следующим вопросом будет предложение создания правил выгрузки. Согласимся и на него.

Основа для правил обмена готова. Объекты для синхронизации выбрали мы, а правила для конвертации свойств и правила выгрузки были созданы автоматом. Сохраним правила обмена в файл, затем откроем ИБ “Источник” (в моем случае это УТ) и в ней запустим сервисную обработку V8Exchan82.epf.

Первым делом в окне обработки выбираем созданные нами правила обмена. На вопрос загрузки правил отвечаем положительно. Обработка проанализирует правила обмена и построит одноименное дерево объектов, доступных для выгрузки. Для этого дерева мы можем устанавливать всевозможные отборы или узлы обмена, по изменения которых требуется выбирать данные. Мы хотим выгрузить абсолютно все данные, поэтому в установке фильтров необходимость отсутствует.

После завершения процесса выгрузки данных в файл переходим в ИБ “Приемник”. В ней также открываем обработку V8Exchan82.epf, только на этот раз переходим на закладку “Загрузка данных”. Выбираем файл с данными и нажимаем кнопку “Загрузить”. Все, данные успешно перенесены.

Задачи из реального мира

Первый демонстрационный пример мог ввести в заблуждение. Все выглядит достаточно простым и логичным. На самом деле это не совсем так. В реальной работе возникают задачи, решить которые одними визуальными средствами (без программирования) трудно или совсем невозможно.

Чтобы не разочароваться в технологии, я приготовил несколько реальных задач. С ними обязательно сталкиваешься при работе. Они не выглядят столь тривиальными и заставляют посмотреть на конвертацию данных под новым углом. Внимательно рассмотрите представленные примеры, и смело используйте как сниппеты при решении реальных задач.

Задача №1. Заполняем отсутствующие реквизиты

Предположим, нам требуется перенести из УТ справочник “Контрагенты”. В приемнике для этого есть похожий справочник “Клиенты”. Он полностью подходит для хранения данных, но в нем есть реквизит “Организация”, позволяющий разделять контрагентов по принадлежности к организации. По умолчанию все контрагенты должны относиться к текущей организации (ее можно получить из одноименной константы).

Решений у задачи несколько. Мы рассмотрим вариант заполнения реквизита “Организация” прямо в базе “Приемник”, т.е. в момент загрузки данных. Текущая организация хранится в константе, следовательно, нет никаких преград в получении этого значения. Откроем правило конвертации объекта (далее ПКО) “Клиенты” (двойной клик по объекту) и в мастере настройки правил перейдем до раздела “Обработчики событий”. В списке обработчиков найдем “После загрузки”.

Опишем код получения текущей организации с последующим присвоением реквизиту. На момент срабатывания обработчика “После загрузки”, объект будет полностью сформирован, но еще не записан в БД. Никто не запрещает нам его изменять по своему усмотрению:

Если НЕ Объект.ЭтоГруппа Тогда
	Объект.Организация = Константы.ТекущаяОрганизация.Получить();
КонецЕсли;

Перед заполнением реквизита «Организация» обязательно необходимо проверить значение реквизита «ЭтоГруппа». Для справочника «Клиенты» установлен признак иерархичности, поэтому проверка на группу необходима. Подобным образом выполняется заполнение любых реквизитов. Обязательно прочтите справку по другим параметрам обработчика «ПослеЗагрузки». Например, среди них есть параметр «Отказ». Если ему присвоить значение «Истина», то объект в базу записан не будет. Таким образом, появляется возможность ограничивать объекты для записи в момент загрузки.

Задача №2. Реквизиты в регистр сведений

В справочнике “Контрагенты” конфигурации УТ, есть реквизиты “Покупатель” и “Поставщик”. Оба реквизита имеют тип “Булево” и служат для определения типа контрагента. В ИБ “Приемник”, у справочника “Клиенты” аналогичных реквизитов нет, но есть регистр сведений “ВидыКлиентов”. Он выполняет аналогичную функцию и может хранить для одного клиента несколько признаков. Наша задача заключается в переносе значений реквизитов в отдельные записи регистра сведений.

Одними визуальными средствами здесь, к сожалению, тоже не справиться. Начнем с малого, создадим новое ПКО для регистра сведений “ВидыКлиентов”. В качестве источника ничего не указывайте. От автоматического создания правил выгрузки откажитесь.

Следующим шагом сформируем правила выгрузки. Переходим на соответствующую вкладку и нажимаем кнопку “Добавить”. В окне добавления правил выгрузки заполняем:

• Способ выборки. Меняем на “Произвольный алгоритм”;
• Правило конвертации. Выбираем регистр сведений “ВидыКлиентов”;
• Код (имя) правила. Записываем как “ВыгрузкаВидовКлиентов”;

Теперь необходимо написать код для отбора данных для выгрузки. Здесь нам поможет параметр “ВыборкаДанных”. В него мы можем поместить коллекцию с подготовленным набором данных. Параметр “ВыборкаДанных” может принимать различные значения - результат запроса, выборка, коллекции значений и т.д. Мы его инициализируем в виде таблицы значений с двумя колонками: клиент и тип клиента.

Ниже приведен код обработчика событий “Перед обработкой”. В нем выполняется инициализация параметра “ВыборкаДанных” с последующим заполнением данными из справочника “Контрагенты”. Здесь стоит обратить внимание на заполнение колонки “ТипКлиента”. В “УТ” у нас признаки имеют тип “Булево”, а в получателе перечисление.

На данном этапе мы их не можем привести к нужному типу (его же нет в УТ), поэтому пока оставим в виде строк. Этого можно и не делать, но мне сразу хочется показать, как приводить к отсутствующему типу в источнике.

ВыборкаДанных = Новый ТаблицаЗначений();
ВыборкаДанных.Колонки.Добавить("Клиент");
ВыборкаДанных.Колонки.Добавить("ТипКлиента");
ВыборкаДанныхИзСправочника = Справочники.Контрагенты.Выбрать();
Пока ВыборкаДанныхИзСправочника.Следующий() Цикл
	
	Если ВыборкаДанныхИзСправочника.ЭтоГруппа Тогда
		Продолжить;
	КонецЕсли;
	
	Если ВыборкаДанныхИзСправочника.Покупатель Тогда
		НоваяСтрока = ВыборкаДанных.Добавить();
		НоваяСтрока.Клиент = ВыборкаДанныхИзСправочника.Ссылка;
		НоваяСтрока.ТипКлиента = "Покупатель";
	КонецЕсли;
	
	Если ВыборкаДанныхИзСправочника.Поставщик Тогда
		НоваяСтрока = ВыборкаДанных.Добавить();
		НоваяСтрока.Клиент = ВыборкаДанныхИзСправочника.Ссылка;
		НоваяСтрока.ТипКлиента = "Поставщик";
	КонецЕсли;
	
	
КонецЦикла;

Сохраним правило выгрузки данных и вернемся на вкладку “Правила конвертации объектов”. Добавим для регистра сведений “ВидыКлиентов” правила конвертации свойств: клиент и тип клиента. Источник оставим пустым, а в обработчике событий “Перед выгрузкой” пишем:

//Для свойства “Клиент”
Значение = Источник.Клиент; 
//Для свойства “ТипКлиента”
Если Источник.Клиент = "Покупатель" Тогда
	Выражение = "Перечисления.ТипыКлиентов.Покупатель"
ИначеЕсли Источник.Клиент = "Поставщик" Тогда
	Выражение = "Перечисления.ТипыКлиентов.Поставщик";
КонецЕсли;

В листинге выполняется заполнение реквизитов на основе произведенной выборки данных. Клиента мы передаем просто в виде ссылки, а тип клиента записываем в параметр «Выражение». Данные этого параметра будут интерпретированы в приемнике, и при выполнении реквизит будет заполненным корректным значением из перечисления.

Все, правила обмена готовы Рассмотренный пример получился достаточно универсальным. Подобный подход частенько применяется при переносе данных из конфигураций, созданных на платформе 7.7. Яркий тому пример – перенос периодических реквизитов.

Задача №3. Трюки с табличными частями

Нередко попадаются задачи, требующие разноски строк одной табличной части в несколько. Например, в исходной конфигурации услуги и товары оформляются в одной табличной части, а приемнике хранение этих сущностей разделено. Визуальными средствами задачу опять же не решить. Здесь за основу удобно брать решение второй задачи.

Делаем правило выгрузки данных, указываем произвольный алгоритм и в обработчике “Перед выгрузкой” пишем запрос для получения данных из табличной части.

Для экономии места я не стану приводить код (вы всегда можете обратиться к исходникам) запроса - ничего необычного в нем нет. Полученную выборку перебираем, и отсортированные результаты размещаем в уже знакомый параметр “ВыборкаДанных”. В качестве коллекции опять же удобно использовать таблицу значений:

ВыборкаДанных = Новый ТаблицаЗначений();
//Здесь будет еще одна табличная часть
ВыборкаДанных.Колонки.Добавить(“Товары”);
//Здесь тоже будет табличная часть
ВыборкаДанных.Колонки.Добавить(“Услуги”);
ВыборкаДанныз.Колонки.Добавить(“Ссылка”);

Задача №4. Перенос данных в операцию

Если в организации используется несколько учетных систем, то рано или поздно возникнет необходимость в миграции данных с последующим формированием проводок.

В конфигурации “БП” есть универсальный документ “Операция” и он идеально подходит для формирования большего количества проводок. Вот только одна не задача - документ сделан хитро, и так просто данные в него не перенести.

Пример подобной конвертации вы найдете в исходниках к статье. Объем кода получился достаточно большим, поэтому нет никого смысла его публиковать к статье. Скажу лишь, что выгрузка опять же использует произвольный алгоритм в правилах выгрузки данных.

Задача №5. Синхронизация данных по нескольким реквизитам

Мы уже рассмотрели несколько примеров, но до сих пор не поговорили о синхронизации объектов во время переноса. Вот представим, что нам требуется перенести контрагентов и часть из них наверняка имеется в базе приемнике. Как перенести данные и не допустить появления дублей? На этот счет КД предлагает несколько способов синхронизации переносимых объектов.

Первый из них - по уникальному идентификатору. Многие объекты обладают уникальным идентификатором, который гарантирует уникальность в пределах таблицы. Например, в справочнике “Контрагенты” не может быть двух элементов с одинаковыми идентификаторами. КД делает на это расчет и для всех создаваемые ПКО сразу по умолчанию включается поиск по идентификатору. Во время создания ПКО вы должны были обратить внимание на изображение лупы возле имени объекта.

Синхронизировать по уникальному идентификатору - способ надежный, но уместен он далеко не всегда. При объединении справочников “Контрагенты” (из нескольких разных систем) он мало, чем поможет.

В таких случаях правильней синхронизировать объекты по нескольким критериям. Контрагентов правильней искать по ИНН, КПП, Наименованию или разбивать поиск на несколько этапов.

Конвертация данных не ограничивает разработчика в определении критерием поиска. Рассмотрим абстрактный пример. Пусть нам требуется синхронизировать справочники “Контрагенты” из разных информационных баз. Подготовим ПКО и в настройках правил конвертации объекта установим флажок “Продолжить поиск полям поиска, если по идентификатору объект приемник не найден”. Этим действием мы сразу определи два критерия поиска - по уникальному идентификатору и произвольным полям.

Поля мы вправе выбирать сами. Отметив ИНН, КПП, Наименование мы сразу укажем несколько критериев поиска. Удобно? Вполне, но опять же этого бывает мало. А что ели мы захотим изменять критерии поиска? Например, сначала ищем по связке ИНН+КПП, а если ничего не находим, то начинаем пытать счастье с наименованием.

Подобный алгоритм реализовать вполне по силам. В обработчике события “Поля поиска” мы можем указать до 10 критериев поиска и для каждого из них определить свой состав полей поиска:

Если НомерВариантаПоиска = 1 тогда
	СтрокаИменСвойствПоиска = “ИНН, КПП”;
ИначеЕсли НомерВариантаПоиска = 2 Тогда
	СтрокаИменСвойствПоиска = “Наименование”;
КонецЕсли;

Решений всегда несколько

Любая задача имеет несколько решений и перенос данных между различными конфигурациями не исключение. Каждый разработчик вправе выбирать свой путь решения, но если вам постоянно приходится разрабатывать сложные миграции данных, то настоятельно рекомендую обратить внимание на конфигурацию “Конвертация данных”. Пусть вначале придется инвестировать ресурсы (время) в обучение, но они с лихвой окупятся на первом более-менее серьезном проекте.

Что почитать по теме

На мой взгляд, компания 1С незаслуженно обходит тему применения конвертации данных. За все время существования технологии, по ней вышла всего одна книга: “1С:Предприятие 8. Конвертация данных: обмен между прикладными решениями”. Книга достаточно старая (2008 г.), но ознакомиться с ней все же желательно.

Помимо книги настоятельно рекомендую обратить внимание на сообщество Infostart. Время от времени там пробегают статьи по конвертации, а также примеры правил обмена.

Знание платформ все же необходимо

«Конвертация данных» - универсальный инструмент, но если вы планируете применять его для создания миграций данных с конфигураций, разработанных для платформы 1С:Предприятие 7.7, то вам придется потратить время на знакомство со встроенным языком. Синтаксис и идеология языка сильно отличается, поэтому придется потратить время на изучение. В остальном принцип остается тем же.

Статья опубликована в журнале "Системный администратор" (http://samag.ru/). Апрель 2015 г.

Ссылка на журнал: http://samag.ru/archive/more/151