<div dir="ltr">Hi,<div><br></div><div>Thanks for your answer! That did solve the problem. </div><div><br></div><div>Kind regards,</div><div><br></div><div>Emmanuel Di Pretoro</div></div><div class="gmail_extra"><br><div class="gmail_quote">2017-01-31 13:51 GMT+01:00 Patrick Hochstenbach <span dir="ltr"><<a href="mailto:Patrick.Hochstenbach@ugent.be" target="_blank">Patrick.Hochstenbach@ugent.be</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi<br>
<br>
The standard input for Catmandu::MARC is MARC21. To use UNIMARC input we advice to use the RAW parser. As an example:<br>
<br>
# From the command line<br>
<br>
$ catmandu convert MARC —type RAW to MARC —type XML < some_records.mrc.txt<br>
<br>
Or from a Perl script:<br>
<br>
#!/bin/env perl<br>
<br>
use Catmandu;<br>
<br>
my $importer = Catmandu->importer(‘MARC’, type => ‘RAW’ , file => ‘some_records.mrc.txt’);<br>
my $exporter = Catmandu->exporter(‘MARC’, type => ‘XML’);<br>
<br>
$exporter->add_many( $importer );<br>
<br>
$exporter->commit;<br>
<br>
Cheers<br>
Patrick<br>
<div><div class="h5"><br>
> On 30 Jan 2017, at 22:38, Emmanuel Di Pretoro <<a href="mailto:edipretoro@gmail.com">edipretoro@gmail.com</a>> wrote:<br>
><br>
> Hi,<br>
><br>
> I've working with a bunch of UNIMARC files these last days and I've been learning a lot about Catmandu! But I've come across a UTF-8 problem and I couldn't be sure if it was a bug or a personal mistake.<br>
><br>
> So, here is a way to reproduce the problem:<br>
> 1. I've got 2 UTF-8 UNIMARC records from the BNF via Z39.50 ; you can find the file on GitHub: <a href="https://gist.github.com/edipretoro/ecdbd91cbd202022a939477f224aa712" rel="noreferrer" target="_blank">https://gist.github.com/<wbr>edipretoro/<wbr>ecdbd91cbd202022a939477f224aa7<wbr>12</a><br>
> 2. when I read the file with yaz-marcdump, everything is fine: eg the title: « 200 1  $a Perl moderne $b Texte imprimé $f Sébastien Aperghis-Tramoni, Damien Krotkine, Jérôme Quelin $g avec la contribution de Philippe Bruhat » ;<br>
> 3. when I process the file with Catmandu, eg with this command: « catmandu convert MARC --fix 'marc_map("200abfg", title, -join => " ");remove_field(record);' < some_records.mrc », here is what I get: « [{"_id":"FRBNF423141140000009"<wbr>,"title":"Perl moderne Texte imprimé Sébastien Aperghis-Tramoni, Damien Krotkine, Jérôme Quelin avec la contribution de Philippe Bruhat"},{"title":"De l'art de programmer en Perl Texte imprimé Damian Conway traduction de Philippe Bruhat, Jérôme Fenal, Jean Forget","_id":"<wbr>FRBNF40135550000000X"}] » ; as the value of encoding is set by default to UTF-8, I don't think I'm missing anything here.<br>
><br>
> As a work-around to continue to go forward with my project, I converted the ISO2709 file into a XML file with yaz-marcdump with the following command: « yaz-marcdump -o marcxml some_records.mrc > some_records.xml » and retry the previous Catmandu command adapted for the XML: « catmandu convert MARC --type XML --fix 'marc_map("200abfg", title, -join => " ");remove_field(record);' < some_records.xml ». And I got a perfect UTF-8 string as a result: « [{"_id":"FRBNF423141140000009"<wbr>,"title":"Perl moderne Texte imprimé Sébastien Aperghis-Tramoni, Damien Krotkine, Jérôme Quelin avec la contribution de Philippe Bruhat"},{"title":"De l'art de programmer en Perl Texte imprimé Damian Conway traduction de Philippe Bruhat, Jérôme Fenal, Jean Forget","_id":"<wbr>FRBNF40135550000000X"}] ». OK, I did received a warning message: « Use of uninitialized value in concatenation (.) or string at /Users/manu/.plenv/versions/5.<wbr>24.1/lib/perl5/site_perl/5.24.<wbr>1/MARC/File/XML.pm line 397, <GEN0> chunk 5. » but it doesn't seem to be Catmandu-related.<br>
><br>
> Can you tell me if I've been missing something?<br>
><br>
> Thanks in advance and have a nice day!<br>
><br>
> Emmanuel Di Pretoro<br>
</div></div>> ______________________________<wbr>_________________<br>
> librecat-dev mailing list<br>
> - send list mails to <a href="mailto:librecat-dev@lists.uni-bielefeld.de">librecat-dev@lists.uni-<wbr>bielefeld.de</a><br>
> - to unsubscribe or change options, visit <a href="https://lists.uni-bielefeld.de/mailman2/cgi/unibi/listinfo/librecat-dev" rel="noreferrer" target="_blank">https://lists.uni-bielefeld.<wbr>de/mailman2/cgi/unibi/<wbr>listinfo/librecat-dev</a><br>
> - project website: <a href="http://librecat.org/" rel="noreferrer" target="_blank">http://librecat.org/</a><br>
<br>
</blockquote></div><br></div>