--- title: 'Google Translate vs. ChatGPT: What About Portuguese?' teaser: 'I compared Google Translate and ChatGPT to translate one of my blog posts to Portuguese. The results were not surprising. ' tags: machine learning,artificial intelligence,communication author: Matheus Richard published_on: 2023-06-19 --- It seems that no one is safe from writing ChatGPT-related content. Thus, forgive me, dear reader, for I, too, commited this sin. I wanted to translate [one of my blog posts] into Portuguese, so that was an excellent opportunity to compare how the OpenAI product compares to Google's. Bonus points: (hopefully) faster translation process and content for another article (this one). ## Mise En Place I had to prepare the text for Google Translate. The original text was limited to 80 character per line, and Google would fail to connect some sentences. I had to join each paragraph into a single line. This is the prompt I used for ChatGPT (I didn't have to change anything in the original article): ``` Translate this markdown article to idiomatic Brazilian Portuguese. Don't translate the front matter keys.
``` The full text for both translations is available in [this gist]. ## Results Let's analyze the results. I'll go through each paragraph and compare the output of each model. If you're not a Portuguese speaker, you can skip the translations and focus on the analysis. ### Title ```md # Google Translate Trabalhar na minha língua nativa requer empatia # ChatGPT Trabalhar no meu idioma nativo requer empatia ``` Not a big difference. Google chose "língua nativa" and ChatGPT chose "idioma nativo". Both are correct. ### Teaser ```md # Google Translate É cansativo se comunicar o dia todo em seu idioma não nativo, mas podemos praticar gentileza e compreensão para aliviar um pouco dessa carga mental. # ChatGPT: É exaustivo passar o dia todo se comunicando em um idioma que não é o nativo, mas podemos praticar a gentileza e a compreensão para aliviar parte dessa carga mental. ``` Both translations are correct, but Google's version is less verbose and more natural. ### Paragraph 1 ```md # Google Translate Algumas semanas atrás, eu estava conversando com um colega de trabalho e mencionei que estou trabalhando no Brasil e como às vezes é frustrante comunicar as coisas em inglês. Eles responderam _"Não consigo imaginar como funciona em um segundo idioma"_. Foi quando, pela primeira vez, entendi que minha experiência de trabalho não é igual à de todo mundo. # ChatGPT Algumas semanas atrás, eu estava conversando com um colega de trabalho e mencionei que estou trabalhando no Brasil e como, às vezes, é frustrante comunicar coisas em inglês. Eles responderam _"Não consigo imaginar como é trabalhar em um segundo idioma"_. Foi quando, pela primeira vez, eu entendi que minha experiência de trabalho não é a mesma que a de todos os outros. ``` Both models fail to understand the singular "they". Google also fails to translate _"I cannot imagine how it is working in a second language"_. It doesn't understand "working" as a gerund. ChatGPT, on the other hand, translates that correctly. Google's não é igual à de todo mundo is more natural and concise than ChatGPT's "não é a mesma que a de todos os outros". ### Paragraph 2 ```md # Google Translate Eu não pensei sobre isso dessa maneira. Sempre me vi fazendo exatamente a mesma coisa que meus colegas de trabalho. Mas esse comentário me fez perceber que, além do trabalho "normal" que fazemos, os falantes não nativos também têm esse "processo de segundo plano sempre em execução" de se comunicar em um segundo idioma. # ChatGPT Eu nunca havia pensado nisso dessa forma. Sempre me vi fazendo exatamente a mesma coisa que meus colegas. Mas esse comentário me fez perceber que, além do trabalho "normal" que fazemos, os falantes não nativos também têm esse "processo de segundo plano em constante execução" de se comunicar em um segundo idioma. ``` ChatGPT wins this one. Google's Eu não pensei sobre isso dessa maneira is _technically_ correct, but it doesn't make sense in the text. It's clearly translated in isolation, so it lacks the context of the previous paragraph. ### Paragraph 3 ```md # Google Translate Lembrei-me de como às vezes me sentia inseguro sobre minhas habilidades de fala, principalmente quando era o único falante não nativo em uma reunião. Lembrei-me de não ser capaz de dizer **exatamente** o que eu _queria_, mas o que eu _podia_ dizer estava perto o suficiente. # ChatGPT Eu me lembrei de como, às vezes, me sentia inseguro em relação às minhas habilidades de fala, principalmente quando eu era o único falante não nativo em uma reunião. Lembrei-me de não conseguir dizer **exatamente** o que eu _queria_, mas sim o que eu _conseguia_ dizer que estava próximo o suficiente. ``` Google misses a conjunction ("que") in the last paragraph. It also uses lembrei-me, which is the correct grammatical form, but it's not how people talk, so it sounds a little too formal. ChatGPT better matches the tone I intended for the article. ### Paragraph 4 ```md # Google Translate Isso não quer dizer que não devamos trabalhar em inglês — embora ter outros brasileiros aqui com certeza me faça sentir mais em casa — nem que falantes não nativos de inglês sejam melhores de alguma forma. Estou dizendo a outras pessoas em situação semelhante que não há problema em ficar cansado depois de um dia inteiro de trabalho em uma língua estrangeira. Tudo bem cometer erros. Tudo bem esquecer as palavras. Tudo bem não entender algumas coisas. Tudo bem ser um ser humano! # ChatGPT Isso não significa que não devemos trabalhar em inglês — embora ter outros brasileiros aqui certamente me faça sentir mais em casa — nem que os falantes não nativos de inglês sejam melhores de alguma forma. Estou dizendo a outras pessoas em situações semelhantes que está tudo bem se sentirem cansadas depois de um dia inteiro de trabalho em um idioma estrangeiro. Está tudo bem cometer erros. Está tudo bem esquecer palavras. Está tudo bem não entender algumas coisas. Está tudo bem ser um ser humano! ``` I honestly didn't know whether I should use devamos (Google) or devemos (ChatGPT) to be grammatically correct. I'd probably translate that as "deveríamos" instead. This is a tricky Portuguese grammar rule, so I'll forgive both models if they are wrong (because I'm not sure either). For the rest of the paragraph, ChatGPT uses the structure Está tudo bem <to do something>, which is not correct and sounds weird. Google's translation is more accurate. ### Paragraph 5 ```md # Google Translate Como falante nativo ou empresa, você também pode ser útil! Saber como os outros se sentem é o primeiro passo para um ambiente de trabalho mais saudável, mas usar [uma linguagem mais simples] e ter uma [equipe diversificada] também ajuda. Confiar mais na comunicação escrita também é menos estressante porque as pessoas têm tempo para pensar, reformular frases à vontade e usar ferramentas como tradutores e Grammarly. # ChatGPT Como falante nativo ou como empresa, você também pode ajudar! Estar ciente de como os outros se sentem é o primeiro passo para um ambiente de trabalho mais saudável, mas usar uma [linguagem mais simples] e ter uma equipe mais [diversa] também ajuda. Contar mais com a comunicação escrita também é menos estressante porque as pessoas têm tempo para pensar, reformular frases à vontade e usar ferramentas como tradutores e o Grammarly. ``` Both models do a good job here. I prefer ChatGPT's translation a bit more. ### Paragraph 6 ```md # Google Translate [Trabalhar totalmente remoto] permitiu que a thoughtbot contratasse pessoas em todo o mundo, e não posso enfatizar o quão culturalmente enriquecedor isso foi para a equipe! Mas [exige gentileza]. Não apenas com os outros, mas principalmente _seja gentil consigo mesmo_! # ChatGPT [Trabalhar totalmente remoto] permitiu à thoughtbot contratar pessoas em todo o mundo, e eu não posso enfatizar o quanto isso tem sido enriquecedor culturalmente para a equipe! Mas isso [requer gentileza]. Não apenas com os outros, mas, principalmente, _seja gentil com você mesmo_! ``` Again, both are good. I like ChatGPT more in some parts and Google in others. ## Thoughts While our [calculators for words] don't always give us the right answers, they are definitely useful. I'm still impressed to see them using specific grammar rules like ["crase"]. Both can give you a nice head start when translating a text. I'd rely on a human to do the final review if the stakes are high. I didn't feel like either tool was _massively_ better than the other. If I _had_ to pick just one, I'd go with ChatGPT because it seems to get more context from the overall text. It also can be more flexible, as I could change the prompt to change the tone of the text (e.g., more formal). Another advantage of ChatGPT is that I didn't have to prepare the text in any way. I asked it to ignore the front-matter keys, for instance, and it also didn't bother with the 80-char column limit. Of course, I'm basing this on a single translation, which might not be enough to make a fair comparison. Take this with a grain of salt. [one of my blog posts]: https://thoughtbot.com/blog/working-in-my-native-language-requires-empathy [this gist]: https://gist.github.com/MatheusRich/aac9f5dd396d241da71055b14481f822 [calculators for words]: https://simonwillison.net/2023/Apr/2/calculator-for-words/ ["crase"]: https://en.wikipedia.org/wiki/Crasis