It seems that no one is safe from writing ChatGPT-related content. Thus, forgive me, dear reader, for I, too, commited this sin.
I wanted to translate one of my blog posts into Portuguese, so that was an excellent opportunity to compare how the OpenAI product compares to Google’s. Bonus points: (hopefully) faster translation process and content for another article (this one).
Mise En Place
I had to prepare the text for Google Translate. The original text was limited to 80 character per line, and Google would fail to connect some sentences. I had to join each paragraph into a single line.
This is the prompt I used for ChatGPT (I didn’t have to change anything in the original article):
Translate this markdown article to idiomatic Brazilian Portuguese.
Don't translate the front matter keys.
<article here>
The full text for both translations is available in this gist.
Results
Let’s analyze the results. I’ll go through each paragraph and compare the output of each model. If you’re not a Portuguese speaker, you can skip the translations and focus on the analysis.
Title
# Google Translate
Trabalhar na minha língua nativa requer empatia
# ChatGPT
Trabalhar no meu idioma nativo requer empatia
Not a big difference. Google chose “língua nativa” and ChatGPT chose “idioma nativo”. Both are correct.
Teaser
# Google Translate
É cansativo se comunicar o dia todo em seu idioma não nativo, mas
podemos praticar gentileza e compreensão para aliviar um pouco
dessa carga mental.
# ChatGPT:
É exaustivo passar o dia todo se comunicando em um idioma que
não é o nativo, mas podemos praticar a gentileza e a compreensão
para aliviar parte dessa carga mental.
Both translations are correct, but Google’s version is less verbose and more natural.
Paragraph 1
# Google Translate
Algumas semanas atrás, eu estava conversando com um colega de trabalho
e mencionei que estou trabalhando no Brasil e como às vezes é
frustrante comunicar as coisas em inglês. Eles responderam _"Não
consigo imaginar como funciona em um segundo idioma"_. Foi quando,
pela primeira vez, entendi que minha experiência de trabalho não é
igual à de todo mundo.
# ChatGPT
Algumas semanas atrás, eu estava conversando com um colega de trabalho
e mencionei que estou trabalhando no Brasil e como, às vezes, é
frustrante comunicar coisas em inglês. Eles responderam _"Não consigo
imaginar como é trabalhar em um segundo idioma"_. Foi quando, pela
primeira vez, eu entendi que minha experiência de trabalho não é a
mesma que a de todos os outros.
Both models fail to understand the singular “they”. Google also fails to translate “I cannot imagine how it is working in a second language”. It doesn’t understand “working” as a gerund. ChatGPT, on the other hand, translates that correctly.
Google’s não é igual à de todo mundo
is more natural and concise than
ChatGPT’s “não é a mesma que a de todos os outros”.
Paragraph 2
# Google Translate
Eu não pensei sobre isso dessa maneira. Sempre me vi fazendo
exatamente a mesma coisa que meus colegas de trabalho. Mas esse
comentário me fez perceber que, além do trabalho "normal" que fazemos,
os falantes não nativos também têm esse "processo de segundo plano
sempre em execução" de se comunicar em um segundo idioma.
# ChatGPT
Eu nunca havia pensado nisso dessa forma. Sempre me vi fazendo
exatamente a mesma coisa que meus colegas. Mas esse comentário me fez
perceber que, além do trabalho "normal" que fazemos, os falantes não
nativos também têm esse "processo de segundo plano em constante
execução" de se comunicar em um segundo idioma.
ChatGPT wins this one. Google’s Eu não pensei sobre isso dessa maneira
is
technically correct, but it doesn’t make sense in the text. It’s clearly
translated in isolation, so it lacks the context of the previous paragraph.
Paragraph 3
# Google Translate
Lembrei-me de como às vezes me sentia inseguro sobre minhas
habilidades de fala, principalmente quando era o único falante não
nativo em uma reunião. Lembrei-me de não ser capaz de dizer
**exatamente** o que eu _queria_, mas o que eu _podia_ dizer estava
perto o suficiente.
# ChatGPT
Eu me lembrei de como, às vezes, me sentia inseguro em relação às
minhas habilidades de fala, principalmente quando eu era o único
falante não nativo em uma reunião. Lembrei-me de não conseguir dizer
**exatamente** o que eu _queria_, mas sim o que eu _conseguia_ dizer
que estava próximo o suficiente.
Google misses a conjunction (“que”) in the last paragraph. It also uses
lembrei-me
, which is the correct grammatical form, but it’s not how
people talk, so it sounds a little too formal. ChatGPT better matches the tone I
intended for the article.
Paragraph 4
# Google Translate
Isso não quer dizer que não devamos trabalhar em inglês — embora ter
outros brasileiros aqui com certeza me faça sentir mais em casa —
nem que falantes não nativos de inglês sejam melhores de alguma forma.
Estou dizendo a outras pessoas em situação semelhante que não há
problema em ficar cansado depois de um dia inteiro de trabalho em uma
língua estrangeira. Tudo bem cometer erros. Tudo bem esquecer as
palavras. Tudo bem não entender algumas coisas. Tudo bem ser um ser
humano!
# ChatGPT
Isso não significa que não devemos trabalhar em inglês — embora ter
outros brasileiros aqui certamente me faça sentir mais em casa — nem
que os falantes não nativos de inglês sejam melhores de alguma forma.
Estou dizendo a outras pessoas em situações semelhantes que está tudo
bem se sentirem cansadas depois de um dia inteiro de trabalho em um
idioma estrangeiro. Está tudo bem cometer erros. Está tudo bem
esquecer palavras. Está tudo bem não entender algumas coisas. Está
tudo bem ser um ser humano!
I honestly didn’t know whether I should use devamos
(Google) or
devemos
(ChatGPT) to be grammatically correct. I’d probably translate
that as “deveríamos” instead. This is a tricky Portuguese grammar rule, so I’ll
forgive both models if they are wrong (because I’m not sure either).
For the rest of the paragraph, ChatGPT uses the structure Está tudo bem
<to do something>
, which is not correct and sounds weird. Google’s
translation is more accurate.
Paragraph 5
# Google Translate
Como falante nativo ou empresa, você também pode ser útil! Saber como
os outros se sentem é o primeiro passo para um ambiente de trabalho
mais saudável, mas usar [uma linguagem mais simples] e ter uma [equipe
diversificada] também ajuda. Confiar mais na comunicação escrita
também é menos estressante porque as pessoas têm tempo para pensar,
reformular frases à vontade e usar ferramentas como tradutores e
Grammarly.
# ChatGPT
Como falante nativo ou como empresa, você também pode ajudar! Estar
ciente de como os outros se sentem é o primeiro passo para um ambiente
de trabalho mais saudável, mas usar uma [linguagem mais simples] e ter
uma equipe mais [diversa] também ajuda. Contar mais com a comunicação
escrita também é menos estressante porque as pessoas têm tempo para
pensar, reformular frases à vontade e usar ferramentas como tradutores
e o Grammarly.
Both models do a good job here. I prefer ChatGPT’s translation a bit more.
Paragraph 6
# Google Translate
[Trabalhar totalmente remoto] permitiu que a Thoughtbot contratasse
pessoas em todo o mundo, e não posso enfatizar o quão culturalmente
enriquecedor isso foi para a equipe! Mas [exige gentileza]. Não apenas
com os outros, mas principalmente _seja gentil consigo mesmo_!
# ChatGPT
[Trabalhar totalmente remoto] permitiu à thoughtbot contratar pessoas
em todo o mundo, e eu não posso enfatizar o quanto isso tem sido
enriquecedor culturalmente para a equipe! Mas isso [requer gentileza].
Não apenas com os outros, mas, principalmente, _seja gentil com você
mesmo_!
Again, both are good. I like ChatGPT more in some parts and Google in others.
Thoughts
While our calculators for words don’t always give us the right answers, they are definitely useful. I’m still impressed to see them using specific grammar rules like “crase”. Both can give you a nice head start when translating a text. I’d rely on a human to do the final review if the stakes are high.
I didn’t feel like either tool was massively better than the other. If I had to pick just one, I’d go with ChatGPT because it seems to get more context from the overall text. It also can be more flexible, as I could change the prompt to change the tone of the text (e.g., more formal). Another advantage of ChatGPT is that I didn’t have to prepare the text in any way. I asked it to ignore the front-matter keys, for instance, and it also didn’t bother with the 80-char column limit.
Of course, I’m basing this on a single translation, which might not be enough to make a fair comparison. Take this with a grain of salt.
